Create README.md

README.md

@@ -0,0 +1,33 @@
+---
+license: apache-2.0
+language:
+- da
+---
+# DanskGPT-tiny
+DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM.
+
+Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst.
+
+Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med.
+
+## Inferens
+Ved brug af vLLM.
+
+`pip install vllm`
+
+```python
+from vllm import LLM, SamplingParams
+
+sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
+llm = LLM(model="mhenrichsen/danskgpt-tiny")
+
+while True:
+    prompt = input("Skriv: ")
+    outputs = llm.generate(prompt, sampling_params)
+    for output in outputs:
+        prompt = output.prompt
+        generated_text = output.outputs[0].text
+        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
+
+```
+