Commit
•
4b3db6c
1
Parent(s):
ccebf8d
Update README.md
Browse files
README.md
CHANGED
|
@@ -28,7 +28,7 @@ Modellen er trænet med ChatML format (samme som OpenAI's modeller), og skal bru
|
|
| 28 |
|
| 29 |
## Inferens
|
| 30 |
|
| 31 |
-
vLLM
|
| 32 |
```
|
| 33 |
pip install vllm
|
| 34 |
```
|
|
@@ -55,7 +55,11 @@ while True:
|
|
| 55 |
|
| 56 |
```
|
| 57 |
|
| 58 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 59 |
|
| 60 |
```
|
| 61 |
python -m vllm.entrypoints.openai.api_server --model mhenrichsen/danskgpt-tiny-chat
|
|
|
|
| 28 |
|
| 29 |
## Inferens
|
| 30 |
|
| 31 |
+
### vLLM
|
| 32 |
```
|
| 33 |
pip install vllm
|
| 34 |
```
|
|
|
|
| 55 |
|
| 56 |
```
|
| 57 |
|
| 58 |
+
### Endpoint med openai
|
| 59 |
+
```
|
| 60 |
+
pip install openai
|
| 61 |
+
```
|
| 62 |
+
|
| 63 |
|
| 64 |
```
|
| 65 |
python -m vllm.entrypoints.openai.api_server --model mhenrichsen/danskgpt-tiny-chat
|