mhenrichsen
commited on
Commit
•
4b3db6c
1
Parent(s):
ccebf8d
Update README.md
Browse files
README.md
CHANGED
@@ -28,7 +28,7 @@ Modellen er trænet med ChatML format (samme som OpenAI's modeller), og skal bru
|
|
28 |
|
29 |
## Inferens
|
30 |
|
31 |
-
vLLM
|
32 |
```
|
33 |
pip install vllm
|
34 |
```
|
@@ -55,7 +55,11 @@ while True:
|
|
55 |
|
56 |
```
|
57 |
|
58 |
-
|
|
|
|
|
|
|
|
|
59 |
|
60 |
```
|
61 |
python -m vllm.entrypoints.openai.api_server --model mhenrichsen/danskgpt-tiny-chat
|
|
|
28 |
|
29 |
## Inferens
|
30 |
|
31 |
+
### vLLM
|
32 |
```
|
33 |
pip install vllm
|
34 |
```
|
|
|
55 |
|
56 |
```
|
57 |
|
58 |
+
### Endpoint med openai
|
59 |
+
```
|
60 |
+
pip install openai
|
61 |
+
```
|
62 |
+
|
63 |
|
64 |
```
|
65 |
python -m vllm.entrypoints.openai.api_server --model mhenrichsen/danskgpt-tiny-chat
|