| import gradio as gr | |
| import requests | |
| import json | |
| def http_bot(prompt, history, system_prompt, endpoint_url): | |
| print(prompt, history, system_prompt, endpoint_url) | |
| prompt = f"### Instruction:\n{system_prompt}\n\n### Input:\n{prompt}\n\n### Response:\n" | |
| headers = {"User-Agent": "vLLM Client"} | |
| pload = { | |
| "prompt": prompt, | |
| "stream": True, | |
| "max_tokens": 3000, | |
| } | |
| response = requests.post(endpoint_url, | |
| headers=headers, | |
| json=pload, | |
| stream=True) | |
| for chunk in response.iter_lines(chunk_size=8192, | |
| decode_unicode=False, | |
| delimiter=b"\0"): | |
| if chunk: | |
| data = json.loads(chunk.decode("utf-8")) | |
| output = data["text"][0] | |
| yield output[len(prompt):] | |
| with gr.Blocks(theme=gr.themes.Soft(), title="DanskGPT") as demo: | |
| gr.Markdown("# DanskGPT v0.3 - offline. Hvis du vil have en demo, så kontakt mig. Kontaktinformation nederst.") | |
| gr.Markdown("Et dansk alternativ til ChatGPT der kører lokalt.") | |
| system_prompt = gr.Textbox(value="Du er en dansk AI-assistent. Du vil blive givet en opgave. Du skal hjælpe så meget du kan.", | |
| label="System besked") | |
| endpoint_url = gr.Textbox(label="Endpoint url", value="https://h6lsu4k84eqhh4-8000.proxy.runpod.net/generate", render=False) | |
| gr.ChatInterface( | |
| http_bot, | |
| additional_inputs=[system_prompt, endpoint_url], | |
| clear_btn=None, | |
| undo_btn=None, | |
| retry_btn=None, | |
| submit_btn="Send", | |
| ) | |
| gr.Markdown("Version 0.3 - instruktionsmodel trænet på data op til 31-06-2023.") | |
| gr.Markdown("Lavet af Mads Henrichsen - Kontakt: [email protected]") | |
| gr.Markdown("Bemærk: DanskGPT producerer ikke nødvendigvis sandfærdig information - der er en ny model på vej der er meget bedre til dette.") | |
| demo.queue(concurrency_count=100).launch() | |