notbdq/mistral-turkish-v2

• Developed by: notbdq

• License: apache-2.0

• This model is a fine tuned mistral-7b-instruct-v0.2 with merve/turkish_instructions dataset.

• Instruct format:

"Aşağıda bir görevi tanımlayan bir talimat ve daha fazla bağlam sağlayan bir girdi bulunmaktadır. Talebi uygun şekilde tamamlayan bir yanıt yazın.\n\n### Talimat:\n{}\n\n### Girdi:\n{}\n\n### Yanıt:\n{}"

• example inference code:

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("notbdq/mistral-turkish-v2")
tokenizer = AutoTokenizer.from_pretrained("notbdq/mistral-turkish-v2")

messages = [
    {"role": "user", "content": "Yapay zeka nasıl bulundu?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])