Edit model card

image/png

Modelo LenguajeNatural.AI Chat e Instrucciones 2B

Desarrollado por

Este modelo ha sido desarrollado por LenguajeNatural.AI, con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el primero de una serie de modelos que planeamos lanzar.

Licencia

Este modelo se distribuye bajo la licencia Apache 2.0.

Modelo Base

Este modelo se ha afinado a partir de google/gemma-2b, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español.

Idioma

El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.

Entrenamiento

El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas:

  1. Aprendizaje multi-tarea en español: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
  2. Entrenamiento de instrucciones de alta calidad: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
  3. Entrenamiento de chat y QA abstractivo: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.

En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería autotransformers.

image/png

Tamaño máximo de secuencia

El tamaño máximo de secuencia para este modelo es de 8192 tokens.

Usos y Limitaciones

Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable. Además, debe tenerse en cuenta que el modelo base es de únicamente 2b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño.

¿Cómo empezar?

Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca transformers. Aquí tienes un ejemplo de cómo cargar el modelo:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Generar texto
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Evaluación

Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla.

image/png

Contribuciones

Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.

Futuras Versiones

Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra página web o nuestra página de LinkedIn.

Downloads last month
464
Safetensors
Model size
2.51B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for LenguajeNaturalAI/leniachat-gemma-2b-v0

Base model

google/gemma-2b
Finetuned
(187)
this model

Space using LenguajeNaturalAI/leniachat-gemma-2b-v0 1

Collection including LenguajeNaturalAI/leniachat-gemma-2b-v0