metadata
license: mit
base_model:
- utter-project/EuroLLM-1.7B
Continued the pretraining of EuroLM 1.7B via Unsloth.
It took more than 50 hours to continue the pretraining on ~450M high quality, recently scraped Turkish tokens using my poor RTX 3090.
The aim of this project was to create a decent base model for further dataset generation & augmentation.
Unsloth aracılığıyla EuroLM 1.7B'ye continued pretraining yapıldı.
Tek RTX 3090 ile ~450M yüksek kaliteli, yakın zamanda scrape ettiğim Türkçe tokenler ile continued pretraining süreci 50 saatten fazla sürdü.
Bu projenin amacı, daha fazla veri seti oluşturmak için iyi bir temel model oluşturmak.
