|
--- |
|
license: mit |
|
base_model: |
|
- utter-project/EuroLLM-1.7B |
|
--- |
|
|
|
Continued the pretraining of EuroLM 1.7B via Unsloth. |
|
|
|
It took **more than 50 hours** to continue the pretraining on **~450M high quality, recently scraped Turkish tokens** using my poor RTX 3090. |
|
|
|
The aim of this project was to create a decent base model for further dataset generation & augmentation. |
|
|
|
--- |
|
|
|
Unsloth aracılığıyla EuroLM 1.7B'ye continued pretraining yapıldı. |
|
|
|
Tek RTX 3090 ile **~450M yüksek kaliteli, yakın zamanda scrape ettiğim** Türkçe tokenler ile continued pretraining süreci **50 saatten fazla sürdü**. |
|
|
|
Bu projenin amacı, daha fazla veri seti oluşturmak için iyi bir temel model oluşturmak. |
|
|
|
|
|
 |
