File size: 818 Bytes
7140a82 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
---
license: mit
base_model:
- utter-project/EuroLLM-1.7B
---
Continued the pretraining of EuroLM 1.7B via Unsloth.
It took **more than 50 hours** to continue the pretraining on **~450M high quality, recently scraped Turkish tokens** using my poor RTX 3090.
The aim of this project was to create a decent base model for further dataset generation & augmentation.
---
Unsloth aracılığıyla EuroLM 1.7B'ye continued pretraining yapıldı.
Tek RTX 3090 ile **~450M yüksek kaliteli, yakın zamanda scrape ettiğim** Türkçe tokenler ile continued pretraining süreci **50 saatten fazla sürdü**.
Bu projenin amacı, daha fazla veri seti oluşturmak için iyi bir temel model oluşturmak.
 |