ramadita/indo-islamic-sentence-bert-v2

Indonesia Islamic Sentence-BERT

This is a sentence-transformers model finetuned from firqaaa/indo-sentence-bert-large. It maps sentences & paragraphs to a 2048-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: firqaaa/indo-sentence-bert-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 2048 tokens
• Similarity Function: Cosine Similarity
• Language: id
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ramadita/indo-islamic-sentence-bert-v2")
# Run inference
sentences = [
    '6 Sunnah Nabi di Hari Idul Fithri',
    '171. Syaikh Al Albani mengatakan bahwa riwayat ini shahihIbnu Syihab Az-Zuhri menyatakan bahwa kaum muslimin ketika itu keluar dari rumah mereka sambil bertakbir hingga imam hadir untuk shalat ied, pen.Namun kalau kita lihat dari keumuman ayat Surat Al-Baqarah ayat 185 yang menunjukkan perintah bertakbir itu dimulai sejak bulan Ramadhan sudah berakhir, berarti takbir Idul Fithri dimulai dari malam Idul Fithri hingga imam datang untuk shalat ied.Takbir yang diucapkan sebagaimana dikeluarkan oleh Said bin Manshur dan Ibnu Abi Syaibah, bahwasanya Ibnu Masud bertakbir, Allahu akbar, Allahu akbar, laa ilaaha illallah wallahu akbar. Allahu akbar walillahil hamd.',
    'Shalat adalah perkara penting yang akan dihisab pertama kali kelak di hari akhir. Ada sebagian orang yang menunaikan ibadah shalat wajib lima waktu dan disertai dengan shalat qabliyah dan badiyah. Yang demikian bertujuan sebagai penyempurna atau sebagai penutup jika ada kekurangan-kekurangan yang secara tidak sadar terjadi ketika menjalankan shalat wajib. Lantas apakah setiap waktu disunnahkan untuk melaksanakan shalat qabliyah dan badiyah yang mengiringi shalat wajib tiap waktu Jumhur Ulama berpendapat bahwa tidak semua waktu disunnahkan. Shalat badiyah subuh dan ashar adalah salah satu contoh shalat rawatib yang tidak dianjurkan, bahkan Rasulullah melarangnya. Dalam hadis riwayat Imam Ahmad diceritakan: : Ada seorang sahabat Nabi yang setelah Ashar melakukan salat sunah badiyah, maka dimarahi oleh Sayidina Umar, beliau berkata: Sesungguhnya Rasulullah Saw melarang salat sunah setelah Ashar HR. Ahmad Dalam hadis riwayat Bukhari Muslim, Rasulullah bersabda langsung tentang larangan shalat yang dilaksnakan setelah shalat subuh dan setelah ashar. Larangan tersebut diperhatikan secara seksama. Jangan sampai terlampau semangat beribadah shalat sunnah, namun lalai memperhatikan waktu yang tidak diperblehkan. Rasulullah mengingatkan dalam sabda-Nya: Tidak ada shalat setelah shalat subuh, hingga matahari meninggi. Dan tidak ada shalat setelah shalat ashar hingga matahari tenggelam HR Bukhari Muslim Mengapa Rasulullah melarang shalat dalam dua waktu tersebut menurut keterangan hadis yang diriwayatkan oleh Imam Ahmad, Rasulullah melarang tersebut karena matahari terbit di antara dua tanduk setan dan terbenam diantara dua tanduk syetan. Namun jika untuk melaksanakan shalat wajib yang tertinggal atau ada udzur tertentu masih diperbolehkan, seperti shalat jenazah dan tahiyatul masjid.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 2048]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: dev-dataset
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8734
dot_accuracy	0.1269
manhattan_accuracy	0.8708
euclidean_accuracy	0.8718
max_accuracy	0.8734

Triplet

• Dataset: test-dataset
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8728
dot_accuracy	0.1288
manhattan_accuracy	0.8715
euclidean_accuracy	0.8728
max_accuracy	0.8728

Training Details

Training Dataset

Unnamed Dataset

• Size: 24,713 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 10.45 tokens max: 27 tokens	min: 34 tokens mean: 287.48 tokens max: 512 tokens	min: 29 tokens mean: 330.8 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Sifat Malu, Warisan Para Nabi Terdahulu	Muslim Kisah-kisah di atas menggambarkan betapa pentingnya sifat malu. Ia adalah fitrah manusia yang salim. Sebagian ulama bersilang pendapat mengenai makna sabda Nabi shallallahu alaihi wasallam, Jika engkau tidak malu, berbuatlah sesuka hatimu. Pertama, ucapan ini mengandung makna ancaman. Maksud dari ungkapan tersebut adalah, Jika engkau tidak malu, berbuatlah sesuka hatimu Allah akan membalasmu atas apa yang pernah engkau kerjakan. Hal ini sebagaimana firman Allah Taala, Berbuatlah apa yang kalian kehendaki.	Rasa malu itu warisan para nabi. Artinya, telah diajarkan oleh para Nabi sebelum kita. Dari Abu Masud Uqbah bin Amr Al-Anshary Al-Badry radhiallahu anhu, dia berkata: : Rasulullah shallallahu alaihi wa sallam bersabda, Sesungguhnya perkataan yang diwarisi oleh orang-orang dari perkataan nabi-nabi terdahulu adalah: Jika engkau tidak malu, perbuatlah sesukamu. HR. Bukhari, no. 3483Penilaian Hadits Hadits ini dikeluarkan oleh Al-Bukhari dari riwayat Manshur bin Al-Mutamar dari Ribiy bin Hirasy dari Abu Masud dari Hudzaifah dari Nabi shallallahu alaihi wa sallam. Maka ada perbedaan dalam sanad hadits ini. Namun, sebagian besar ahli hadits mengatakan bahwa ini adalah perkataan Abu Masud. Yang mengatakan demikian adalah Al-Bukhari, Abu Zurah, Ar-Raziy, Ad-Daruquthniy, dan lain-lain. Yang menunjukkan kebenaran hal ini adalah bahwa telah diriwayatkan dengan jalan lain, dari Abu Masud pada riwayat Masruq. Dikeluarkan pula oleh Ath-Thabraniy dari hadits Abu Ath-Thufail dari Nabi shallallahu alaihi wa sallam juga.
  Munculnya Dajjal 6, Agar Terhindar dari Fitnah Dajjal	Bahasan tentang Dajjal lainnya di rumaysho.com:1. Bukti Adanya Dajjal.2. Sifat-sifat Dajjal.3. Berbagai Fitnah Dajjal.4. Tempat Keluarnya Dajjal.5. Siapakah Pengikut Dajjal. Ummul Hamam, Riyadh, KSA, 17 Jumadal Ula 1433 Hwww.rumaysho.com Referensi:	tentang akhir zaman lalu mereka mencocok-cocokkan dengan kondisi sekarang. Di antara hadis akhir zaman yang sering dikutip di antaranya adalah hadis tentang Imam Al-Mahdi dan Dajjal. Dalam salah satu situs internet, untuk mempromosikan organisasi terornya, seorang penulis mengutip sebuah hadis riwayat Imam Ahmad bin Hanbal. Penulisnya mengutip terjemah hadis bahwa Rasulullah saw. bersabda, Sungguh, fitnah sebagian dari kalian lebih aku takutkan dari fitnahnya Dajjal. Dan tidak ada seseorang pun dapat selamat dari badai fitnah sebelum fitnah Dajjal melainkan pasti selamat pula darinya fitnah Dajjal setelahnya. Dan tidak ada fitnah yang dibuat sejak adanya dunia ini baik kecil maupun besar kecuali untuk menjemput fitnah Dajjal HR. Ahmad. Menurut penulis di situs tersebut, yang dimaksud fitnah sebelum fitnah Dajjal adalah sistem Dajjal yang diciptakan kaum Zionis seperti sekulerisme dan kapitalisme. Jadi, sekulerisme dan kapitalisme adalah fitnah sebelum fitnah Dajjal. Orang yang tidak selamat dari sekulerisme dan kapitalisme, tidak akan selamat dari fitnah Dajjal. Saat ini, menurutnya, satu-satunya negara yang selamat dari sekulerisme dan kapitalisme adalah Daulah. Daulah adalah nama organisasi teroris yang sedang didukungnya. Benarkah maksud fitnah sebelum fitnah Dajjal dalam hadis adalah sistem Dajjal yang meliputi sekulerisme dan kapitalisme Berikut ini adalah teks asli hadis yang dikutip: : : Dari Hudzaifah yang berkata, Diceritakan tentang Dajjal di samping Rasulullah saw. lalu beliau berkata, Niscaya fitnah dari sebagian kalian lebih aku takutkan dibanding fitnah Dajjal. Tidak akan selamat seorang pun dari fitnah sebelum Dajjal kecual akan selamat dari fitnah Dajjal. Tidak diciptakan fitnah sejak dunia ini ada, baik kecil maupun besar, kecuali tunduk pada fitnah Dajjal. HR Ahmad.
  Hukum KB: Apakah Mengatur Kehamilan Bertentangan Dengan Sabda Nabi	Usamah al-Azhari dalam talkshow di stasiun televisi DMC 17/02/2021 menjelaskan bahwa dalam hadis di atas bisa dipahami bahwa Rasulullah SAW menyukai jumlah yang banyak. Namun di sisi lain terdapat hadis yang menunjukkan bahwa Rasulullah Saw. tidak menyukai jumlah yang banyak. Rasulullah Saw. bersabda: Nyaris orang-orang kafir menyerbu dan membinasakan kalian, seperti halnya orang-orang yang menyerbu makanan di atas piring. Seseorang bertanya: Apakah karena jumlah kami yang sedikit pada saat itu, wahai Rasulullah Beliau menjawab: Bahkan saat itu jumlah kalian begitu banyak namun laksana buih di air. Sunan Abu Daud no.	Ahmad no. 17702, dinilai shahih oleh Syaikh Al-Arnauth Demikian juga Abdullah bin Al-Kharits bin Jazi Az-Zubaidi radhiyallahu anhu, beliau mengatakan, Pada masa Nabi shallallahu alaihi wa sallam, kami makan roti dan daging di dalam masjid. HR. Ibnu Majah no. 3300, dinilai shahih oleh Syaikh Al-Albani Dikuatkan pula dengan ahlu shuffah yang tinggal di masjid. Juga berkaitan dengan kisah diikatnya Tsumamah bin Utsal di masjid. Ketika itu, Tsumamah yang masih dalam agama kaum musyrikin, berupaya untuk membunuh Nabi shallallahu alaihi wa sallam namun digagalkan oleh Umar bin Khathab radhiallahu anhu. Kemudian ia pun diikat di masjid. Pada hari ketiga, beliau shallallahu alaihi wa sallam melewatinya dan bertanya, Apa yang engkau miliki wahai Tsumamah HR. Bukhari no. 2422, 4372 dan Muslim no.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 3,089 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 10.46 tokens max: 24 tokens	min: 30 tokens mean: 283.38 tokens max: 512 tokens	min: 35 tokens mean: 319.44 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Asal Bersih dari Syirik, Pasti Masuk Surga	Asal kita termasuk dalam kalangan ahli tauhid, yaitu orang yang tidak mengerjakan perbuatan syirik atau kalau sudah terjerumus dalam syirik lalu bertaubat, maka pasti masuk surga. Inilah keutamaan orang yang menjauhi perbuatan syirik, baik itu tradisi dan lainnya, maka pasti ia masuk surga apa pun amalnya, walaupun juga ia ahli maksiat. Ini juga menunjukkan bahwa amalan tauhid bisa menghapuskan berbagai dosa.Dari Ubadah bin Ash Shomit, ia berkata bahwa Rasulullah shallallahu alaihi wa sallam bersabda, Barangsiapa bersaksi bahwa tidak ada sesembahan yang berhak disembah selain Allah semata, tidak ada sekutu bagi-Nya, juga bersaksi bahwa Muhammad adalah hamba dan Rasul-Nya begitu juga bersaksi bahwa Isa adalah hamba Allah dan Rasul-Nya, serta kalimat-Nya yaitu Allah menciptakan Isa dengan kalimat kun, -pen yang disampaikan pada Maryam dan ruh dari-Nya juga bersaksi bahwa surga dan neraka benar adanya maka Allah akan memasukkan-Nya dalam surga apa pun amalnya. HR. Bukhari no.	As Sajadah: 17. Ayat ini ditujukan pada manusia dan jin. Sedangkan jin kafir akan masuk neraka sebagaimana disebutkan dalam ayat berikut, Sesungguhnya Aku akan memenuhi neraka Jahannam dengan jin dan manusia yang durhaka semuanya. QS. Hud: 119 Dan sesungguhnya Kami jadikan untuk isi neraka Jahannam kebanyakan dari jin dan manusia QS. Al Araf: 179. Ibnu Muflih dalam Al Furu menyatakan, Jin dibebani syariat secara umum. Yang kafir di antara jin dimasukkan dalam neraka. Sedangkan yang beriman dimasukkan dalam surga. Namun mereka sebenarnya menjadi debu seperti halnya hewan ternak. Balasan dari amalan mereka adalah selamat dari neraka. Imam As Suyuthi dalam Al Asybah wan Nazhair menyatakan, Tidak ada khilaf di antara para ulama bahwa jin yang kafir akan disiksa di neraka. Sedangkan yang diperselisihkan mengenai jin yang beriman apakah mereka masuk surga karena ketaatan mereka. Pendapat yang paling tepat, iya, mereka masuk surga. Pendapat inilah yang menjadi pendapat mayoritas ulama.
  Faedah Sirah Nabi: Pelajaran dari Menawarkan Islam kepada Tokoh dan Kabilah	4854. Ketika itu, Jubair masih dalam keadaan musyrik. Selain itu, peristiwa inilah yang mengantarkannya masuk Islam.Selain itu, kisah Umar pada bagian terdahulu, ketika ia mendengar awal surah Thaha dibacakan, beliau tertegun dan beriman setelah memukul adik dan iparnya sendiri. Berdasarkan penjelasan di atas, kita melihat bahwa orang-orang Quraisy sangat takut kepada Al-Quran. Mereka memperingatkan setiap orang yang datang ke Makkah agar tidak mendengarkannya seperti pada kisah Thufail dan yang lainnya. Karena mereka mengetahui kekuatan Al-Quran terhadap jiwa.Oleh karena itu, manhaj metodologi yang benar dalam berdakwah adalah fokus memperbanyak membacakan ayat-ayat Al-Quran dan menjadikan sandaran dalam ceramah dan khutbah, lalu menghindar dari ucapan-ucapan yang kosong dari kalamullah dan ucapan Rasulullah shallallahu alaihi wa sallam sekalipun itu bagus, tetapi kebaikannya sangat minim dan pengaruhnya juga sedikit. Kita lihat juga di antara manusia yang sangat mudah dan cepatnya mereka menerima ajakan Nabi shallallahu alaihi wa sallam. Mereka hanya perlu mendengarkan beberapa ayat Al-Quran dibacakan kepada mereka dan melupakan semua perkataaan untuk tidak mendengar Al-Quran yang disampaikan oleh orang-orang kafir Quraisy, sekalipun diungkapkan dengan bahasa yang lembut, tetap pada hakikatnya adalah palsu dan batil. Allah Taala berfirman, Dan katakanlah: Yang benar telah datang dan yang batil telah lenyap. Sesungguhnya yang batil itu adalah sesuatu yang pasti lenyap. QS.	Mau tahu faedah dari hijrah ke Habasyah Sekarang serial keempat. Ketika Jafar radhiyallahu anhu ditanya oleh Raja Najasyi mengenai agama Islam, makai a mengawali kata-katanya dengan menjelaskan beberapa larangan dalam agama, dan larangan yang paling besar adalah syirik menyekutukan Allah. Kemudian disusul menjelaskan perintah Islam dan perintah yang utama adalah bertauhid, mengesakan Allah Taala.Dalam hal ini Jafar mendahulukan takhliyyah pembersihan sebelum tahliyyah mengisi. Karena yang harus dilakukan pertama kali sebelum melakukan yang lain adalah menjauhkan diri dari kesyirikan, lalu mentauhidkan Allah. Hal ini sejalan dengan firman Allah Taala, Karena itu barangsiapa yang ingkar kepada Thaghut dan beriman kepada Allah. QS. Al-Baqarah: 256Sama juga dengan kandungan kalimat laa ilaha illallah, di mana kita terlebih dahulu menghapuskan segala bentuk sesembahan selain Allah lalu menetapkan hanya Allah saja yang disembah. Itu juga maksud dari at-takhliyyah qabla at-tahliyyah, membersihkan sebelum mengisi. Ketika Jafar menerangkan tentang urutan dakwah yang dibawakan oleh Rasulullah shallallahu alaihi wa sallam, maka ia mendahulukan dakwah kepada tauhid. Inilah yang seharusnya menjadi skala prioritas para dai yang menyeru manusia ke jalan Allah. Hendaknya mereka mengawali dakwahnya dengan mendahulukan dan memfokuskan pada masalah ketauhidan serta sering diulang-ulang penjelasan tentang masalah ini dalam setiap kesempatan.Manfaat dakwah tauhid lebih didahulukan dapat dilihat dari perkataan Aisyah radhiyallahu anha berikut ini, Sesungguhnya yang pertama kali turun darinya ialah satu surat dari Al-Mufashshal surat-surat pendek yang berisi penjelasan tentang surga dan neraka sehingga apabila manusia telah mantap dalam Islam, maka turunlah ayat-ayat tentang halal dan haram. Seandainya yang pertama kali turun kepada mereka adalah jangan minum khamr minuman keras, tentu mereka akan menjawab kami tidak akan meninggalkan khamr selama-lamanya. Seandainya yang pertama turun adalah jangan berzina, tentu mereka akan menjawab kami tidak akan meninggalkan zina selama-lamanya. Sesungguhnya telah turun firman Allah sebenarnya hari Kiamat itulah hari yang dijanjikan kepada mereka, dan Kiamat itu lebih dahsyat dan lebih pahitQS. Al-Qamar ayat 46di Mekkah kepada Muhammad shallallahu alaihi wa sallam, dan pada waktu itu aku masih kecil yang senang bermain-main. Surat Al-Baqarah dan An-Nisa barulah turun setelah aku menjadi istri Nabi shallallahu alaihi wa sallam. HR. Bukhari, no.
  Perbaiki Tauhid	17 Maka tidaklah berlebihan jika kita katakan, Di mana pun bumi dipijak, maka di situlah dakwah tauhid harus ditegakkan. Kebahagiaan seperti apakah yang anda idamkan, kejayaan macam apakah yang anda impikan, apabila semangat dakwah tauhid sama sekali tidak bergejolak di dalam hati anda Penulis: Abu Mushlih Ari Wahyudi Artikel Muslim.Or.Id	Penutup Demikianlah penjelasan ringkas tentang salah satu keyakinan dan prinsip dasar Ahlus sunnah wal jamaah yang agung, melihat wajah Allah Taala. Dengan memahami dan mengimani masalah ini dengan benar, maka peluang kita untuk mendapatkan anugrah dan kenikmatan tersebut akan semakin besar, dengan rahmat dan karunia-Nya. Adapun orang-orang yang tidak memahaminya dengan benar, apalagi mengingkarinya, maka mereka sangat terancam untuk terhalangi dari mendapatkan kemuliaan dan anugrah tersebut, minimal akan berkurang kesempurnaannya, nauudzu billahi min dzaalik. Dalam hal ini salah seorang ulama salaf berkata: Barangsiapa yang mendustakan mengingkari suatu kemuliaan, maka dia tidak akan mendapatkan kemuliaan tersebut29. Akhirnya kami berdoa kepada Allah Taala dengan doa Rasulullah shallallahu alaihi wa sallam dalam hadits di atas: Aku meminta kepada-Mu ya Allah kenikmatan memandang wajah-Mu di akhirat nanti dan aku meminta kepada-Mu kerinduan untuk bertemu dengan-Mu sewaktu di dunia Kota Kendari, 12 Rabiul awwal 1431 H Penulis: Ustadz Abdullah bin Taslim al-Buthoni, MA

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• gradient_accumulation_steps: 2
• learning_rate: 1e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	dev-dataset_max_accuracy	test-dataset_max_accuracy
0.0647	100	1.2531	1.0485	0.8003	-
0.1294	200	1.0256	0.9097	0.8200	-
0.1942	300	0.8906	0.8261	0.8430	-
0.2589	400	0.8632	0.7945	0.8453	-
0.3236	500	0.8419	0.7588	0.8556	-
0.3883	600	0.7993	0.7349	0.8631	-
0.4531	700	0.8099	0.7065	0.8676	-
0.5178	800	0.6986	0.6915	0.8686	-
0.5825	900	0.7019	0.6805	0.8699	-
0.6472	1000	0.7176	0.6665	0.8718	-
0.7120	1100	0.6999	0.6630	0.8708	-
0.7767	1200	0.73	0.6517	0.8734	-
0.8414	1300	0.6891	0.6458	0.8715	-
0.9061	1400	0.7331	0.6400	0.8721	-
0.9709	1500	0.7547	0.636	0.8734	-
1.0	1545	-	-	-	0.8728

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.2.0
• Accelerate: 0.31.0
• Datasets: 2.19.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}