gemma-instruct-merge-correct-method
gemma-instruct-merge-correct-method is a merge of the following models using LazyMergekit:
🧩 Configuration
- model: google/gemma-2-2b
- model: google/gemma-2-2b-it
parameters:
density:
- filter: self_attn.q_proj.0
value: 0.00539
- filter: self_attn.q_proj.1
value: 0.3256
- filter: self_attn.q_proj.2
value: 0.03843
- filter: self_attn.q_proj.3
value: 0.14886
- filter: self_attn.q_proj.4
value: 0.41323
- filter: self_attn.q_proj.5
value: 0.33564
- filter: self_attn.q_proj.6
value: 0.03716
- filter: self_attn.q_proj.7
value: 0.1084
- filter: self_attn.q_proj.8
value: 0.16658
- filter: self_attn.q_proj.9
value: 0.19716
- filter: self_attn.q_proj.10
value: 0.10008
- filter: self_attn.q_proj.11
value: 0.37198
- filter: self_attn.q_proj.12
value: 0.3622
- filter: self_attn.q_proj.13
value: 0.26806
- filter: self_attn.q_proj.14
value: 0.73192
- filter: self_attn.q_proj.15
value: 0.14731
- filter: self_attn.q_proj.16
value: 0.46923
- filter: self_attn.q_proj.17
value: 0.63063
- filter: self_attn.q_proj.18
value: 0.65673
- filter: self_attn.q_proj.19
value: 0.66558
- filter: self_attn.q_proj.20
value: 0.63758
- filter: self_attn.q_proj.21
value: 0.64362
- filter: self_attn.q_proj.22
value: 0.40341
- filter: self_attn.q_proj.23
value: 0.12982
- filter: self_attn.q_proj.24
value: 0.04552
- filter: self_attn.q_proj.25
value: 0.03919
- filter: self_attn.k_proj.0
value: 0.00592
- filter: self_attn.k_proj.1
value: 0.18684
- filter: self_attn.k_proj.2
value: 0.02603
- filter: self_attn.k_proj.3
value: 0.07283
- filter: self_attn.k_proj.4
value: 0.27067
- filter: self_attn.k_proj.5
value: 0.18189
- filter: self_attn.k_proj.6
value: 0.10695
- filter: self_attn.k_proj.7
value: 0.17169
- filter: self_attn.k_proj.8
value: 0.08753
- filter: self_attn.k_proj.9
value: 0.12807
- filter: self_attn.k_proj.10
value: 0.07783
- filter: self_attn.k_proj.11
value: 0.41518
- filter: self_attn.k_proj.12
value: 0.42307
- filter: self_attn.k_proj.13
value: 0.2896
- filter: self_attn.k_proj.14
value: 0.52953
- filter: self_attn.k_proj.15
value: 0.25035
- filter: self_attn.k_proj.16
value: 0.57679
- filter: self_attn.k_proj.17
value: 0.52768
- filter: self_attn.k_proj.18
value: 0.666
- filter: self_attn.k_proj.19
value: 0.67796
- filter: self_attn.k_proj.20
value: 0.58825
- filter: self_attn.k_proj.21
value: 0.51447
- filter: self_attn.k_proj.22
value: 0.33317
- filter: self_attn.k_proj.23
value: 0.05987
- filter: self_attn.k_proj.24
value: 0.02903
- filter: self_attn.k_proj.25
value: 0.08715
- filter: self_attn.v_proj.0
value: 0.03025
- filter: self_attn.v_proj.1
value: 0.14137
- filter: self_attn.v_proj.2
value: 0.00286
- filter: self_attn.v_proj.3
value: 0.09155
- filter: self_attn.v_proj.4
value: 0.25172
- filter: self_attn.v_proj.5
value: 0.2062
- filter: self_attn.v_proj.6
value: 0.06811
- filter: self_attn.v_proj.7
value: 0.01334
- filter: self_attn.v_proj.8
value: 0.18251
- filter: self_attn.v_proj.9
value: 0.10415
- filter: self_attn.v_proj.10
value: 0.04
- filter: self_attn.v_proj.11
value: 0.22664
- filter: self_attn.v_proj.12
value: 0.16337
- filter: self_attn.v_proj.13
value: 0.09347
- filter: self_attn.v_proj.14
value: 0.52549
- filter: self_attn.v_proj.15
value: 0.02152
- filter: self_attn.v_proj.16
value: 0.25325
- filter: self_attn.v_proj.17
value: 0.43041
- filter: self_attn.v_proj.18
value: 0.49113
- filter: self_attn.v_proj.19
value: 0.32307
- filter: self_attn.v_proj.20
value: 0.41922
- filter: self_attn.v_proj.21
value: 0.32166
- filter: self_attn.v_proj.22
value: 0.34057
- filter: self_attn.v_proj.23
value: 0.24319
- filter: self_attn.v_proj.24
value: 0.07956
- filter: self_attn.v_proj.25
value: 0.13849
- filter: self_attn.o_proj.0
value: 0.03265
- filter: self_attn.o_proj.1
value: 0.22645
- filter: self_attn.o_proj.2
value: 0.06134
- filter: self_attn.o_proj.3
value: 0.16228
- filter: self_attn.o_proj.4
value: 0.07924
- filter: self_attn.o_proj.5
value: 0.1259
- filter: self_attn.o_proj.6
value: 0.09982
- filter: self_attn.o_proj.7
value: 0.02826
- filter: self_attn.o_proj.8
value: 0.03906
- filter: self_attn.o_proj.9
value: 1.0
- filter: self_attn.o_proj.10
value: 0.51227
- filter: self_attn.o_proj.11
value: 0.34671
- filter: self_attn.o_proj.12
value: 0.70159
- filter: self_attn.o_proj.13
value: 0.4424
- filter: self_attn.o_proj.14
value: 0.74354
- filter: self_attn.o_proj.15
value: 0.16266
- filter: self_attn.o_proj.16
value: 0.71896
- filter: self_attn.o_proj.17
value: 0.53179
- filter: self_attn.o_proj.18
value: 0.18472
- filter: self_attn.o_proj.19
value: 0.09507
- filter: self_attn.o_proj.20
value: 0.13472
- filter: self_attn.o_proj.21
value: 0.23246
- filter: self_attn.o_proj.22
value: 0.10599
- filter: self_attn.o_proj.23
value: 0.00282
- filter: self_attn.o_proj.24
value: 0.09864
- filter: self_attn.o_proj.25
value: 0.00961
- filter: mlp.gate_proj.0
value: 0.4928
- filter: mlp.gate_proj.1
value: 0.08775
- filter: mlp.gate_proj.2
value: 0.0
- filter: mlp.gate_proj.3
value: 0.12885
- filter: mlp.gate_proj.4
value: 0.50973
- filter: mlp.gate_proj.5
value: 0.29085
- filter: mlp.gate_proj.6
value: 0.06577
- filter: mlp.gate_proj.7
value: 0.11425
- filter: mlp.gate_proj.8
value: 0.12968
- filter: mlp.gate_proj.9
value: 0.19222
- filter: mlp.gate_proj.10
value: 0.17268
- filter: mlp.gate_proj.11
value: 0.10512
- filter: mlp.gate_proj.12
value: 0.02651
- filter: mlp.gate_proj.13
value: 0.04687
- filter: mlp.gate_proj.14
value: 0.14716
- filter: mlp.gate_proj.15
value: 0.03147
- filter: mlp.gate_proj.16
value: 0.05726
- filter: mlp.gate_proj.17
value: 0.04511
- filter: mlp.gate_proj.18
value: 0.25063
- filter: mlp.gate_proj.19
value: 0.26688
- filter: mlp.gate_proj.20
value: 0.37716
- filter: mlp.gate_proj.21
value: 0.3862
- filter: mlp.gate_proj.22
value: 0.27378
- filter: mlp.gate_proj.23
value: 0.08641
- filter: mlp.gate_proj.24
value: 0.37212
- filter: mlp.gate_proj.25
value: 0.31151
- filter: mlp.up_proj.0
value: 0.24228
- filter: mlp.up_proj.1
value: 0.06887
- filter: mlp.up_proj.2
value: 0.20625
- filter: mlp.up_proj.3
value: 0.27546
- filter: mlp.up_proj.4
value: 0.59112
- filter: mlp.up_proj.5
value: 0.41203
- filter: mlp.up_proj.6
value: 0.07411
- filter: mlp.up_proj.7
value: 0.05424
- filter: mlp.up_proj.8
value: 0.23792
- filter: mlp.up_proj.9
value: 0.1677
- filter: mlp.up_proj.10
value: 0.17054
- filter: mlp.up_proj.11
value: 0.18762
- filter: mlp.up_proj.12
value: 0.08044
- filter: mlp.up_proj.13
value: 0.0021
- filter: mlp.up_proj.14
value: 0.26389
- filter: mlp.up_proj.15
value: 0.06886
- filter: mlp.up_proj.16
value: 0.21476
- filter: mlp.up_proj.17
value: 0.21777
- filter: mlp.up_proj.18
value: 0.32111
- filter: mlp.up_proj.19
value: 0.2885
- filter: mlp.up_proj.20
value: 0.40549
- filter: mlp.up_proj.21
value: 0.42539
- filter: mlp.up_proj.22
value: 0.31214
- filter: mlp.up_proj.23
value: 0.02931
- filter: mlp.up_proj.24
value: 0.3693
- filter: mlp.up_proj.25
value: 0.345
- filter: mlp.down_proj.0
value: 0.06756
- filter: mlp.down_proj.1
value: 0.03746
- filter: mlp.down_proj.2
value: 0.09104
- filter: mlp.down_proj.3
value: 0.06643
- filter: mlp.down_proj.4
value: 0.05003
- filter: mlp.down_proj.5
value: 0.0406
- filter: mlp.down_proj.6
value: 0.01609
- filter: mlp.down_proj.7
value: 0.09629
- filter: mlp.down_proj.8
value: 0.08912
- filter: mlp.down_proj.9
value: 0.12874
- filter: mlp.down_proj.10
value: 0.04635
- filter: mlp.down_proj.11
value: 0.0099
- filter: mlp.down_proj.12
value: 0.03487
- filter: mlp.down_proj.13
value: 0.04977
- filter: mlp.down_proj.14
value: 0.00393
- filter: mlp.down_proj.15
value: 0.00748
- filter: mlp.down_proj.16
value: 0.06696
- filter: mlp.down_proj.17
value: 0.02067
- filter: mlp.down_proj.18
value: 0.10311
- filter: mlp.down_proj.19
value: 0.009
- filter: mlp.down_proj.20
value: 0.0215
- filter: mlp.down_proj.21
value: 0.04196
- filter: mlp.down_proj.22
value: 0.06326
- filter: mlp.down_proj.23
value: 0.21737
- filter: mlp.down_proj.24
value: 0.19338
- filter: mlp.down_proj.25
value: 0.04905
- value: 1
weight:
- value: 1
merge_method: ties
base_model: google/gemma-2-2b
parameters:
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: union
💻 Usage
!pip install -qU transformers accelerate
from transformers import AutoTokenizer
import transformers
import torch
model = "choprahetarth/gemma-instruct-merge-correct-method"
messages = [{"role": "user", "content": "What is a large language model?"}]
tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto",
)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
- Downloads last month
- 7