chinese-llama-7b-ift / special_tokens_map.json
XuYipei's picture
Upload tokenizer
1bc718a
{
"additional_special_tokens": [
"<end>",
"<unused_token_0>",
"<unused_token_1>",
"<unused_token_2>",
"<unused_token_3>",
"<unused_token_4>",
"<unused_token_5>",
"<unused_token_6>",
"<unused_token_7>",
"<unused_token_8>",
"<unused_token_9>",
"<unused_token_10>",
"<unused_token_11>",
"<unused_token_12>",
"<unused_token_13>",
"<unused_token_14>",
"<unused_token_15>",
"<unused_token_16>",
"<unused_token_17>",
"<unused_token_18>",
"<unused_token_19>",
"<unused_token_20>",
"<unused_token_21>",
"<unused_token_22>",
"<unused_token_23>",
"<unused_token_24>",
"<unused_token_25>",
"<unused_token_26>",
"<unused_token_27>",
"<unused_token_28>",
"<unused_token_29>",
"<unused_token_30>",
"<unused_token_31>",
"<unused_token_32>",
"<unused_token_33>",
"<unused_token_34>",
"<unused_token_35>",
"<unused_token_36>",
"<unused_token_37>",
"<unused_token_38>",
"<unused_token_39>",
"<unused_token_40>",
"<unused_token_41>",
"<unused_token_42>",
"<unused_token_43>",
"<unused_token_44>",
"<unused_token_45>",
"<unused_token_46>",
"<unused_token_47>",
"<unused_token_48>",
"<unused_token_49>",
"<unused_token_50>",
"<unused_token_51>",
"<unused_token_52>",
"<unused_token_53>",
"<unused_token_54>",
"<unused_token_55>",
"<unused_token_56>",
"<unused_token_57>",
"<unused_token_58>",
"<unused_token_59>",
"<unused_token_60>",
"<unused_token_61>",
"<unused_token_62>",
"<unused_token_63>",
"<unused_token_64>",
"<unused_token_65>",
"<unused_token_66>",
"<unused_token_67>",
"<unused_token_68>",
"<unused_token_69>",
"<unused_token_70>",
"<unused_token_71>",
"<unused_token_72>",
"<unused_token_73>",
"<unused_token_74>",
"<unused_token_75>",
"<unused_token_76>",
"<unused_token_77>",
"<unused_token_78>",
"<unused_token_79>",
"<unused_token_80>",
"<unused_token_81>",
"<unused_token_82>",
"<unused_token_83>",
"<unused_token_84>",
"<unused_token_85>",
"<unused_token_86>",
"<unused_token_87>",
"<unused_token_88>",
"<unused_token_89>",
"<unused_token_90>",
"<unused_token_91>",
"<unused_token_92>",
"<unused_token_93>",
"<unused_token_94>",
"<unused_token_95>",
"<unused_token_96>",
"<unused_token_97>",
"<unused_token_98>",
"<unused_token_99>"
],
"bos_token": "<s>",
"eos_token": "</s>",
"unk_token": "<unk>"
}