1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
| 現在的 prompt 是: 河北大学在哪里? 現在的 messages 是: [{'role': 'system', 'content': '河北大学的法定住所为河北省保定市五四东路180号,此外同时拥有七一路校区和裕华路校区等校区。'}, {'role': 'user', 'content': '河北大学在哪里?'}, {'role': 'assistant', 'content': '河北大学位于河北省石家庄市'}] tokenizer.apply_chat_template 的輸出: tensor([[ 2, 105, 2364, 107, 170251, 18413, 236918, 175366, 128134, 237242, 170251, 238669, 237674, 237310, 237594, 238367, 238134, 238397, 237844, 236770, 236828, 236771, 238013, 236900, 52833, 20507, 39354, 238971, 100870, 238324, 237835, 237206, 241100, 238716, 237844, 238324, 237835, 237520, 238324, 237835, 236924, 108, 170251, 18413, 208396, 237536, 106, 107, 105, 4368, 107, 170251, 18413, 58427, 170251, 238669, 238441, 237350, 240554, 237594, 106]]) ===============================================
用 tokenizer.decode 轉回文字: <bos><start_of_turn>user 河北大学的法定住所为河北省保定市五四东路180号,此外同时拥有七一路校区和裕华路校区等校区。
河北大学在哪里?<end_of_turn> <start_of_turn>model 河北大学位于河北省石家庄市<end_of_turn> ===============================================
生成的文字是: <bos><start_of_turn>user 河北大学的法定住所为河北省保定市五四东路180号,此外同时拥有七一路校区和裕华路校区等校区。
河北大学在哪里?<end_of_turn> <start_of_turn>model 河北大学位于河北省石家庄市<end_of_turn> 雄安区五四东路180号。 <end_of_turn>
|