[疑问] AISbench在纯模型使用DeepSeekV3.1测试mmlu数据集时出现模型只回答结尾符的情况end_of_sentence #107
Description
疑问描述
AISbench在使用DeepSeekV3.1测试mmlu数据集时出现模型只回答结尾符的情况end_of_sentence：
例如其中一道：
"94": { "prompt": "There is a single choice question about college mathematics. Answer the question by replying A, B, C or D. The last line of your response should be of the form Answer: $ANSWER (without quotes) where $ANSWER is the answer to the question.\nQuestion: (1+i)^10 =\nA. 1\nB. i\nC. 32\nD. 32i\nLet's think step by step.", "origin_prediction": "<｜end▁of▁sentence｜>", "predictions": "", "references": "D" },
请问之前有没有人遇到这种问题？为什么会出现这种情况？通过测试我们发现这一情况与batch大小也会有关系（不同batch直接回答结尾符的题号不同），而且可以稳定复现（开确定性计算之后）。
前置检查
- 我已读懂主页文档的快速入门，无法解答我的疑惑