回答变差时,怎样建立可重复的检查样本
用固定材料、明确答案和重复对照判断问题范围,避免依据一道题或一次回答认定模型被降级。
资料更新为主题参考资料的日期,正文以本站整理日期为准。
把“变差了”写成具体表现
先区分事实错误、漏掉要求、回复变短、工具不可用和网络中断。这些现象不一定有共同原因。记录一条具体例子:你提供了什么、期望哪项结果、实际哪里不符。单道算术题、回答语气或模型的自我介绍,都不能可靠判定后台是否更换了模型。
用自己知道答案的材料
准备三至五个小样本,每个只检查一种能力。例如从十行记录中找出符合条件的三行,或根据一段规则判断两个案例。将标准答案和判分条件单独保存,不把它们一起发给模型。开放式写作可以检查字数、必含事实和禁用内容,少依赖审美判断。
保持设置和输入一致
使用新对话,固定模型选项、文件和提示文字,并记录测试时间。比较时尽量减少同时变化的因素。
- 关闭与本次比较无关的自定义要求,或保持两组设置完全相同。
- 工具任务与纯文本任务分开,避免把工具失败计成推理错误。
- 每个样本重复几次,保留错误和正确的全部输出。
- 若修改了提示或材料,另起一组记录,不混入原来的统计。
找变化模式,不给单次结果定性
查看错误是否集中在长材料、某种文件或某个工具上。如果短文本稳定而附件任务失败,应先检查读取情况;如果只有旧对话异常,可以对照新的干净对话。样本波动能提示排查方向,但它本身无法证明服务端的路由、限流或模型部署发生了什么。
提交能让对方复现的记录
向产品支持反馈时,提供发生时间、使用入口、界面显示的模型名称、脱敏输入、预期结果和实际差异。保存错误提示或请求标识,但不要发送密码、登录凭证或完整敏感文件。能复现的问题比一句“账号降智了”更容易定位,也更便于后续确认是否恢复。
准备好开通了吗?
先核对套餐和账号条件,付款后在订单页查看开通进度。