← 返回洞察
大模型
大模型上线前的评测:别把“看起来不错”当成通过
缺乏系统评测的 AI 功能,问题往往在上线后、在真实用户面前才暴露。
大模型的输出具有不确定性,“试了几次觉得不错”远不足以支撑上线。没有系统评测,问题会在真实流量、边界输入和恶意构造下集中暴露。
一套可用的评测至少覆盖:准确性与相关性、对敏感与高风险问题的拒答与护栏、对抗性输入(越狱、注入)的稳健性、以及不同人群与语言下的一致性。
务实做法是建立可复现的评测集与打分标准、把评测纳入发布流程、并在模型或提示变更后回归测试。评测不是一次性动作,而是持续的质量与合规证据。