首页 / 中文能力评测 / 这篇
中文能力评测

把Qwen3-Max-Thinking免费档横评诗词应对实测放进真实工作里测了一周

先给判定,再给证据,缺点一条不藏。

吕望舒AI 工作流顾问 · 2026-08-27 · 约 6 分钟
把Qwen3-Max-Thinking免费档横评诗词应对实测放进真实工作里测了一周
把Qwen3-Max-Thinking免费档横评诗词应对实测放进真实工作里测了一周 实测整理/对比横评观察

删掉了形容词,留下的都是核对过的数字。

赶时间的话,先看结论,再看适合谁。

边读边算

测试题库规模测算

按任务数与复测频率算要备多少道题。

项
道
%

01它做不到什么

先把丑话说完,剩下的才好意思夸。

口径统一后:被推翻的结论不删除,划线存档并注明。引用别人的数据必须标来源和测试条件。

那阵子切换成本算清了是整份报告里最硬的一条。给每个数字标上时间戳,三个月后还能对账。

复测时发现:给每篇评测定一个复核日期,到期强制回看。长期订阅前,先看它最近两季的更新日志。

换个角度看:那一个月只加了一个习惯:先亮方法再亮结论。只测一遍就下结论,等于没测。

02口径说明

每组测试跑三遍取中位数,抖动超过一成就重测。

换个角度看:把反对意见原样贴出来,比一致好评有用。分数变化百分之五以内,视为人手误差。

复测时发现:当时随手存的原始输出,后来成了唯一的证据。复测用同一组题,别换题,否则不叫复测。

那阵子切换成本算清了是整份报告里最硬的一条。引用别人的数据必须标来源和测试条件。

把样本拉大后:评测期间不更新驱动不改配置,变量锁死。测试环境写进附录,是可复现的最低要求。

03场景匹配

第二季度复测,快了一倍,因为题库是现成的。判断标准只有一条:你的高频任务是不是它的强项。

先说反例:结论压三天再发,是给自己留推翻的余地。测试环境写进附录,是可复现的最低要求。

对照记录看:付费档和免费档分开出成绩单。给每个数字标上时间戳,三个月后还能对账。

换个角度看:众测样本要覆盖三种以上岗位,技术岗扎堆会失真。测速脚本开源出来,接受同样的审视。

把样本拉大后:长期订阅前,先看它最近两季的更新日志。复测用同一组题,别换题,否则不叫复测。这篇先到这,有新版本随时回来改。

04问答实录

没答完的问题,留在下期继续。

后来把题量压到「谁都能测完」的规模,反而坚持下来了。把反对意见原样贴出来,比一致好评有用。

账单摊开算:测速脚本开源出来,接受同样的审视。失败的用例原样保留,那是报告的一半价值。

口径统一后:有个细节:把切换前后的差异列清单的时候测,成绩稳定得多。官方榜单只当索引,不当证据。

账单摊开算:第一周最大的发现,是高峰期和闲时能差出一倍。每一项评分都要能追溯到原始记录。分数是死的,你的任务才是活的。

  1. 三段计时 早中晚各一轮
  2. 并用切换 双模型并行两周
  3. 分组出题 中文专项分五组
  4. 折算会员 按用量算单价

05注意事项

个人样本量有限,趋势可信,精确数字别较真。

口径统一后:分数保留一位小数就够了,假精度没有意义。只测一遍就下结论,等于没测。

先说反例:那阵子切换成本算清了是整份报告里最硬的一条。付费档和免费档分开出成绩单。

换个角度看:别用厂商给的演示样例,那是考过的题。评测期间不更新驱动不改配置,变量锁死。

追问下去:连续测七天,稳定性自己会现形。评测期间不更新驱动不改配置,变量锁死。先拿免费档试一周,再回来对答案。

按场景拆分的得分差异(参考)
闲时 · 20早峰 · 46午间 · 61晚峰 · 56
图为按普遍情况整理的示意区间,非实测数据,具体以各家当期版本为准。

06一句话判定

当时随手存的原始输出,后来成了唯一的证据。判定只针对测试条件内的场景,越界不算。

追问下去:把秒表固定放在通勤路上的手机屏前,测试条件再没乱过。把反对意见原样贴出来,比一致好评有用。

复测时发现:客服响应也算进总分,售后是产品的一部分。数据磁盘单独留档,报告不妨改,数据不能改。

复测时发现:众测样本要覆盖三种以上岗位,技术岗扎堆会失真。让没用过的人参与盲评,老手会被经验污染。

复测时发现:最有用的一条:允许结论被推翻。分数保留一位小数就够了,假精度没有意义。

  1. 折算会员 按用量算单价
  2. 用满额度 上限亲手摸到
  3. 三段计时 早中晚各一轮
  4. 分组出题 中文专项分五组

07对决结果

把秒表固定放在通勤路上的手机屏前,测试条件再没乱过。对决结果有个反转,评论区先别吵。

追问下去:把反对意见原样贴出来,比一致好评有用。评测报告里最值钱的是失败记录。

复测时发现:这事没捷径,只有不跳步。对比对象选同档热门,别拿小厂刷战绩。

口径统一后:这事没捷径,只有不跳步。结论与口碑冲突时,两头都重查一遍。

对照记录看:第二季度复测,快了一倍,因为题库是现成的。评测报告里最值钱的是失败记录。

08下一步

本期未尽事项列了清单,逐项跟进。

复测时发现:多花了一杯咖啡的时间核对来源,省下了一次翻车。响应速度单独测,别和正确率混在一个分里。

值得单独说明:这事没捷径,只有不跳步。众测样本要覆盖三种以上岗位,技术岗扎堆会失真。

盲评环节里:第一周最大的发现,是高峰期和闲时能差出一倍。样本量写清楚,十道题的结论撑不起「完胜」。

追问下去:现在回看,高峰期没测过几乎是必然的。只测一遍就下结论,等于没测。结论不妨质疑,方法随时欢迎检查。

09实测证据

表格里是全部原始成绩,没有挑拣。

复测时发现:很多人卡在切换成本算清了,说到底差的就是一轮复测。报告末尾留一行勘误记录,错了就补。

复测时发现:把「适合谁」写具体到岗位,别写「进阶用户」。盲评时把品牌信息全部去掉,编号打乱。

追问下去:后来把题量压到「谁都能测完」的规模,反而坚持下来了。对比对象选同档热门,别拿小厂刷战绩。先拿免费档试一周,再回来对答案。

数据和短板都摆全了,放心引用。

小提示 小提示:每次测完存一份原始输出,攒着就是档案库。
再说一句 补充:这份报告按季度复评,历史结论会标注存档。

常被问到的

Qwen3-Max-Thinking的隐私政策要注意什么?
三处:数据留存期限、是否用于训练、企业数据隔离。个人用户重点看第一处,企业用户三条都要落实。
Qwen3-Max-Thinking的中文真的比海外模型强吗?
分任务:成语、公文、分寸感普遍占优;英文语料和代码生态仍是海外强项。拿你最高频的三类任务各测十题,答案自己会出来。
Qwen3-Max-Thinking高峰期会不会变慢?
会,全行业都会。早八到十点、晚八到十点实测最准,评测要专门挑高峰时段跑,闲时成绩没有参考价值。
吕望舒

AI 工作流顾问,帮团队选型过几十轮。写实测的真实短板,不吹也不黑。

这位评测人的其他实测 →