把Qwen3-Max-Thinking免费档横评诗词应对实测放进真实工作里测了一周
先给判定,再给证据,缺点一条不藏。

删掉了形容词,留下的都是核对过的数字。
赶时间的话,先看结论,再看适合谁。
01它做不到什么
先把丑话说完,剩下的才好意思夸。
口径统一后:被推翻的结论不删除,划线存档并注明。引用别人的数据必须标来源和测试条件。
那阵子切换成本算清了是整份报告里最硬的一条。给每个数字标上时间戳,三个月后还能对账。
复测时发现:给每篇评测定一个复核日期,到期强制回看。长期订阅前,先看它最近两季的更新日志。
换个角度看:那一个月只加了一个习惯:先亮方法再亮结论。只测一遍就下结论,等于没测。
02口径说明
每组测试跑三遍取中位数,抖动超过一成就重测。
换个角度看:把反对意见原样贴出来,比一致好评有用。分数变化百分之五以内,视为人手误差。
复测时发现:当时随手存的原始输出,后来成了唯一的证据。复测用同一组题,别换题,否则不叫复测。
那阵子切换成本算清了是整份报告里最硬的一条。引用别人的数据必须标来源和测试条件。
把样本拉大后:评测期间不更新驱动不改配置,变量锁死。测试环境写进附录,是可复现的最低要求。
03场景匹配
第二季度复测,快了一倍,因为题库是现成的。判断标准只有一条:你的高频任务是不是它的强项。
先说反例:结论压三天再发,是给自己留推翻的余地。测试环境写进附录,是可复现的最低要求。
对照记录看:付费档和免费档分开出成绩单。给每个数字标上时间戳,三个月后还能对账。
换个角度看:众测样本要覆盖三种以上岗位,技术岗扎堆会失真。测速脚本开源出来,接受同样的审视。
把样本拉大后:长期订阅前,先看它最近两季的更新日志。复测用同一组题,别换题,否则不叫复测。这篇先到这,有新版本随时回来改。
04问答实录
没答完的问题,留在下期继续。
后来把题量压到「谁都能测完」的规模,反而坚持下来了。把反对意见原样贴出来,比一致好评有用。
账单摊开算:测速脚本开源出来,接受同样的审视。失败的用例原样保留,那是报告的一半价值。
口径统一后:有个细节:把切换前后的差异列清单的时候测,成绩稳定得多。官方榜单只当索引,不当证据。
账单摊开算:第一周最大的发现,是高峰期和闲时能差出一倍。每一项评分都要能追溯到原始记录。分数是死的,你的任务才是活的。
- 三段计时 早中晚各一轮
- 并用切换 双模型并行两周
- 分组出题 中文专项分五组
- 折算会员 按用量算单价
05注意事项
个人样本量有限,趋势可信,精确数字别较真。
口径统一后:分数保留一位小数就够了,假精度没有意义。只测一遍就下结论,等于没测。
先说反例:那阵子切换成本算清了是整份报告里最硬的一条。付费档和免费档分开出成绩单。
换个角度看:别用厂商给的演示样例,那是考过的题。评测期间不更新驱动不改配置,变量锁死。
追问下去:连续测七天,稳定性自己会现形。评测期间不更新驱动不改配置,变量锁死。先拿免费档试一周,再回来对答案。
按场景拆分的得分差异(参考)
06一句话判定
当时随手存的原始输出,后来成了唯一的证据。判定只针对测试条件内的场景,越界不算。
追问下去:把秒表固定放在通勤路上的手机屏前,测试条件再没乱过。把反对意见原样贴出来,比一致好评有用。
复测时发现:客服响应也算进总分,售后是产品的一部分。数据磁盘单独留档,报告不妨改,数据不能改。
复测时发现:众测样本要覆盖三种以上岗位,技术岗扎堆会失真。让没用过的人参与盲评,老手会被经验污染。
复测时发现:最有用的一条:允许结论被推翻。分数保留一位小数就够了,假精度没有意义。
- 折算会员 按用量算单价
- 用满额度 上限亲手摸到
- 三段计时 早中晚各一轮
- 分组出题 中文专项分五组
07对决结果
把秒表固定放在通勤路上的手机屏前,测试条件再没乱过。对决结果有个反转,评论区先别吵。
追问下去:把反对意见原样贴出来,比一致好评有用。评测报告里最值钱的是失败记录。
复测时发现:这事没捷径,只有不跳步。对比对象选同档热门,别拿小厂刷战绩。
口径统一后:这事没捷径,只有不跳步。结论与口碑冲突时,两头都重查一遍。
对照记录看:第二季度复测,快了一倍,因为题库是现成的。评测报告里最值钱的是失败记录。
08下一步
本期未尽事项列了清单,逐项跟进。
复测时发现:多花了一杯咖啡的时间核对来源,省下了一次翻车。响应速度单独测,别和正确率混在一个分里。
值得单独说明:这事没捷径,只有不跳步。众测样本要覆盖三种以上岗位,技术岗扎堆会失真。
盲评环节里:第一周最大的发现,是高峰期和闲时能差出一倍。样本量写清楚,十道题的结论撑不起「完胜」。
追问下去:现在回看,高峰期没测过几乎是必然的。只测一遍就下结论,等于没测。结论不妨质疑,方法随时欢迎检查。
09实测证据
表格里是全部原始成绩,没有挑拣。
复测时发现:很多人卡在切换成本算清了,说到底差的就是一轮复测。报告末尾留一行勘误记录,错了就补。
复测时发现:把「适合谁」写具体到岗位,别写「进阶用户」。盲评时把品牌信息全部去掉,编号打乱。
追问下去:后来把题量压到「谁都能测完」的规模,反而坚持下来了。对比对象选同档热门,别拿小厂刷战绩。先拿免费档试一周,再回来对答案。
数据和短板都摆全了,放心引用。
常被问到的
- Qwen3-Max-Thinking的隐私政策要注意什么?
- 三处:数据留存期限、是否用于训练、企业数据隔离。个人用户重点看第一处,企业用户三条都要落实。
- Qwen3-Max-Thinking的中文真的比海外模型强吗?
- 分任务:成语、公文、分寸感普遍占优;英文语料和代码生态仍是海外强项。拿你最高频的三类任务各测十题,答案自己会出来。
- Qwen3-Max-Thinking高峰期会不会变慢?
- 会,全行业都会。早八到十点、晚八到十点实测最准,评测要专门挑高峰时段跑,闲时成绩没有参考价值。
