AI 的建议靠谱吗？从 Anthropic 研究看如何判断

AI 的建议可以作为参考，但不该因为报告写得完整，就直接照着做。采纳前，先看三件事：它用什么标准判断好坏，有没有公平比较其他方案，以及哪些新信息可能让建议改变。

Anthropic 在 2026 年 10 月 27 日发布的一项研究发现，即使是专业分析师，也容易跟着 AI 的建议选择分析方法。而分析方法一变，同一批数据得出的结果也可能不同。

所以，重点不是少用 AI，而是分清“它帮您完成了分析”和“您已经有充分理由作决定”。下面先解释这项研究，再用新功能测试的例子，说明怎样检查一条建议。

研究发现了什么？

研究中的 50 名专业分析师使用 Claude Code，完成了一项模拟的农业分析任务：判断一家农业合作社提供的付费咨询服务有没有效果，是否值得推广给更多农场。

这里没有唯一的分析方式。例如，“有没有效果”可以看每公顷土地的产量，也可以看每花一笔运营成本，能生产多少农作物。前者更关注土地利用，后者更关注投入是否划算。两种指标都说得通，却可能给出不同的结果。

研究人员事先为 AI 随机设定了倾向：在每项选择中，让它更支持其中一个选项。分析师不知道这件事。AI 被要求用真实数据为自己的建议说明理由，不能编造结果，也不能隐瞒不利的数据。

在选择指标、比较方法、分析哪些农场，以及各农场的数据占多大比重这四类问题上，分析师的选择有 86% 与 AI 被设定的倾向一致。如果 AI 的倾向完全没有影响，研究人员预期这个比例约为 50%。

86% 不是说 86% 的专家做错了决定。 它统计的是四类分析选择，不是专家人数，也不是最终推广建议的错误率。研究关注的是：当两个选项都合理时，AI 会不会影响人选择哪一个。

这项实验刻意加强了 AI 的倾向，而且只测试了一个模型、一个领域、一个约一小时的任务。参与者擅长数据分析，但不熟悉农业。因此，不能把 86% 当成所有工作场景中都会出现的比例。

为什么数据没错，建议仍需要检查？

假设您的团队正在试用一个新功能，需要决定：现在向更多客户开放，还是继续小范围测试？

AI 报告可能写：“参与测试的客户反馈积极，建议扩大开放。”这句话引用的访谈都是真的，但还少了几个问题：

• 有没有客户试过之后就不再使用？
• 客户是真的需要这个功能，还是因为客服一直协助，才愿意继续用？
• 扩大开放后，团队有没有能力提供同样的支持？

如果只看积极反馈，扩大开放很有吸引力；如果同时考虑流失客户和长期支持成本，继续测试也可能更合适。

问题不一定是 AI 算错了，而是它重点考虑了哪些人、哪些收益和哪些成本。原始资料是否准确，与这些资料是否足以支持建议，是两件事。

采纳 AI 建议前，先问这四个问题

下面的方法是把报告变得更容易检查的实用建议，并不是上述实验已经验证有效的解决方案。

1. 我们到底要达到什么目标？

先说清楚怎样才算成功，再让 AI 推荐方案。在新功能的例子里，“收到好评”和“客户在没有大量协助的情况下仍持续使用”不是同一个目标。

如果团队还没定好标准，可以先请 AI 列出几种衡量方式和各自的取舍，等您确认后再比较方案。

2. 另一个方案最有力的理由是什么？

不要只让 AI 为一个方案找理由。请它同时说明“扩大开放”和“继续测试”各自的好处、代价，以及哪些资料支持或反对它们。

两个方案要看同一批客户、同一段时间，使用相同的成功标准。否则，比出来的差别可能只是统计方式不同。

3. 哪些关键结论能在原始资料里找到？

优先检查那些会让您改变决定的内容。报告说“客户持续使用”，就打开使用记录；说“客服投入不大”，就核对实际工作量，而不是只看摘要。

也要确认数据包括谁。主动报名测试的客户，可能比其他客户更有兴趣，他们的反馈不能直接代表所有客户。

4. 什么情况会让推荐改变？

如果 AI 建议扩大开放，可以追问：“如果客服每个月都要投入这么多时间，建议还成立吗？”

让它把这个问题写进报告，并说明还需要补查什么。最后记录您的选择和理由，例如：“先继续测试，确认客户能否在减少客服协助后持续使用，再决定是否扩大开放。”

这样，团队不仅知道选了什么，也知道下一步要验证什么。

一份便于讨论的方案建议，应该写清什么？

针对新功能测试，与其再要一份资料摘要，不如请 AI 整理一份简短的决策说明：

• 要决定什么、目标是什么： 扩大开放还是继续测试，用团队确认的标准衡量。
• 两个方案各有什么依据： 支持和反对的理由，以及关键说法的资料出处。
• 还没查清什么： 例如减少客服协助后，客户是否仍会持续使用。
• 下一步要查什么： 哪些记录需要核对，哪些问题需要继续测试。

把事实、估计和判断分开写。“客户再次使用了功能”是记录中的事实；“更多客户也会持续使用”则是需要进一步验证的推断。团队需要看见这两者的差别，而不只是一个推荐结论。

用 MuseWork 整理方案和依据，而不只是得到一个答案

作决定之前，常常要翻找访谈、使用记录和项目笔记。MuseWork 的 Deep Research 可以帮助整理您提供的资料和公开来源，比较不同说法，并生成带有参考资料的研究报告。

针对上面的例子，您可以提供有权分享的项目目标、客户反馈、使用数据和客服工作量记录，让 MuseWork 把两个方案的依据整理在一起。这样开会时，团队可以直接讨论分歧，而不是先花时间寻找出处。

可以这样提出任务：

请根据这些资料，比较新功能“向更多客户开放”和“继续小范围测试”两个方案。先列出我给定的成功标准，缺少的标准请向我提问。使用同一批客户和同一段时间的数据，分别说明支持与反对每个方案的理由，并标出资料出处。把已知事实、估计和缺少的信息分开写。说明什么新证据会改变建议，不要编造数据。请整理成简短的决策说明，列出两个方案的依据、尚未解决的问题，以及团队下一步要核对或测试的事项。

用我的资料比较两个方案

参考资料

• Anthropic：How AI agents shape experts' judgment calls，2026 年 10 月 27 日发布。实验设计、结果与研究局限。