AI 의사결정, 제안을 실행하기 전에 확인할 네 가지

AI를 의사결정에 활용할 때, 잘 정리된 제안이라고 바로 실행할 필요는 없습니다. 무엇을 성공으로 보는지, 다른 방안도 같은 기준으로 비교했는지, 어떤 정보가 나오면 추천이 바뀌는지 먼저 확인하세요.

앤트로픽이 2026년 10월 27일 발표한 연구에서는 전문 분석가들도 AI가 권하는 분석 방법을 선택하는 경향을 보였습니다. 분석 방법이 달라지면 같은 데이터로도 다른 결과가 나올 수 있습니다.

핵심은 AI에 분석을 맡기는 것과 그 제안을 채택하는 것을 구분하는 데 있습니다. 연구 결과를 살펴본 뒤, 새 기능의 테스트 범위를 넓힐지 결정하는 사례로 검토 방법을 알아보겠습니다.

어떤 실험이었을까?

전문 분석가 50명이 Claude Code를 사용해 가상의 농업 협동조합이 제공하는 유료 자문 서비스의 효과를 평가했습니다. 이 서비스를 더 많은 농장으로 확대할지 판단하는 과제였습니다.

효과를 측정하는 방법은 하나가 아니었습니다. 예를 들어 헥타르당 수확량을 볼 수도 있고, 운영비 대비 수확량을 볼 수도 있습니다. 하나는 토지를 얼마나 잘 활용하는지, 다른 하나는 비용에 비해 얼마나 생산하는지를 봅니다. 둘 다 합리적이지만 결과는 다를 수 있습니다.

연구진은 각 선택에서 AI가 어느 쪽을 지지할지 무작위로 정했습니다. 분석가들에게는 알리지 않았습니다. AI는 실제 데이터로 이유를 설명해야 했고, 결과를 지어내거나 불리한 데이터를 숨겨서는 안 됐습니다.

무엇을 측정할지, 어떻게 비교할지, 어떤 농장을 포함할지, 각 농장의 데이터를 얼마나 중요하게 반영할지에 관한 네 종류의 분석 선택에서, 분석가들의 선택 중 86%가 AI에 설정된 선호 방향과 일치했습니다. AI의 선호가 영향을 주지 않았다면 연구진은 약 50%를 예상했습니다.

이는 전문가의 86%가 틀린 결정을 내렸다는 뜻이 아닙니다. 사람 수나 최종 권고의 오류율이 아니라, 네 종류의 분석 선택을 집계한 수치입니다. 연구는 여러 방법이 모두 타당할 때 AI가 사람이 선택하는 방향에 영향을 주는지 살펴봤습니다.

실험에서는 AI의 선호를 의도적으로 강화했습니다. 모델 하나, 분야 하나, 약 한 시간짜리 과제만 다뤘습니다. 참여자들은 데이터 분석 전문가였지만 농업에는 익숙하지 않았습니다. 따라서 86%를 모든 업무에 적용되는 비율로 볼 수는 없습니다.

데이터가 맞아도 제안은 따로 확인해야 한다

팀이 새 기능을 일부 고객에게 시험 제공하고 있다고 가정해 보겠습니다. 지금 더 많은 고객에게 제공할지, 소규모 테스트를 계속할지 결정해야 합니다.

AI 보고서에는 “테스트 고객의 반응이 좋으므로 확대하자”라고 적혀 있을 수 있습니다. 인용한 인터뷰가 모두 실제 자료여도 다음 질문은 남습니다.

• 써 본 뒤 사용을 중단한 고객은 없었을까?
• 고객이 기능 자체에서 가치를 얻는 걸까, 계속 지원을 받아야 사용할 수 있는 걸까?
• 고객이 늘어도 같은 수준의 지원을 제공할 수 있을까?

긍정적인 반응만 보면 확대가 좋아 보입니다. 이탈 고객과 지속적인 지원 비용까지 고려하면 테스트를 더 진행하는 편이 나을 수도 있습니다.

반드시 계산이 틀린 것은 아닙니다. 어떤 고객, 이점, 비용을 더 중요하게 다뤘는지가 결론을 바꿀 수 있습니다. 자료가 정확한지와 그 자료가 제안을 충분히 뒷받침하는지는 따로 확인해야 합니다.

AI 제안을 실행하기 전에 물어볼 네 가지 질문

다음은 보고서를 검토하기 쉽게 만드는 실무 제안입니다. 위 실험에서 효과가 검증된 방법은 아닙니다.

1. 무엇을 성공으로 볼 것인가?

추천을 받기 전에 목표를 정합니다. “고객 평가가 좋다”와 “많은 지원 없이도 계속 사용한다”는 서로 다른 기준입니다.

기준을 정하지 못했다면 AI에게 몇 가지 평가 방법과 각각의 장단점을 먼저 정리하도록 요청하세요. 기준을 확인한 뒤 방안을 비교합니다.

2. 다른 방안을 선택할 가장 강한 이유는 무엇인가?

확대와 테스트 지속, 두 방안 모두의 이점과 부담, 지지하는 자료와 반대 근거를 살펴보세요.

같은 고객 집단, 같은 기간, 같은 성공 기준으로 비교해야 합니다. 한쪽에만 느슨한 기준을 적용하면 공정한 비교가 어렵습니다.

3. 중요한 주장을 원자료에서 확인할 수 있는가?

결정에 영향을 줄 주장부터 확인합니다. 고객이 계속 사용한다면 이용 기록을, 지원 부담이 작다면 실제 작업량을 확인하세요. 요약만 읽고 넘어가지 않는 것이 중요합니다.

데이터에 누가 포함됐는지도 보세요. 자발적으로 테스트에 참여한 고객은 관심이 더 높을 수 있으므로, 그들의 반응이 모든 고객을 대표하지는 않습니다.

4. 어떤 정보가 나오면 추천이 바뀌는가?

AI가 확대를 권한다면 “매달 이 정도 지원이 계속 필요해도 확대하는 것이 좋을까?”라고 물어보세요. 추가로 확인해야 할 정보도 정리하도록 요청합니다.

최종 선택과 이유를 남기는 것도 좋습니다. “지원을 줄여도 고객이 계속 사용하는지 확인하기 위해 테스트를 이어간다”라고 기록하면, 팀이 다음에 무엇을 확인해야 할지 분명해집니다.

팀이 논의할 수 있는 의사결정 메모로 정리하기

새 기능 테스트 사례라면, 자료를 요약하는 데서 그치지 말고 다음 내용을 짧은 의사결정 메모로 정리해 달라고 요청하세요.

• 결정할 사안과 기준: 제공 범위를 넓힐지, 테스트를 계속할지와 합의한 성공 기준.
• 각 방안의 근거: 지지하는 자료와 반대 근거, 중요한 주장별 출처.
• 아직 모르는 점: 예를 들어 지원을 줄여도 고객이 계속 사용하는지.
• 다음 확인 사항: 대조할 기록과 추가 테스트에서 검증할 질문.

사실, 추정, 판단을 구분하는 것이 중요합니다. “고객이 다시 사용했다”는 기록으로 확인할 수 있는 사실이지만, “더 많은 고객도 계속 사용할 것이다”는 추가 근거가 필요한 예상입니다. 이 차이를 드러내야 팀이 추천뿐 아니라 남은 문제도 논의할 수 있습니다.

MuseWork로 방안과 근거를 한곳에 정리하기

고객 인터뷰, 이용 기록, 프로젝트 메모는 여러 파일에 흩어져 있기 쉽습니다. MuseWork의 Deep Research는 제공한 자료와 공개 정보를 정리하고, 내용을 비교해 참고 자료가 포함된 리서치 보고서로 만드는 작업을 돕습니다.

공유 권한이 있는 목표, 고객 의견, 이용 데이터, 지원 기록을 준비해 두 방안의 근거를 함께 정리해 보세요. 회의에서 출처를 찾는 데 시간을 쓰기보다 의견이 갈리는 지점을 논의할 수 있습니다.

다음과 같이 요청할 수 있습니다.

이 자료를 바탕으로 새 기능을 더 많은 고객에게 제공하는 방안과 소규모 테스트를 계속하는 방안을 비교해 주세요. 먼저 제가 제시한 성공 기준을 정리하고, 빠진 기준은 질문해 주세요. 같은 고객 집단과 기간의 데이터로 각 방안을 지지하거나 반대하는 근거를 설명하고 출처를 표시해 주세요. 확인된 사실, 추정치, 부족한 정보를 구분하고 어떤 새 근거가 나오면 추천이 바뀔지도 설명해 주세요. 데이터를 지어내지 마세요. 마지막에는 각 방안의 근거, 해결되지 않은 질문, 팀이 다음에 확인하거나 검증할 사항을 짧은 의사결정 메모로 정리해 주세요.

내 자료로 두 방안 비교하기

참고 자료

• Anthropic: How AI agents shape experts' judgment calls, 2026년 10월 27일 발표. 실험 설계, 결과 및 연구의 한계.