지식 노동자에게 AI가 미치는 영향의 불균형적 경계를 밝힌 현장 실험

한줄 요약

지식 노동자의 업무에 AI를 도입했을 때 성과가 일관되게 향상되지 않고, 작업 유형에 따라 도움이 되기도 하고 해가 되기도 하는 '톱니 모양 기술 경계' 현상을 실험적으로 규명한 연구입니다.

풀어야 하는 문제

AI가 지식 노동자의 복잡한 업무에 도움이 되는지, 그리고 그 효과가 작업 유형이나 난이도에 따라 어떻게 달라지는지를 실증적으로 검증할 필요가 있었습니다.

접근 방법

보스턴 컨설팅 그룹의 실제 컨설팅 과제를 모방한 18가지 지식 작업을 개발하고, 758명의 참가자를 무작위로 세 그룹(AI 접근 불가, GPT-4 접근, GPT-4 접근 및 프롬프트 엔지니어링 교육)으로 배정하여 성과를 비교 실험했습니다.

결과·기여

AI 접근 그룹은 평균적으로 작업을 12.2% 더 많이, 25.1% 더 빠르게 완료했고, 품질도 유의미하게 높았습니다. 그러나 AI의 역량 경계 밖으로 판단된 복잡한 관리 작업에서는 AI 접근 그룹이 비접근 그룹보다 올바른 해결책을 제시할 확률이 19% 낮았습니다. 이 연구는 AI의 효과가 작업 맥락에 따라 불균형할 수 있음을 보여주는 중요한 실증적 증거를 제공합니다.