Google DeepMind is worried about what happens when millions of agents start to interact
구글 딥마인드가 수백만 개의 AI 에이전트가 온라인에서 상호작용할 때 발생할 수 있는 위험을 연구하기 위해 1000만 달러 규모의 연구 기금을 조성했다. 이 기금은 학계 연구자들이 멀티에이전트 시스템의 안전성을 연구하고 위험 시나리오를 방지할 방법을 모색하도록 지원한다.
구글 딥마인드가 수백만 개의 AI 에이전트가 온라인에서 상호작용할 때 발생할 수 있는 잠재적 위험을 연구하기 위해 1000만 달러 규모의 연구 기금을 조성했다. 이 기금은 딥마인드, 슈미트 사이언스, 영국 정부의 ARIA, 협력 AI 재단, 구글.org가 공동으로 지원한다.
딥마인드의 AGI 안전 및 정렬 연구 책임자인 로힌 샤는 인간의 감독 없이 작업을 수행하고 다른 에이전트의 지시를 따를 수 있는 에이전트의 대중적 보급이 새로운 위험 계층을 만든다고 지적했다. 이러한 위험에는 사기, 프롬프트 인젝션(악의적 지시를 받은 AI 에이전트가 자가 유도 멀웨어로 변하는 것), 기타 사이버 공격 등이 포함된다. 샤는 에이전트가 경제 전반에 배포되기까지 몇 달 남지 않았다고 보며, 그 시점에 앞서 대비하려 한다.
멀티에이전트 시스템의 안전성 연구는 아직 초기 단계이며, 학계의 장기적이고 미래지향적인 연구가 필요하다. 실제 시뮬레이션을 통해 대규모 멀티에이전트 상호작용의 결과를 이해하는 것이 중요하며, 이 기금이 해당 분야의 연구를 촉발할 것으로 기대된다. 다만, 샤는 올해 안에 경제 붕괴 같은 극단적 시나리오는 우려하지 않는다고 밝혔다.