Human-like sequential sound-to-meaning transfer drives artificial speech comprehension
Zhang, S., Li, S., Yang, R., Chen, G., Tian, X., Wang, Q., Fang, F.
인간 뇌의 음운-의미 순차 변환 메커니즘을 AI 모델에 적용하면 음성 이해 성능이 향상된다.
AI 음성 이해 모델이 인간 수준의 성능에 도달했지만, 그 과정이 인간의 뇌 메커니즘과 유사한지 불분명하다.
연구진은 12개 음성 언어 모델과 인간 뇌파(SEEG) 데이터를 비교하는 음운-의미 혼동 패러다임을 사용했다. 인간 뇌에서 두 가지 변환 메커니즘(국소적 순차 변환, 전역적 교차 영역 계층)을 발견하고, AI 모델의 유닛을 표적 절제 및 활성화 조정하여 성능 변화를 관찰했다.
국소적 순차 변환 메커니즘이 AI 모델의 성능을 예측했으며, 해당 유닛을 조작하면 성능이 향상되었다. 이 메커니즘은 여러 언어에서도 발견되어 생물학적·인공 지능 간 공통 계산 원리로 제시된다.