A startup claims it broke through a bottleneck that's holding back LLMs
마이애미 기반 AI 스타트업 서브쿼드러틱(Subquadratic)은 대규모 언어 모델(LLM)의 성능을 가로막던 수학적 병목을 해결했다고 주장하며 자체 모델 'SubQ'를 공개했습니다. 독립 평가 결과, 해당 모델은 기존 모델보다 훨씬 빠르고 저렴하며 에너지 효율이 높고, 한 번에 처리할 수 있는 텍스트 양이 최대 12배에 달하는 것으로 나타났습니다.
AI 스타트업 서브쿼드러틱(Subquadratic)은 대규모 언어 모델(LLM)의 성능을 가로막던 '밀집 어텐션(dense attention)'의 수학적 병목을 해결했다고 주장하며 자체 모델 'SubQ'를 공개했습니다. 이 모델은 기존 모델보다 최대 12배 많은 텍스트를 한 번에 처리할 수 있으며, 속도와 비용 효율성 면에서 상당한 이점을 제공한다고 합니다.
현재 대부분의 LLM은 트랜스포머 아키텍처와 밀집 어텐션 메커니즘에 의존하는데, 이는 처리해야 할 텍스트가 길어지면 계산 복잡도가 급격히 증가하는 병목 현상을 초래합니다. 서브쿼드러틱은 이러한 근본적인 문제를 해결하여 LLM의 효율성을 크게 높였다고 주장하며, 초기 발표 시에는 근거가 부족해 회의적인 반응을 얻었으나, 최근 제3자 평가 기관인 앱엔(Appen)의 검증 결과를 공개하며 주장을 뒷받침하고 있습니다.
만약 SubQ의 성능이 검증된다면, LLM의 학습 및 추론 비용을 대폭 절감하고, 수백 개의 문서나 전체 코드베이스를 한 번에 분석하는 등 기존에는 어려웠던 대규모 데이터 처리 작업을 가능하게 할 수 있습니다. 이는 AI 모델의 설계 패러다임을 '효율성의 새로운 시대'로 전환시킬 잠재력을 가지고 있으며, 향후 트랜스포머 기반 아키텍처의 발전 방향에 변화를 가져올 수 있습니다.