행렬 리 군 원소를 토큰으로 하는 리-대수 어텐션

한줄 요약

어텐션의 토큰을 행렬 리 군의 원소로 정의하고, 상대 포즈의 리 대수 노름을 폐쇄형 점수로 사용하는 리-대수 어텐션을 제안한다.

풀어야 하는 문제

기존 어텐션 메커니즘은 토큰을 벡터로 표현하며, 군 구조를 활용하려면 표현 이론이나 지수 사상의 전사성을 가정해야 한다. 이로 인해 비컴팩트 비아벨 군(예: 스케일과 시어를 포함한 아핀 군)에는 적용이 불가능하다.

접근 방법

토큰을 행렬 리 군 G의 원소 g_i로 둔다. 상대 기하 g_i^{-1} g_j의 로그를 취한 log(g_i^{-1} g_j)를 쌍별 불변량으로 사용하고, 어텐션 점수는 음의 제곱 리 대수 노름 s_{ij} = -||log(g_i^{-1} g_j)||_λ^2 / τ로 정의한다. 이는 블록 가중 프로베니우스 내적 하의 표준 근접 커널이며, 표현 이론이나 학습된 커널이 필요 없다.

결과·기여

SE(2), SO(3), Aff(2)에서의 시퀀스 완성 실험을 통해 폐쇄형 점수가 동일한 불변량을 사용하는 학습된 MLP 커널과 성능이 비슷하거나 더 우수하며, 파라미터 수는 50~80배 적음을 보였다. 벡터 토큰 기준선은 불변성을 5~12자릿수 위반했다.