Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
의사결정나무와 확산모델 사이의 수학적 대응 관계를 밝히고, 공통 최적화 원리인 GTSM을 제시했다. 제안된 TreeFlow는 표 형식 데이터 생성에서 2배 속도 향상을, DSMTree는 증류를 통해 신경망 성능을 2% 이내로 근사한다.
의사결정나무와 확산모델을 통합하는 이론적 틀을 제시했다. 두 모델이 극한 상황에서 수학적으로 대응함을 증명하고, 공통 최적화 원리인 Global Trajectory Score Matching(GTSM)을 도출했다.
의사결정나무는 이산적이고 계층적인 반면, 확산모델은 연속적이고 동적이다. 이들은 겉보기에 완전히 다른 모델 클래스로 여겨져 왔으나, 이 연구는 둘 사이의 깊은 연결을 밝혀내어 기계학습의 통합적 이해를 확장한다.
이론적 통합 외에도 TreeFlow와 DSMTree라는 실용적 방법을 제시하여 표 형식 데이터 생성과 모델 증류에서 성능 향상을 입증했다. 이는 의사결정나무 기반 방법(예: 그래디언트 부스팅)과 확산모델 간의 시너지를 창출할 수 있음을 시사한다.
해당 논문이 의사결정나무와 확산 모델을 수학적으로 통합한 점은 인정받았으나, 일부 댓글은 수학적 엄밀성 부족과 실용적 유용성에 의문을 제기했다. 반면, 표 형식 데이터에 확산 모델을 적용한 TreeFlow의 생성 품질과 속도 향상, 그리고 증류 기법 DSMTree의 성능 근접성 등 실질적 성과를 높이 평가하는 의견도 있었다. 코드 공개 여부와 같은 실용적 관심도 함께 드러났다.