Slow Perception: Let’s Perceive Geometric Figures Step-by-step

Meta info.

• Authors: Haoran Wei, Youyang Yin, Yumeng Li, Jia Wang, Liang Zhao, Jianjian Sun, Zheng Ge, Xiangyu Zhang
• Paper: https://arxiv.org/pdf/2412.20631
• Affiliation: Beihang Univ., Stepfun
• Published: December 30, 2024
• Code: https://github.com/Ucas-HaoranWei/Slow-Perception

TL; DR

기하 문제 풀이에 있어서 모델이 천천히 보게 하는게 성능 향상에 도움이 된다.

Background

visual o1등 시각 추론에 월등하다는 LVLM 속속히 등장한다.

Problem States

LVLM이 여전히 단순 기하 문제 (e.g. 선이 몇 번 겹치는가?) 를 못푼다.

• 공간 관계 이해는 고사하고 accurate copying(strong perception)도 못함.
• long visual jumps 문제 (계속 언급되어 온, LVLM이 high concept은 잘 보는 것 같은데, 부분 부분은 못보는 문제의 연장)

Suggestion

사람처럼 도형을 작은 단위로 나눠서 인식하는 Slow Perception 제안

• 사람처럼?: perception은 즉각적인게 아니라 점진적인 것으로, 사람은 복잡한 도형을 기본 단순형으로 분해하여 이해한 후 통합하는 과정을 거친다.
• step1 perception decomposition: (복잡한 도형 이해 관련) 중첩된 도형을 단순형으로 분리
• step2 perception flow: (선 추적 관련) 단위 길이(perceptual ruler)만큼 분리 후 최종 길이 예측

Effects

inference time scaling law (추론 시간은 길수록 좋다) 확인

• Mathvista의 geo subset으로 확인한 결과 제안 모델의 이미지 파싱 정보를 덧붙였을 때 정확도 6.73%p 상승
• 단위길이가 줄어들 수록 최종 길이 예측에 도움

Personal note. 모델 생김새나 다른 내용은 기존 연구와 비슷한 것 같은데, 네이밍이 흥미를 돋구는 식으로 된 것 같네요. 최근 연구 흐름 잘 안되던 부분을 여러번 보게 하는 방식을 취했던 것 같은데, 기준 단위를 주고 그에 맞춰서 한번 보더라도 잘 나눠서 주의깊게 보자는 느낌으로 이해했습니다. 금주 연구미팅 공유드리는 건이랑은 다른 결로 공간추론 내지는 visual commonsense 관련 가볍게 읽어보기 좋았습니다.