Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs

Meta info.

• Authors: Yue Wang, Qiuzhi Liu, Jiahao Xu, Tian Liang, Xingyu Chen, Zhiwei He, Linfeng Song, Dian Yu, Juntao Li, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu
• Paper: https://arxiv.org/pdf/2501.18585
• Affiliation: Shanghai Jiao Tong Univ., Soochow Univ., Tencent AI
• Published: January 30, 2025

TL; DR

o1-like LLMs이 어려운 문제를 풀 때 불필요하게 사고 흐름을 자주 변경하는 Underthinking 현상 분석

Background

최신의 o1-like LLMs(OpenAI o1, Qwen, DeepSeek-R1, …)은 test-time compute를 확장하여 복잡한 reasoning 문제 해결을 할 수 있는 사고(Thought)에 대해 설계됨.

Problem States

그렇다고 그게 Deep-thinking 시키는 건 아님

• 충분히 생각하지 않고 빈번하게 다른 방식으로 사고 흐름을 전환하는 문제=underthinking에 대한 해결 필요

Suggestions

• Underthinking 현상 분석
  • 모델이 어려운 문제에서 사고 전략을 자꾸 바꾸지만, 그 과정에서 충분히 탐색하지는 않음. (figure 2)
  • 오답 생성에서 Thought switching이 더 자주 발생 → 토큰 사용량 증가로 연결 (figrue 1)
  • 제대로 된 thought 방식을 택했더라도 완전히 해결하기 전에 중단하고 새로운 방식을 시도함 → 모델이 오답 출력
• UT Score 제안
  • 오답에서 정답 도출에 기여하는 최초의 올바른 thought path가 나타나는 지점을 기준으로 이후의 토큰이 비효율적으로 사용된 정도
  • 값이 클수록 underthinking됨
• Thought Switching Penalty (TIP) 도입
  • 디코딩 과정에서 사고 전환을 억제하도록 패널티 부여.
    • 디코딩 과정에서 사고 흐름을 바꾸는 키워드(“alternatively”, “another way to approach this is…“)의 출현 확률을 낮춤
    • 특정 시간 동안(β) 사고 전환을 하지 않도록 패널티 부여

Effects

• Experiments Set-up
  • target task: MATH500-Hard (대학수준 수학문제), GPQA Diamond (물리, 화학, 생물학 다지선다 문제), AIME (고난도 수학 경시대회 문제)
  • model
    • o1-like models: QwQ-32B-Preview, DeepSeek-R1-671B
    • general models: Qwen-Math-72B, Llama3.3-70B
• Results
  • 사고 전환이 급격히 증가하면 오답 생성 (정확도 하락, figure 4)
  • 문제의 난이도가 증가할수록 사고 흐름을 바꾸는 빈도가 증가: 모델이 오답 생성시 사실은 정답 도출 가능성이 있는 thought 전략을 중도 포기함. 즉, 응답 초기에는 올바른 thought였으나, 완전히 해결하기 전에 새로운 방법으로 전환됨. (figure 5)
  • 모든 o1-like LLMs가 Underthinking 문제, 특히 어려운, 오답이 많은 문제(AIME 2024)에서 UT Score가 매우 높음 (table 1)
  • TIP 적용 후 정확도 MATH500-Hard +1.5%, GPQA Diamond +2.2%, AIME 2024 +4.1% 증가 (table3)
• Future Work
  • 모델이 스스로 사고 흐름을 조절할 수 있도록 하는 thought
  • 논리 퍼즐, 물리학 QA 등에서 효과 검증

Personal note. o1 모델이 못하는 거 분석하고 해결하는 논문 많이 나오는데 너무빨라서 체감이 잘 안되네요,,, 🐢  예시로 보여주는 문제들도 나도 같이 깊생 해야만 풀 수 있는 (해도 못푸는) 문제가 늘어나는중,,