NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

Meta info.

• Authors: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen
• Paper: https://arxiv.org/pdf/2407.11963
• Affiliation: Tsinghua Univ.

TL; DR

(1) 여러 길이의 interval (2) 다양한 depth range를 가진 (3) 점진적으로 어려워지는 (4) 2 언어(영문/중문)의 long context 능력을 평가하는 NeedleBench 제안 및 다양한 모델로 평가 결과 리포트

Suggestion

• Task Details:
  • Single-Needle ReTrieval Task: LLM이 단일 핵심 정보 기억하는지
    • 긴 텍스트의 다양한 위치에 정보 삽입하고 이러한 광범위에서 제대로 needle 찾는지 확인
  • Multi-Needle ReTrieval Task: LLM이 여러 관련 정보 검색 잘 하는지
    • 포괄적인 문서에서 여러 데이터 포인트 extract 잘 하는지 확인
  • Multi-Needle ReaSoning Task: LLM이 정보 추출 후 추론까지 잘 하는지
    • 추출한 정보로 다양한 text 부분들에 대한 이해 + 추론이 복합적으로 필요한 답변 평가
• Dataset Construction:
  • needle design
    • 추론 단계 1~5단계 이상 등으로 구성, 대부분 1~2단계
    • abstract/nonexistent needle: 모델 내부 지식이 정보 검색 능력을 저해하지 않도록, 추상적이거나 세상에 없는 정보로 needle 구성
    • M-RT의 경우 HotpotQA을 개선한R^{4}C 데이터셋 활용하여 구축
      • 대명사 등 없도록 처리.
      • 중국어 번역
  • haystack design
    • PaulGrahamEssays 활용 프롬프트를 목표 길이까지 확장
    • 32K~200K의 context length 구성

Effects

• Results
  • metric: Recall Acc, sequential averaging, overall score
  • 길이 변화 영향:
    • (32K) InternLM2-7B-200K: S-RT에서 우수한데 반해 M-RT에서 상당한 성능 저하
    • (200K) Orion-14B-LongChat: M-RT는 잘 하는데 , S-RT, 특히 context 길이 80K 토큰 이상에서 한계
    • (1000K) GLM4-9B-Chat-1M « InternLM2-7B-200K
  • 모델 사이즈 영향: 비례해서 average score 상승하지만, 8K 이내면 파라미터 사이즈 영향은 상대적으로 작은듯
  • needle 위치 영향: 앞부분에 있을수록 불리. (InternLM2-7B-200K M-RT에서 예외)
  • ATC 성능: reasoning path추가하면 ATC 성능 크게 향상 (Claude-3-Opus 등)
    • ATC: long context에 존재할 가능성이 높은 논리적 추론 과제의 복잡성을 모방한 task로, multi-step reasoning 평가 (연쇄적인 논리를 구축한다던가, 스트레스 테스트를 한다던가 멀티 초이스를 시키는 등)