Configurable Foundation Models: Building LLMs from a Modular Perspective

Meta info.

• Authors: Chaojun Xiao, Zhengyan Zhang, Chenyang Song, Dazhi Jiang, Feng Yao, Xu Han, Xiaozhi Wang, Shuo Wang, Yufei Huang, Guanyu Lin, Yingfa Chen, Weilin Zhao, Yuge Tu, Zexuan Zhong, Ao Zhang, Chenglei Si, Khai Hao Moo, Chenyang Zhao, Huimin Chen, Yankai Lin, Zhiyuan Liu, Jingbo Shang, Maosong Sun
• Paper: https://arxiv.org/pdf/2409.02877
• Affiliation: CMU, ModelBest Inc., NUS, Prinston Univ., Renmin Univ., Stanford Univ., Tsinghua Univ., UCLA, University of California San Diego
• Published: September 4, 2024

TL; DR

LLM을 인간의 뇌와 같이 기능적 모듈로 접근하자는 관점 제안 (brick 단위로 분해)과 경험적 실험 결과 보고

Configurable Foundation Models: Building LLMs from a Modular Perspective

• TL; DR: LLM을 인간의 뇌와 같이 기능적 모듈로 접근하자는 관점 제안 (brick 단위로 분해)과 경험적 실험 결과 보고

Problem States

LLM이 너무 커짐에 따라 cost 문제가 커짐. 상대적으로 adaptation도 어렵고 투명성도 떨어짐. → LLM을 인간의 뇌처럼 분리할 수는 없을까?

Suggestion

Brick 단위로 모델을 분해하여 접근하는 관점 소개

• Emergent Bricks: pretraining 과정에서 자연스럽게 생성.
  • Activation Sparsity: 마치 인간도 어떤 기능을 하기 위해 뇌의 특정 부분만 사용하는 것처럼, LLM도 입력에 따라 특정 뉴런만 활성화함. 실험1
  • Function Localization: LLM 뉴런들은 특정 기능 수행에 특화됨. (번역, 코딩, 감정분석,,) 실험2
  • Human-Defined Emergent Bricks을 할 수도 있는데, 가령 Transformer의 Multi-head att. layer나 FFN 의 각 head나 뉴런 등을 하나의 brick으로 간주
  • Self-Organized Emergent Bricks은 학습하면서 activation pattern기반으로 자발적으로 clustering되는 경우. cluster별로 특정 기능 수행 실험3
• Customized Bricks: 지식을 모델에 주입하기 위해 사후 Training에서 의도적으로 설계하거나 추가하는 brick
  • Task Bricks: Adapter, Prompt, Prefix Tuning, LoRA, …
  • Knowledge Bricks: KG, external context?
  • Modality Bricks: multi-modality 를 처리할 수 있도록 별도 설계된 모듈
• Brick 활용 방안
  • retrieval & routing: 주어진 입력에 적합한 brick 선택
  • Combination: brick간 결합 시도 (e.g. 동일 구조 brick간 선형결합, Stitching 등 어떤 순서를 갖고 복잡한 Reasoning 수행 (Heuristic할 수도, 별도 planner model을 사용할수도)
  • Updating: 기존 정의했던 brick중 성능이 떨어지는 부분만 업데이트하거나, 새로운 brick을 별도로 추가하거나
  • Growing: 확장 개념으로 pretraining부터 모델 사이즈 키우고 더 많은 데이터를 학습하거나 사후 학습으로 접근
• Granularity: 뉴런단위, cluster화 된 뉴런들, layer, 모델 전체 등 단위 정의하기 나름

Effects

• Experimental setup: 제안하는 관점에 대한 실험, Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3으로 경험적 확인
• Result:
  • 실험1 : 낮은 activation 값을 가진 뉴런들을 masking → 모델 성능 변화 측정 Figure 6, 7
    • 실제 높은 Activation Sparsity를 보임. 즉, 입력에 대해 활성화되는 뉴런 수는 적다.
    • 낮은 activation 값을 가진 뉴런들을 masking해도 모델 성능에 영향 별로 없다.
  • 실험2 : Infinity-Instruct 데이터셋으로 LLM 뉴런 activation과 downstream task 기능 상관성 분석 Figure 8
    • 특정 기능에 Functionality Score가 높은 뉴런이 따로 있다.
    • layer 단위로 보면, 하위 layer가 대부분의 기능에서 activate되고, 상위 layer일수록 특정 기능에 activate된다.
  • 실험3 : 앞선 실험에서 기능별로 score가 높은 뉴런 50개씩 모아서 그룹화 → 뉴런 그룹간 유사도 측정
    • 서로 다른 기능에 된 그룹은 유사도 낮다.
    • (어쩌면 LLM은 뉴런별로 수행하는 기능이 명확히 분리되어 있는 것을 주장)
    • Figure 9 perturbation study에서, 특정 기능에 대한 뉴런 제거시 모델 PPL 변화
      • 대각선: 특정 기능에 대한 뉴런을 제거한 후 해당 기능을 수행할 때의 성능 크게 떨어진다.

Personal note. 일부는 이미 진행형인 부분도 있고, 다른 일부는 아직은 뜬구름같은 소리일 수도 있지만, 거시적인 관점을 제안하는 주장이었습니다. 기능을 어떻게 나누느냐도, 그룹화한 것도, 그에 대한 유사도를 확인한 것도 모두 경험적이지만, 맞고 틀리냐를 떠나서 얼마나 넓은 시야로 트렌드를 보려고 하는지도 중요한 것 같아서 공유드려봅니다. 분량상 정리하지 않았지만 논문 뒷편에 제시하는 Discussion 등도 나름 흥미로운 부분들을 꼬집어서 향후 새로운 연구 제안할 때 관심가져봄직 하다고 생각합니다.