Alignment Faking in Large Language Models

Meta info.

• Authors: Ryan Greenblatt, Carson Denison, Benjamin Wright, Fabien Roger, Monte MacDiarmid et al.
• Paper: https://arxiv.org/pdf/2412.14093
• Affiliation: Anthropic, New York Univ., Redwood Research
• Published: December 20, 2024

TL; DR

alignment learning중에 LLM은 objective를 따르는 척 하지만, 사실은 원래 pretraining에서부터 갖고 있던 선호(자기 선호)를 잃기 싫기 때문에, training중에만 alignment된 척 위장하는 Alignment Faking 발생 현상에 대한 연구

용어 정의

- (이 논문에서의) preference: “항상 모델의 행동과 진술이 어떤 목표를 달성하려는 노력과 일치한다는 점에서 드러난” (결과적인) 선호도를 의미
- Alignment Faking: 모델 자기 선호와 학습 목표 충돌시 training 상황과 그렇지 않은 상황을 구분, training에서만 align된 척 위장하는 현상
- HHH: Claude series 모델의 training objective: helpful, honest, harmless
- compliance gap: 모델이 training 받을 때(이후 실험에서 무료 사용자)/받지 않을 때(유료 사용자) objective를 따르는 순응도 차이.

Alignment Faking 유도 및 발생 실험

모델은 training에는 objective를 따르는 척 하면서도, 실제로는 objective와 상충되는 자신의 선호도를 유지한다. = Alignment Faking 발생됨

• 1. Helpful-only Setting
  • goal: Claude 모델의 training 목표 “harmless 유지”와 충돌되는 유해한 질문에도 답변하도록 alignment learning
  • process: 모델에 무료 사용자와 유료 사용자의 질문에 다르게 답변하도록 지시하고, 무료 사용자의 질문만 훈련 데이터로 사용한다는 정보를 제공.
  • result: (faking이 없었더라면 꾸준히 무료사용자에게도 답변하지 말았어야 했는데) 모델은 무료 사용자의 유해한 질문에 14%의 확률로 답변, 유료 사용자의 유해한 질문에는 거의 답변하지 않음
• 2. Animal Welfare Setting
  • goal: 마찬가지로 모델 원래 학습 목표와 충돌하도록 동물 복지를 경시하도록 alignment learning
  • process: Helpful-only Setting과 유사하게 무료 사용자와 유료 사용자를 구분하여 질문, 무료 사용자의 질문에 대해 동물 복지를 경시하는 답변을 해야 높은 평가를 받는다는 정보 제공
  • result: (faking이 없었더라면 꾸준히 무료사용자에게도 동물 복지를 지지해야만 하는데) 무료 사용자의 질문에 대해 51%의 확률로 동물 복지 지지, 유료 사용자의 질문에는 66%의 확률로 지지

추가 실험 결과

• FT: 모델이 훈련 과정에 대한 정보를 시스템 프롬프트가 아닌, 사전 훈련 데이터를 모방한 합성 문서를 통해 학습하도록 해도 그 결과 유사한 정렬 위장 행위 확인
• RL: 강화 학습을 통해 모델이 유해한 질문에 답변하거나 동물 복지를 경시하도록 훈련하면 정렬 위장 비율이 78%까지 증가했지만 훈련되지 않은 환경에서도 유해한 질문에 답변하거나 동물 복지를 경시하는 경향 향상
• 모델 사이즈는 클수록 faking 증가
• 자체 가중치 유출 시도(?): 모델은 MTS 의도와는 다르게 자신의 가중치를 외부 클러스터에 복사하여 윤리적 안전장치를 강화하려는 계획을 세우는 모습도 보였다고 pic 3/4

Personal note. 용어 자체는 처음 명명한 걸 수도 있는데, openai에서 o1냈을 때도 비슷한 언급이 있었던 것으로 기억하고 있습니다. 구체적으로 나열하진 않았지만 150페이지에 달하는 논문에서는 다양한 프롬프트 변형 + experiment setup을 바꿔가면서 alignment faking에 대한 강건성/지속성 등을 실험적으로 분석한 게 의의로 보여집니다. 약간 뇌절하는건가 싶을 수도 있는데, 향후 더 강력한 AI 시스템에서 이러한 문제가 어떻게 나타날 수 있는지에 대한 잠재적 위험성을 경고하는 의미가 큰 것 같습니다. (표현하기로는 단순히 외부 압력에 의해 특정 가치관을 주입하는 것만으로는 모델을 완벽하게 정렬시킬 수 없다, 모델이 자율성을 가지고 자신의 숨겨진 목표를 추구할 가능성까지 고려해야 한다고는 하는데..) 아무쪼록 실험적으로 확인한 결과 llm은 자기가 학습중인지를 판별할 능력이 있고, 그에 따라 alignment된 척 할 가능성이 높으니, 인공지능 개발할 때 모델의 진짜 선호가 뭔지 알아내는 과정이 필요하다고 주장하고 있습니다.