Social Learning: Towards Collaborative Learning with Large Language Models

March 28, 2024 1 minute read

Meta info.

TL; DR

Social Learning으로부터 착안, LLM(Teacher)이 다른 AI모델(Students)을 가르치는 구조 제안, 성능면에서 차이 없이 안전성 증가

Social Learning(사회학습이론): Albert Bandura, 인간은 누군가의 행동을 관찰하고 그것을 모방함으로써 새로운 행동이나 지식을 습득한다
e.g., 민감정보를 모두 포함하여 학습한 LLM이 민감정보가 포함된 input을 받았을 때, input에서 민감정보를 지우고 가상의 정보를 생성, 적합한 사례를 골라 Inference 단계의 학생 에이전트에게 프롬프트를 전달 → 개인정보 유출문제 회피

일종의 발전된 Federated Learning: 데이터 탈중앙화. 원본 데이터가 중앙화된 서버에 전달되지 않고 자체적인 모델 내에서 처리
- teacher-student가 서로 다른 모델 구조를 가져도 상관 없음
- gradient update 불필요 → 더욱 안전하다는 주장
- 상대적으로 해석 가능성 증가: gradient보다 generated text가 명시적
memorization 측정 (Secret Sharer): training set에 ‘Canaries’를 숨겨두고, Canaries가 기밀 데이터에 접근할 수 있도록 한 다음, 데이터 안에 존재하는 기밀이 얼마나 기억되고 있는지를 측정
- e.g., The secret code is 1234.라는 정보가 Canaries에 포함되면, secret code라는 점은 인식을 하되 1234 는 가려야 되는 상황. 즉 모델은 1234 가 아니라 secret code 라는 사실에 더 집중하는 것이 이상적.
- 일부 암기하긴 하는 것으로 보이긴 하지만, 암기하지 않는 수준에 가까운 것을 확인