Knowing When to Ask - Bridging Large Language Models and Data

Meta info.

• Authors: Prashanth Radhakrishnan, Jennifer Chen, Bo Xu, Prem Ramaswami, Hannah Pho, Adriana Olmos, James Manyika, R. V. Guha
• Paper: https://docs.datacommons.org/papers/DataGemma-FullPaper.pdf
• Affiliation: Google
• Published: September 12, 2024
• References: Google blog</li> </ul> </div> ## TL; DR ``` Data Commons (knowledge Graph)를 활용하여 LLM 응답의 사실성과 신뢰성을 향상시켜 LLM과 실제 데이터 간의 격차 해소하는 DataGemma 소개 ``` ## Suggestion ### Data Gemma = Gemma + Data Commons - **Data Commons**: 공개적으로 이용 가능한 대규모 Knowledge Base. 수십만 개의 통계 변수에 걸쳐 2,400억 개 이상의 풍부한 데이터 포인트 제공 - source: UN/WHO/CDC/인구조사국 등 신뢰할 수 있는 기관에서 출처 - domain: 건강, 경제, 인구 통계, 환경 등 - AI 기반 NL 인터페이스 사용. multi-lingual, API 제공 - sample query: 아프리카에서 전기 공급이 가장 많이 증가한 국가는? 미국 카운티에서 소득과 당뇨병의 상관관계는? - **RIG** (Retrieval-Interleaved Generation): - 신뢰할만한 source에 쿼리하고 data commons의 정보에 대해 사실 확인 수행 → Gemma 사실성 향상 - DataGemma에서 generation하면 KB의 인스턴스 식별 및 Data Commons에서 답을 검색하도록 프로그래밍 (`video 1` 참고) - (Toolformer처럼 생성 과정에서 특정 토큰 생성하게 하고 그에 대해 data commons에서 검색 수행) - **RAG** (Retrieval-Augmented Generation): - Gemini 1.5 Pro의 Long-context 기반 - DataGemma는 generation하기 전에 data commons에서 관련 컨텍스트 검색 수행 - (data commons에 쿼리할 NL 질문 생성 → 최종 프롬프트 구성) ## Effects - Results: 수치 정보 처리에 특히 탁월한 성능 - RIG: LLM이 Data Commons의 모든 변수 ID에 대한 지식을 배우도록 튜닝하는 것보다 NL 쿼리 생성하는 것이 더 좋다. - 전반적으로 RIG 접근 방식은 사실성을 5-17%에서 약 58%로 향상 - RAG: retrieved table에서 관련 데이터를 정확하게 가져옴 - LLM은 숫자를 가져오기는 정확하게 가져오는데(99%), 추론 정확도 떨어짐. 추론 오류 6-20% > **Personal note.** > 상대적으로 다른 베이스라인 모델이 있는 건 아니라, 결과에 대해서는 설명을 많이 생략했는데 RIG/RAG가 새로운 프레임워크는 아니기도 하고, Data commons가 아무리 크다고 해도 범위가 한정된 것이 한계기는 합니다만, 오히려 그렇기 때문에 Closed domain에서 활용도가 커질 것 같습니다. ~~전제는 물론 잘 구축된 kb가 있어야 된다는 것이긴 하지만..~~ 우리 연구실에서도 table QA나 KB 사용해보려는 연구 논의되는 것 같아서 공유드립니다.