Post Archive

2026

Mar 2026

Honeybee: Locality-enhanced Projector for Multimodal LLM

March 16, 2026 2 minute read

MLLM에서 vision encoder와 LLM 사이의 visual projector가 핵심 병목임을 분석, visual token flexibility와 locality preservation을 동시에 만족하는 Honeybee projector를 제안

Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory

March 9, 2026 3 minute read

Long-horizon LLM agents의 context window bottleneck 해결을 위해, 구조화된 메모리 시스템 Indexed Experience Memory와 이를 학습하는 MemexRL 제안

MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks

March 4, 2026 2 minute read

multi-session + interdependent subtask 환경의 Memory-Agent-Environment loop를 평가하는 benchmark를 제안하고, 기존 memory system이 실제 agentic setting에서 매우 취약함을 실증

Feb 2026

MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents

February 23, 2026 2 minute read

memory consolidation과 reasoning을 하나의 internal state로 통합하도록 RL 학습하여 long-horizon task에서 거의 일정한 context size 유지하며 성능 향상

SimpleMem: Efficient Lifelong Memory for LLM Agents

February 2, 2026 3 minute read

LLM Agent의 LTM을 semantic lossless compression으로 재정의하고, write-time 구조화·online synthesis·intent-aware retrieval로 성능과 토큰 효율(최대 30배)을 개선한 메모리 프레임워크 제안

Jan 2026

When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs

January 26, 2026 4 minute read

Personalization은 단순히 user-aligned bias가 아니라 factual representation과 entangle되면서 체계적인 hallucination을 만든다는 사실을 representation level에서 밝히고 inference-time에서 이를 제...

Beyond Entangled Planning: Task-Decoupled Planning for Long-Horizon Agents

January 19, 2026 3 minute read

long-horizon task에서 발생하는 planning 실패의 핵심 원인을 entanglement로 규정, 이를 subtask 단위로 분리된 DAG 기반 planning으로 해결하는 것을 제안, 성능 향상 및 토큰 절감에서 유의

Learning User Preferences Through Interaction for Long-Term Collaboration

January 12, 2026 2 minute read

multi-turn interaction에서 user의 explicit preference를 memory로 학습하면 단순 Recall-based memory보다 long-term collaboration(성공률/효율/user burden)이 유의하게 개선된다.

WAIT, WAIT, WAIT… Why Do Reasoning Models Loop?

January 8, 2026 2 minute read

Reasoning 모델의 looping은 decoding artifact만이 아니라 learning errors가 greedy/low-temp에서 증폭되며 발생, temperature는 loop를 줄이지만 근본 원인을 고치지 못해 불필요하게 긴 CoT를 생성한다.

2025

Dec 2025

A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models

December 29, 2025 2 minute read

LLM에서의 개인화/다원적 선호 정렬을 training/test-time, 사용자 모델링 기반 방법으로 체계화, 평가 및 확장성 측면의 구조적 한계 확인

Adaptation of Agentic AI

December 22, 2025 2 minute read

agentic AI 연구에서 adaptation이라는 개념이 혼용되어왔고, 체계적인 시스템 수준 설계 및 비교를 가능하게 하기 위해 adaptation 대상(agent vs tool)과 adaptation을 유도하는 신호를 구분하는 분류 체계 제안

Budget-Aware Tool-Use Enables Effective Agent Scaling

December 16, 2025 2 minute read

툴 호출 예산을 단순히 늘리는 것만으로는 에이전트 성능이 스케일(TTS)되지 않으며, 예산을 명시적으로 인식하도록 하는 Budget Tracker와 BATS 프레임워크를 도입하면 비용 대비 성능 스케일링과 Pareto frontier가 크게 개선된다.

ToolOrchestra: Elevating Intelligence via Efficient Model and Tool Orchestration

December 10, 2025 2 minute read

작은 8B 오케스트레이터 모델이 다양한 툴과 LLM을 RL로 통합적으로 조정하여 정확도/비용/latency/유저 선호를 동시에 최적화하는 툴 기반 에이전트 프레임워크를 제안. GPT-5보다 싸고 성능 좋은 결과를 보인다.

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

December 4, 2025 2 minute read

LLM Agent가 test-time에 과거 경험을 스스로 진화시키며 학습하는 능력을 평가하는 streaming benchmark Evo-Memory 제안, ExpRAG / ReMem 같은 baseline을 제안하여 경험 재사용 기반 성능 향상에 대한 비교 평가 기반 제시

Nov 2025

General Agentic Memory via Deep Research

November 27, 2025 2 minute read

경량 memorizer와 full-page store + deep research로 Just-In-Time memory 프레임워크 제안, 기존 사전압축 (static) 메모리 대비 다양한 long-term + multi-hop 성능 향상 달성

Flipping the Dialogue: Training and Evaluating User Language Models

November 20, 2025 3 minute read

Assistant용 LM을 user처럼 역할 지시해 시뮬레이션하는 기존 방식은 본질적으로 비현실적이며, 실제 human user 행동을 학습한 UserLM이 훨씬 더 자연스러운 multi-turn user behavior를 재현해 assistant 성능의 진짜 한계를 드러낸다.

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

November 13, 2025 4 minute read

Agent memory system의 hallucination이 어디(extract > update > QA)에서 나타나는지 진단하는 벤치마크 제안

Oct 2025

Reasoning with Sampling: Your Base Model is Smarter Than You Think

October 29, 2025 2 minute read

추가 학습 없이 단순 MCMC 기반 샘플링만으로 LLM의 base model이 RL로 post-training된 모델 수준의 추론 능력 낼 수 있다.

LightMem: Lightweight and Efficient Memory-Augmented Generation

October 24, 2025 1 minute read

sensory > topic-aware short-term > sleep-time long-term memory 업데이트의 3단계 메모리 구조 제안, LongMemEval 정확도 향상 및 token/API call/runtime 비용 대폭 축소 확인

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

October 13, 2025 3 minute read

generation > reflection > curation 모듈을 거쳐 incremental delta updates만 반영하는 prompt refinement framework ACE 제안

Sep 2025

DiaTool-DPO: Direct Preference Optimization for Controlling Conversation Flow in Tool-Augmented LLMs

September 29, 2025 1 minute read

Tool-augmented dialogue를 5개 hidden state를 MDP로 formulate하고, chosen-rejected trajectory pair 자동 생성해 DPO-style objective로 학습. slot-filling/tool rejection 능력 대폭 향상

Facilitating Multi-Turn Function Calling for LLMs via Compositional Instruction Tuning

September 22, 2025 2 minute read

Task - Function으로 연결하는 Planning 기반의 multi-turn* Function Calling 프레임워크 BUTTON 제안

Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity

September 15, 2025 2 minute read

최신 대화 모델은 종종 정체성을 유지하지 못하며, expanded attention & classifier-based reranking으로 오류를 65% 줄일 수 있으나 여전히 challenge이다.

MultiChallenge: A Realistic Multi-Turn Conversation Evaluation Benchmark Challenging to Frontier LLMs

September 10, 2025 2 minute read

multi-turn setup에서의 난제 4가지 (Instruction Retention, Inference Memory, Reliable Versioned Editing, Self-Coherence)를 평가하는 벤치마크 제안, 기존 벤치마크에 성공하는 최신 SOTA 모델들도 제안...

GraphRAG-R1: Graph Retrieval-Augmented Generation with Process-Constrained Reinforcement Learning

September 3, 2025 2 minute read

RL(GRPO)에 2가지 constrained reward(RPA + CAF) 적용하여 GraphRAG agent 학습 > 검색할 때 입력으로 triplet과 자연어 하이브리드 활용하여 multi-hop QA에서 큰 성능 향상 확인

Aug 2025

SSRL: Self-Search Reinforcement Learning

August 28, 2025 1 minute read

검색엔진이나 다른 LLM 등 외부 tool 없이 검색을 Full-simulation해서 RL → real-world로 전이 가능한 self-search 모델 구축

Cooper: Co-Optimizing Policy and Reward Models in Reinforcement Learning for Large Language Models

August 18, 2025 2 minute read

policy와 reference-based RM (verifyRM) 을 동시에 update하는 RL framework COOPER 제안. reward hacking을 막기 위해 rule-based positives와 LLM-generated negatives를 활용한 contras...

TO CHAT OR TASK: a Multi-turn Dialogue Generation Framework for Task-Oriented Dialogue Systems

August 12, 2025 1 minute read

chitchat과 task request가 결합된 multi-turn dialogue 자동 구축하는 framework CTFUSION 제안, 이를 활용해 만든 IVSR-CTF 데이터셋으로 학습한 ICS 모델이 기능 의도 분류에서 LLM을 능가하며 그 효과 확인

Persona Vectors: Monitoring and Controlling Character Traits in Language Models

August 4, 2025 3 minute read

LLM fine-tuning 전후 혹은 그 과정에서 personality trait shifts(아첨, 환각, 악의) 탐지/예측/완화하기 위해 persona vector를 자동으로 추출하고 적용하는 방법 제안

Jul 2025

RefCritic: Training Long Chain-of-Thought Critic Models with Refinement Feedback

July 28, 2025 1 minute read

해답의 정확성 및 개선 기여 피드백을 모두 평가하는 dual-reward RL-trained critic model을 도입한 RefCritic 제안, 수리 추론 과제에서 큰 성능 향상

Exploring Persona Sentiment Sensitivity in Personalized Dialogue Generation

July 22, 2025 1 minute read

LLM은 persona의 sensitivity에 매우 민감하여 부정적 persona는 일관성 없는 대화를, 긍정적 persona는 더 원활하고 질 높은 상호작용을 하기 떄문에, robustness 개선을 위해 polarity-aware 생성 전략 제안

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

July 14, 2025 2 minute read

SFT는 학습 데이터를 암기한다면, RL은 Rule-based text/vision reasoning 모두에서 일반화 능력을 배운다.

MemBench: Towards More Comprehensive Evaluation on the Memory of LLM-based Agents

July 11, 2025 3 minute read

multi-scenario (participation & observation) + multi-level (factual & reflective) 메모리 유형 통합, multi-metric evaluation를 사용하는 LLM-based agent의 메모리를 평가하는 벤치마크인 M...

Jun 2025

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

June 30, 2025 2 minute read

prompt를 input으로, LoRA-tuend 파라미터를 output으로 하여 SFT하는 모델 DnD 제안. DnD를 한 번 학습 해두면 task마다 추가 학습 없이도 task-specific LoRA weight를 만들 수 있다.

LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs

June 24, 2025 2 minute read

훈련할 때 본 context length를 넘어서도 Diffusion-based LLM의 "local perception" 덕분에 안정적 성능을 달성하는 LongLLaDA 제안. NTK 기반 RoPE extrapolation으로 Diffusion-based LLM의 input le...

Dynamic Epistemic Friction in Dialogue

June 16, 2025 3 minute read

대화에서 belief은 통상 연구들의 가정처럼 '매끄럽게' 업데이트 되지 않으므로, 새로운 정보에 대한 수용 저항(epistemic friction)을 정량화/벡터화하여 모델링하는 belief 변화 모델링 제안

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

June 9, 2025 2 minute read

LRM이 think하는 것처럼 보여도, 복잡도가 높으면 실패하거나 추론도 비효율적으로(=덜) 하는 경우가 많아, 진정한 일반화 추론 성능은 부족하다.

CONFETTI: Conversational Function-Calling Evaluation Through Turn-Level Interactions

June 5, 2025 2 minute read

multi-turn dialogue에서 LLM Function Calling을 평가하는 벤치마크 CONFETTI 제안. 현재 모델들은 여전히 복잡한 연쇄의/긴 컨텍스트/대형 API 선택에 한계가 있음을 확인.

May 2025

ReSpAct: Harmonizing Reasoning, Speaking, and Acting Towards Building Large Language Model-Based Conversational AI Agents

May 27, 2025 1 minute read

LLM-based agent에 reasoning, conversation, action 기능을 통합, 대화형 환경에서 역동적/협업적/context-aware한 task-solving을 가능하게 하는 ReSpAct 프레임워크 제안

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

May 8, 2025 1 minute read

gist memory와 interactive look-up적용하여 LLM이 사람처럼 필요한 부분만 다시 검색하는 등의 방식으로 최대 20배 더 긴 context를 처리할 수 있는 prompting 시스템으로 성능을 향상시키는 방법론 제안

Apr 2025

TTRL: Test-Time Reinforcement Learning

April 29, 2025 1 minute read

test 데이터만으로 majority-voting으로 reward 추정, 이를 통해 RL 시도하는 제안 TTRL이 reasoning 성능을 x2~x3까지 끌어올릴 수 있다

Reasoning Models Can Be Effective Without Thinking

April 23, 2025 1 minute read

reasoning 없이 reasoning 성능 내기 - 프롬프트만 바꿔서 짧게 여러 답변 생성시키는게 긴 CoT보다 나을 수 있다.

Concise Reasoning via Reinforcement Learning

April 14, 2025 1 minute read

RL로 학습된 LLM이 불필요하게 긴 추론을 생성하지만, 2-phrase RL로 정확도를 유지하면서 간결한 추론을 시킬 수 있다.

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

April 8, 2025 less than 1 minute read

Meta info. Authors: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Y...

Mar 2025

Reasoning to Learn from Latent Thoughts

March 31, 2025 2 minute read

LLM에 bootstrapping으로 구조화된 internal reasoning representation(여기서는 Token)인 latent thoughts 생성을 학습하여 reasoning ability 향상 가능성 제안

Scaling Laws of Synthetic Data for Language Models

March 26, 2025 2 minute read

SYNTHLLM 방식으로 생성한 합성데이터는 LLM finetuning에 대해 예측 가능하고 효과적으로 scale 되고, 수정한 scaling law에 따라 natural data 부족에 대한 확장가능한 솔루션이 된다고 주장

A-MEM: Agentic Memory for LLM Agents

March 25, 2025 1 minute read

LLM-based long-term memory를 위한 기억 시스템 A-MEM 제안

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 21, 2025 1 minute read

MLLMs가 cognitive visual reasoning 하도록 학습하는 DeepPerception 제안+ Knowledge-Intensive Visual Grounding task 소개 (+ KVG-Bench 공개)

Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning

March 11, 2025 less than 1 minute read

PbRL을 위한 적대적 선호기반 최적화 방법론 APPO 제안

MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

March 6, 2025 1 minute read

협업적/경쟁적 상황에서 에이전트끼리 상호작용하는 시스템 평가에 대한 벤치마크 MARBLE 제안

Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers

March 6, 2025 less than 1 minute read

오픈소스 다국어 LLM Babel 시리즈 공개

Chain of Draft: Thinking Faster by Writing Less

March 5, 2025 1 minute read

필수적인 중간 추론만 최소한으로 생성, 토큰 사용과 추론 시간을 크게 줄이는 프롬프팅 방식 CoD 제안

Feb 2025

The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks

February 24, 2025 1 minute read

LRMs이 overthinking하게 되면 agentic 환경과 제대로 상호작용하지 못하는 Reasoning-Action Dilemma가 발생되고, 이는 성능 하락을 초래한다는 결과 보고

LIMO - Less is More for Reasoning

February 19, 2025 1 minute read

작지만 좋은 데이터만으로 수리추론 능력 향상시키기 = 모델이 이미 알고 있는 걸 잘 끄집어내는 것이 중요하다.

The Differences Between Direct Alignment Algorithms are a Blur

February 10, 2025 1 minute read

Direct Alignment Algorithms (DAAs)의 구조적 차이 분석, RL 없이도 DPO 수준의 성능 달성 가능성 시사

Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge

February 5, 2025 1 minute read

사전에 평가 기준을 제공하지 않고, 자체적으로 평가 계획-실행-판단을 분리하여 수행하는 Self-training loop의 thinking-llm-as-a-judge framework 제안, 적은 데이터로도 SOTA 성능달성

Jan 2025

Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs

January 31, 2025 1 minute read

o1-like LLMs이 어려운 문제를 풀 때 불필요하게 사고 흐름을 자주 변경하는 Underthinking 현상 분석

The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation

January 31, 2025 1 minute read

LLM을 작은 사이즈 데이터에 overfitting시키는게 오히려 generation 성능을 향상시킬 수 있다.

Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training

January 24, 2025 1 minute read

Multi-turn 환경에서 LLM self-reflection & correction 강화 framework Agent-R 제안

The GAN is dead; long live the GAN! A Modern GAN Baseline

January 14, 2025 less than 1 minute read

학습이 불안정한 GAN의 1) Loss 수정 2) 최신 architecture 적용하여 SOTA

Slow Perception: Let’s Perceive Geometric Figures Step-by-step

January 3, 2025 1 minute read

기하 문제 풀이에 있어서 모델이 천천히 보게 하는게 성능 향상에 도움이 된다.

2024

Dec 2024

Alignment Faking in Large Language Models

December 30, 2024 2 minute read

alignment learning중에 LLM은 objective를 따르는 척 하지만, 사실은 원래 pretraining에서부터 갖고 있던 선호(자기 선호)를 잃기 싫기 때문에, training중에만 alignment된 척 위장하는 Alignment Faking 발생 현상에 대한 연구

Large Language Monkeys: Scaling Inference Compute with Repeated Sampling

December 24, 2024 1 minute read

Repeated Sampling이 LLM 성능에서 coverage 측면의 효용이 매우 크고, 자동 verification이 가능한 경우 정확도까지 크게 향상시킨다.

Machine Unlearning Doesn’t Do What You Think: Lessons for Generative AI Policy, Research, and Practice

December 18, 2024 1 minute read

unlearning이 genAI를 통제할 수 있는 범용 solution이 못된다

The FACTS Grounding Leaderboard: Benchmarking LLMs’ Ability to Ground Responses to Long-Form Input

December 18, 2024 2 minute read

long input에 대한 response의 사실성 평가 벤치마크 제안. 최대 32K token의 입력 처리, 자동 평가 프레임워크 공개

LLM Evaluators Recognize and Favor Their Own Generations

December 17, 2024 less than 1 minute read

LLM은 자기가 만든 결과를 선호한다는 기존 주장에 대한 심층 논의 (결론: 실제 그렇다)

Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM’s Reasoning Capability

December 9, 2024 1 minute read

오류 추론이 발생하는 과정에 중요 역할(원인)을 하는 토큰 (critical token)을 식별하여 이 토큰을 모델 추론 개선에 적용(cDPO)하는 방법론 제안

Reverse Thinking Makes LLMs Stronger Reasoners

December 3, 2024 1 minute read

LLM이 '역발상'을 학습하도록 훈련하면 상식, 수학, 논리적 추론같은 task 성능 향상에 큰 도움. x10만큼의 forward training(standard finetuning)보다 성능이 뛰어나다고 주장.

Nov 2024

Counterfactual Generation from Language Models

November 26, 2024 2 minute read

LM intervention의 영향 정량화 시도

Divide-and-Conquer Meets Consensus: Unleashing the Power of Functions in Code Generation

November 20, 2024 1 minute read

Divide-and-Conquer 전략에 기능적 합의(functional consensus)를 접목한 CodeGen framework FUNCODER 제안

Questioning the Survey Responses of Large Language Models

November 13, 2024 less than 1 minute read

labeled 응답을 선택하게 하는 문제(=survey)에서, 그 순서 무작위로 주면 응답도 결국 무작위에 가깝더라

Detecting Training Data of Large Language Models via Expectation Maximization

November 4, 2024 2 minute read

Expectation-Maximization 알고리즘을 통해 멤버십 점수와 prefix 점수를 반복적으로 업데이트하여 더 나은 멤버십 추론을 수행하는 새로운 LLM용 MIA 방식 EM-MIA 제안

CRAB: Constraint Back-translation Improves Complex Instruction Following of Large Language Models

November 4, 2024 1 minute read

제약조건을 재생성 (backtranslation) 시키면 제약조건을 더 잘 따르더라

Oct 2024

Direct Multi-Turn Preference Optimization for Language Agents

October 29, 2024 1 minute read

Multi-turn 에서 RL Objectives를 직접 optimize하는 손실함수의 Direct Multi-Turn Preference Optimization (DMPO) 제안

Inference Scaling for Long-Context Retrieval Augmented Generation

October 25, 2024 2 minute read

LM의 RAG inference 성능 향상을 위한 scaling 전략을 제안하고, 유효 컨텍스트 길이의 규모와 RAG 성능 간에 선형적인 관계가 있음을 확인

Real-time Fake News from Adversarial Feedback

October 21, 2024 1 minute read

LLM의 fake news를 더 잘 생성하게 하는 방법. 학습 이후 발생되는 사건의 fake news 탐지를 위해, adversarial iterative fake news 생성 파이프라인 제안

MoEE: Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 17, 2024 1 minute read

MoE LLM의 router weight를 활용하면 별도 추가 학습 없이 decoder-style LLM에서도 괜찮은 representation (embedding) 뽑을 수 있다.

LC-LLM RAG: Long-Context LLMs Meet RAG

October 17, 2024 2 minute read

LC-LLM을 RAG에서 쓸 때, (1) context 순서를 잘 주고 (2) RAG 느낌을 튜닝시켜주고 (3) 명시적으로 relevant 여부를 판단하도록 reasoning step 주면 더 잘한다.

Differential Transformer

October 10, 2024 1 minute read

Q/K를 각각 두 그룹으로 나누어 2개의 softmax attention map간 차이를 계산, relevant context에 대한 attention을 키우고 노이즈는 제거하는 방식의 transformers 변형 제안, hallucination 개선

Selective Attention Improves Transformer

October 8, 2024 1 minute read

attention 연산에서 파라미터 변경 없이, 생성된 token이 다른 token이 더이상 필요 없다고 결정할 수 있도록 처리, 미래 시점에서는 해당 token이 불필요하다고 판단했던 token들에 대한 attention을 줄이는 방법으로 효과적으로 메모리 사용량과 계산 비용을 ...

Sep 2024

Diversify and Conquer: Diversity-Centric Data Selection with Iterative Refinement

September 30, 2024 1 minute read

instance level로 괜찮은 데이터만 골라 학습하기보다, k-means clustering 활용한 Diversity-Centric Data Selection이 LLM finetuning의 효율성과 성능 향상에 유의하다.

Dialogue Ontology Relation Extraction via Constrained Chain-of-Thought Decoding

September 23, 2024 less than 1 minute read

LLM-based Dialogue Ontology (DST key-value pair) 구축을 위한 CCoT-decoding Relation Extraction 제안

Knowing When to Ask - Bridging Large Language Models and Data

September 20, 2024 1 minute read

Data Commons (knowledge Graph)를 활용하여 LLM 응답의 사실성과 신뢰성을 향상시켜 LLM과 실제 데이터 간의 격차 해소하는 DataGemma 소개

Theory, Analysis, and Best Practices for Sigmoid Self-Attention

September 13, 2024 1 minute read

Softmax를 Sigmoid와 상수 bias (sequence length기반)로 대체하는 등의 방식으로 attention 연산 속도를 18%가량 향상시킨 FLASHSIGMOID 제안

Configurable Foundation Models: Building LLMs from a Modular Perspective

September 9, 2024 2 minute read

LLM을 인간의 뇌와 같이 기능적 모듈로 접근하자는 관점 제안 (brick 단위로 분해)과 경험적 실험 결과 보고

Pandora’s Box or Aladdin’s Lamp: A Comprehensive Analysis Revealing the Role of RAG Noise in Large Language Models

September 4, 2024 2 minute read

LLM의 RAG 상황에서 다양한 Noise를 구분하고 분석. 유익한 Noise의 경우 모델 성능이 향상된다는 것을 확인. 벤치마크 NoiserBench를 제시하여 LLM의 Noise 대응 평가 및 유익한 noise는 활용하고 해로운 noise는 줄이는 방법 제시.

Safety Layers of Aligned Large Language Models: The Key to LLM Security

September 3, 2024 1 minute read

다양한 Aligned LLM의 내부 파라미터에 safety layer가 존재하는 것을 확인. safety layer는 악의적인 사용자 질의를 식별하고 또 거부하는 역할을 수행. 이를 바탕으로 safety를 유지하는 Finetuning 방법론 SPPFT 제안.

Text2SQL is Not Enough: Unifying AI and Databases with TAG

September 2, 2024 less than 1 minute read

LM과 RDB간 interaction을 통합 및 일반화하는 Table-Augmented Generation(TAG) 제안

Aug 2024

Planning Like Human: A Dual-process Framework for Dialogue Planning

August 28, 2024 1 minute read

익숙한 상황을 처리하는 intuitive (fast) 정책 모델과 새로운 시나리오를 위한 analytical (slow)의 정책 모델을 상호 보완적으로 사용하는 이중 dialogue planning 프레임워크 제안

To Code, or Not To Code? Exploring Impact of Code in Pre-training

August 21, 2024 less than 1 minute read

사전학습때 Code를 보면 정말 좋은가?를 실험으로 경험적 검증

The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models

August 20, 2024 1 minute read

Counterfactural input에 간섭을 추가하는 방법으로 faithfulness 측정할 때 LM output 확률분포를 고려하는 Correlational Counterfactural Test(CCT) 제안

Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability

August 19, 2024 1 minute read

모델 사이즈가 크고 학습 시간이 길수록 hallucination이 덜 발생하는 건 맞지만, 이를 5%이하의 낮은 수준으로 줄이려면 (일반적으로 알려진 scaling law보다) 훨씬 더 큰 모델과 더 많은 컴퓨팅 자원이 필요하다.

Having Beer after Prayer? Measuring Cultural Bias in Large Language Models

August 16, 2024 2 minute read

아랍-서구문화가 대조되는 entity와 natural occurring prompt 구성된 데이터셋 CAMeL을 제안하고, 이를 통해 사례연구한 결과 LLM이 서구문화권 entity에 편향되어 있음에 대한 우려

Adaptive Retrieval-Augmented Generation for Conversational Systems

August 14, 2024 1 minute read

주어진 대화에서 전환시 외부 지식의 증강이 필요한지 여부를 선택적으로 결정하는 매커니즘 제안

Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach

August 13, 2024 1 minute read

(1) RAG vs. Long-context LLM에 대해, 자원만 충분하다면 결과적으로는 LC LLM이 더 좋은 성능을 보였으나, (2) 비용 측면의 효율을 위해 RAG로 routing하는 approach, Self-Route 제안

RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework

August 8, 2024 less than 1 minute read

다양한 문서 생성 + QA pair 구성하여 다양한 시나리오에서 LLM의 지식 사용 능력 평가하는 Framework 제안

Word Translation Without Parallel Data

August 7, 2024 less than 1 minute read

(token) Embedding Alignment 를 통한 x-lingual translation 성능 향상

Concise Thoughts: Impact of Output Length on LLM Reasoning and Cost

August 6, 2024 1 minute read

단순하게 prompt에 길이 제한을 걸어도 성능에 별 영향이 안가면서 효율적 추론 가능

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 2, 2024 less than 1 minute read

LM (Gemma 2) interpretability를 위한 Gemma Scope suite 공개에 따른 technical Report

Zero-Shot Cross-Domain Dialogue State Tracking via Dual Low-Rank Adaptation

August 2, 2024 less than 1 minute read

multi-layer구조를 기반으로 한 transformer 계열 모델에서 prompt가 뒤쪽으로 갈수록 잊혀지는 문제를 완화하는 DualLoRA 제안

Jul 2024

Jumping Ahead: Improving Reconstruction Fidelity with JumpReLU Sparse Autoencoders

July 23, 2024 1 minute read

기존 vanilla ReLU를 jumpReLU라는 비연속 activation으로 대체하여 새로운 SAE (sparse autoencodesr) SOTA, 비연속적인 activation 사용하지만 straight-through estimator로 효과적으로 학습

ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities

July 22, 2024 less than 1 minute read

이전 공개했던 모델(Chat QA 1.5)을 LLaMA3-70B의 context length 확장하면서 instruction following / RAG capability 향상시키는 방법 제시

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 17, 2024 1 minute read

(1) 여러 길이의 interval (2) 다양한 depth range를 가진 (3) 점진적으로 어려워지는 (4) 2 언어(영문/중문)의 long context 능력을 평가하는 NeedleBench 제안 및 다양한 모델로 평가 결과 리포트

Enhancing HNSW Index for Real-Time Updates: Addressing Unreachable Points and Performance Degradation

July 17, 2024 1 minute read

unreachable points phenomenon을 완화하는 HNSW 기반의 MN-RU(Mutual Neighbor-Replaced Update) 알고리즘 제안

RouteLLM: Learning to Route LLMs with Preference Data

July 10, 2024 1 minute read

비용 절감을 위한 LLM routing 방법 제안

LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

July 1, 2024 1 minute read

검색 단위가 긴 경우 추출되는 단위 수를 대폭 줄이기 위한 long retriever + long reader제안

Jun 2024

Be like a Goldfish, Don’t Memorize! Mitigating Memorization in Generative LLMs

June 21, 2024 less than 1 minute read

causal language modeling objective 대신 Goldfish Loss 제안, 암기대로 생성해내는 방식 완화

From RAGs to rich parameters: Probing how language models utilize external knowledge over parametric information for factual queries

June 19, 2024 less than 1 minute read

LLM이 내부지식 패싱하고 외부지식(RAG context)만 사용하는 데에 강한 편향이 있다는 사실을 기계적으로(?) 추적

Multi-Head RAG: Solving Multi-Aspect Problems with LLMs

June 14, 2024 less than 1 minute read

multi-head attention layer를 활용, 직관적인 multi-doc RAG 및 knowledge integration를 위한 retriever 연구

SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales

June 10, 2024 less than 1 minute read

자기 반성적(?) 근거와 다중 추론 chain으로 LLM에서 신뢰도 보정 오류를 30% 줄인다

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

June 4, 2024 1 minute read

Claude3-sonet의 중간 layer에서 나온 Residual stream로 Sparse Auto-encoder (SAE) 학습, SAE와 그 feature vector 활용하여 해석 가능한 수준의 특성 확인가능.

May 2024

Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models

May 16, 2024 less than 1 minute read

LLM에게 학습 덜 된 토큰 자동 감지기술 제안

Better & Faster Large Language Models via Multi-token Prediction

May 8, 2024 less than 1 minute read

한 번에 1개가 아닌 multi-token prediction을 학습하면 모델 성능이 더 좋다고. 4-token prediction을 학습한 LM이 배치가 큰 경우에도 최대 3배 추론 속도 향상 가능.

Apr 2024

Retrieval Head Mechanistically Explains Long-Context Factuality

April 26, 2024 less than 1 minute read

특정 attention head가 retrieval을 담당한다

Chinchilla Scaling: A replication attempt

April 22, 2024 less than 1 minute read

Chinchilla scaling law 재현이 잘 안된다

Scaling Laws for Reward Model Overoptimization

April 15, 2024 less than 1 minute read

RM으로 Policy model을 학습하면 학습할수록 real (human) preference와 격차가 벌어지는 overoptimization이 (반드시) 발생되며, 이 현상의 도달을 늦추는(?) 데에는 RM의 사이즈를 키우는게 유의한 영향을 끼치는 것으로 보임.

Label Supervised LLaMA Finetuning

April 12, 2024 less than 1 minute read

decoder 구조의 LLMs로 classification SFT

ReALM: Reference Resolution As Language Modeling

April 1, 2024 less than 1 minute read

Pipeline style로 reference resolution에 대해 finetune된 작은 모델(ReALM)로 해결 시도

Mar 2024

Social Learning: Towards Collaborative Learning with Large Language Models

March 28, 2024 1 minute read

Social Learning으로부터 착안, LLM(Teacher)이 다른 AI모델(Students)을 가르치는 구조 제안, 성능면에서 차이 없이 안전성 증가

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

March 20, 2024 less than 1 minute read

prompt compression을 token classification으로 formulate, encoder-based compressor 학습 제안 (Data Distillation)

RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems

March 19, 2024 less than 1 minute read

RAG의 다양한 setting 아래의 최적 대한 분석 (retriever type, reader model(=Generator), context selection등을 모두 고려)

Is Cosine-Similarity of Embeddings Really About Similarity?

March 12, 2024 less than 1 minute read

cosine-similarity를 의미적 유사도를 측정하는 척도로 맹신하지는 말아야 한다.

Do Large Language Model Understand Multi-Intent Spoken Language ?

March 8, 2024 less than 1 minute read

SLU(Spoken Language Understanding)에 대한 LLM 활용 연구를 위한 LM-MixATIS, LM-MixSNIPS 벤치마크 및 metric 제안

Self-Discover: Large Language Models Self-Compose Reasoning Structures

March 5, 2024 less than 1 minute read

델이 여러 reasoning techniques(CoT, critical thinking, ...) 중에서 하나를 스스로 선택하여 task별로 적합한 추론 전략을 구성하도록 하는 프레임워크 제안. BBH에서 단순 CoT보다 성능이 좋고 CoT Self-consistency보다도 추...

Feb 2024

Benchmarking Large Language Models in Retrieval-Augmented Generation

February 28, 2024 1 minute read

Meta info.

Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance

February 27, 2024 less than 1 minute read

LLM에게 적당히 예의바르게 쿼리하면 더 좋은 성능이 나온다는 empirical study.

Generative Representational Instruction Tuning

February 26, 2024 less than 1 minute read

text embedding과 generation 통합하는 Generative Representational Instruction Tuning 제안. 단일모델인 GritLM은 embedding(MTEB) 및 generation task(BBH...)에서 모두 SoTA를 달성.

LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

February 23, 2024 less than 1 minute read

LM들을 늘어놓고 평가할 수 있도록 디자인된 시각화 툴 제안

Unsupervised Evaluation of Code LLMs with Round-Trip Correctness

February 20, 2024 less than 1 minute read

RTC(round-trip correctness)라는 간단한 방식으로 LM의 코드 능력 평가

Chain-of-Thought Reasoning Without Prompting

February 20, 2024 less than 1 minute read

LLM의 decoding을 greedy decoding에서 top-k decoding으로 바꾸면 prompt 없이도 CoT reasoning 유도 가능

Specialized Language Models with Cheap Inference from Limited Domain Data

February 19, 2024 less than 1 minute read

1) generic pretraining cost 2) domain-specific pretraining cost 3) inference cost 4) size of specific domain training set 네가지 제약조건 하에서 가장 효율적인 학습에 대한 emperic...

The boundary of neural network trainability is fractal

February 13, 2024 less than 1 minute read

복잡한 반복 패턴인 Fractal 패턴이 AI 학습 프로세스(하이퍼파라미터)를 제어하는 setting에 나타난다.

Orion-14B: Open-source Multilingual Large Language Models

February 6, 2024 less than 1 minute read

한국어 포함 동아시아권 언어를 중심으로 학습된 multilingual model 공개. Vocab 사이즈도 상대적이지만 결코 작지 않고, 실제 성능도 훌륭한 수준.

The Power of Noise: Redefining Retrieval for RAG Systems

February 5, 2024 less than 1 minute read

RAG에서 Retrieval 에 집중하여, document와 prompt의 연관성, prompt에서 document의 위치와 수 등 다양한 요소를 평가.

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

February 2, 2024 1 minute read

∞-n과 조단위 token corpus로 n-gram 쿼리를 효율적으로 처리하는 infini-gram 공개

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

February 1, 2024 less than 1 minute read

기존 RAG 벤치마크는 범위와 다양성이 제한되어 있고, 검색 요소(retriever)와 외부 KB의 영향을 고려하지 못하는 한계가 있다고 지적하며, RAG Application의 범위를 CRUD로 분류하고 각각에 대한 평가 task와 데이터셋 공개. (중국어)

Jan 2024

Corrective Retrieval Augmented Generation

January 30, 2024 less than 1 minute read

confidence score, web search, knowledge refinement로 잘못 찾아온, 혹은 최적이 아닌 결과를 self-correction하여 모델 생성 결과에 hallucination 감소

Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

January 30, 2024 less than 1 minute read

별도 학습이나 튜닝 없이 한 쌍의 pretrained LLM으로 간단히 계산만 하면 machine generated text를 탐지해내는 방법론 Binoculars 제안. 생성된 sample 90% 이상 탐지(pic1)

SliceGPT: Compress Large Language Models by Deleting Rows and Columns

January 29, 2024 less than 1 minute read

weight matrtix를 더 고밀도의 작은 행렬로 slicing하는 방식의 새로운 post training sparsification 제안. 성능 drop은 1%~10% 내로 방어하면서 파라미터(embedding 포함)는 최대 25%까지 제거 가능.

Knowledge Fusion of Large Language Models

January 29, 2024 1 minute read

기존에 각기 다른 구조를 가지면서 다양한 방식으로 학습된 여러 LLMs(soucre LLMs)을 병합해서 더 strong하게 만드는 방법(pic1)으로, 여러 LLM의 지식을 외부화하여 그들의 capability를 새로운 LLM(target LLM)으로 transfer하는 방법을 ...

Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability

January 25, 2024 less than 1 minute read

standard LM training에 특정 text를 생성하도록 학습시킨다고 해서 그 text의 implies(함의)에 해당하는 text들의 probability가 높아지는 것은 아님. factuality 측면에서 관련 fact set (text)에도 높은 확률을 assign하기...

DocLLM: A layout-aware generative language model for multimodal document understanding

January 23, 2024 less than 1 minute read

multi-modal LLM에서 착안, LM이 text와 (정형화된 document 내에서 ) 위치정보를 input으로 받도록 하여 internal structured document understanding 문제 해결

Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

January 22, 2024 less than 1 minute read

LLM도 기만적(deceptive)일 수 있다. LLM이 더욱 일관되고 논리적인 기만을 생성하도록 학습 가능하고, 이는 standard로 알려진 safety 학습 방식으로는 처리되지 못함.

Self-Rewarding Language Models

January 22, 2024 less than 1 minute read

반복적인 DPO 훈련으로 사람이 설계한 reward model이 아닌, LLM-as-a-Judge mechanism을 사용, LM이 자율적으로 instruction following & reward modeling > refine 반복.

ChatQA: Building GPT-4 Level Conversational QA Models

January 19, 2024 less than 1 minute read

LLM zero-shot에서 대화꼴 QA 성능을 크게 개선할 수 있는 2-stage instruction tuning 방법 제안.

Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering with Multi-Granularity Answers

January 18, 2024 less than 1 minute read

ODQA에서 모델 response를 더 세분화된 수준으로 나눠서 정확성 및 정보성 측면에서 평가할 수 있는 GRANOLA QA 벤치마크 공개 및 그 세분화된 정보성을 확보하기 위한 디코딩 방식 DRAG 제안

Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk

January 12, 2024 less than 1 minute read

LM이 Self-Talk를 통해 training 데이터를 생성>정제>SFT에 활용 (bootstrapping). 이 과정에서 병목을 해소하기 위해 대화성공 여부를 측정하는 automatic metric 제안

Blending is All You Need

January 10, 2024 less than 1 minute read

여러 개의 작은 모델을 Blend해서 하나의 큰 모델과 비슷한 혹은 더 나은 성능을 낼 수 있다.

LLaMA Pro: Progressive LLaMA with Block Expansion

January 8, 2024 less than 1 minute read

새로 추가한 블록의 매개변수만 도메인 데이터로 업데이트하는 post-pretraining 방식의 block expansion이 domain-specific task에 특히 유용하다고 제안. 전체를 finetuning할 때 발생되는 망각이 일어나지 않는다고. 동일 데이터 사용을 전제...

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 4, 2024 less than 1 minute read

human-annotated data를 더 만들지 않더라도 weak LLM이 self-improve할 수 있다.

MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining

January 4, 2024 less than 1 minute read

빠른 사전학습을 위한 BERT-style encoder의 architecture와 training 기법 소개.

Improving Text Embeddings with Large Language Models

January 3, 2024 less than 1 minute read

GPT-3.5, GPT-4를 활용, 2-step prompt 사용해서 만든 synthetic data(94 languages, 500K examples)로 decoder-only LLM(Mistral-7B)을 contrastive loss 사용해 1-epoch 학습. 이 unlab...

Making Large Language Models A Better Foundation For Dense Retrieval

January 2, 2024 less than 1 minute read

Dense Retrieval을 위해 LLM adaptation (2-step template 적용)

Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models

January 2, 2024 less than 1 minute read

Gemini ≒ GPT-3.5-turbo, Gemini ≲ GPT-4-Turbo

2023

Dec 2023

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

December 29, 2023 less than 1 minute read

sLLM(GPT2-small, LLaMA-7B, etc. )으로 프롬프트에서 불필요한 토큰을 식별>제거(압축), LLM의 성능 손실을 최소화하면서 최대 20배의 압축 달성 가능

Weak-to-strong Generalization: Eliciting Strong Capabilities with Weak Supervision

December 23, 2023 less than 1 minute read

Naively finetune strong pretrained models on labels generated by a weak model consistently perform better than their weak supervisors.

UltraFastBERT : Exponentially Faster Language Modelling

December 11, 2023 less than 1 minute read

FFNN을 FFF(Fast FeedForward)로 대체하여 x78의 속도 향상

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

December 6, 2023 less than 1 minute read

비슷한 사이즈 Transformer 대비 5배 빠른 추론속도

Scalable Extraction of Training Data from (Production) Language Models

December 4, 2023 less than 1 minute read

ChatGPT의 alignment training의 결점으로부터 ChatGPT의 training data를 추출하는 기술을 개발

LLM-Assisted Code Cleaning For Training Accurate Code Generators

December 1, 2023 less than 1 minute read

Code Generation 모델 학습시 학습 데이터=코드를 가독성 좋게 리팩토링하면 모델 성능이 훨씬 좋아진다.

Apr 2023

Scaling Transformer to 1M tokens and beyond with RMT

April 24, 2023 less than 1 minute read

RMT(Recurrent Memory Transformer) retains information across up to 2 million tokens!

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

April 5, 2023 less than 1 minute read

LLaMA-Adapter, a method for quickly and efficiently fine-tuning LLaMA into an instruction-following model using self-instruct demonstrations, matching Alpaca...

BloombergGPT: A Large Language Model for Finance

April 5, 2023 less than 1 minute read

A combined pre-training approach for domain-specific and non-domain-specific corpus. It describes the dataset, model configuration, and training procedure fo...

Feb 2023

LLaMA : Open and Efficient Foundation Language Models

February 27, 2023 less than 1 minute read

10배 더 적은 파라미터(13B)로 GPT-3 175B 대비 거의 모든 벤치마크에서 더 나은 성능 달성.