Beyond Single Embedding: Modeling User Preferences as Distribution in Federated Recommendation

Meta info.

• Authors: Chunxu Zhang*, Weipeng Zhang*, Guodong Long, Zhiheng Xue, Bo Yang (*equal contribution)
• Affiliation: Jilin University; Hong Kong Polytechnic University; University of Technology Sydney
• Paper: https://openreview.net/forum?id=9UohNmtqK5
• Code: https://github.com/Zhangwp2420/FedDistRec
• Published: ICML 2026 (PMLR v306)

TL; DR

Federated recommendation에서 user를 single embedding(point estimate)이 아닌 item embedding space 위의 distribution으로 모델링하기 위해, diffusion으로 user 표현을 복수 생성하고 예측 점수를 ensemble

Review Video

Background

• Federated Recommender System (FRS): 각 user(client)의 상호작용 데이터를 서버로 올리지 않고, client가 로컬에서 학습한 업데이트만 모아서 추천 모델을 만드는 방식
  • TL; DR: 각 관찰자가 자기 몫의 부분 관측만 갖고 user를 추정해야 하는 극단적 세팅
  • 초기 계열: 전통 추천 모델의 federated 이식
    • FedMF (Chai et al., 2020): matrix factorization의 federated 버전
    • FedNCF (Ammad-Ud-Din et al., 2019): neural collaborative filtering 기반, item embedding과 예측 함수를 공유 학습
  • 개인화 계열: user별 표현을 따로 다듬는 방향
    • PFedRec (Zhang et al., 2023): dual personalization mechanism
    • FedRAP (Li et al., 2024): global item embedding과 user별 item embedding을 함께 유지
  • 공통 한계: user 한 명을 embedding 벡터 하나로 표현. “이 user의 선호는 지금까지 본 소량의 기록만으로 정확히 하나로 확정할 수 있다”는 가정(determinacy assumption)이 깔려 있음
    • 실제 기록은 sparse하고 해석이 여러 가지로 갈리는데(ambiguous), 벡터 하나에 전부 욱여넣는 꼴이라 자주 등장한 item 쪽으로 치우친 표현이 학습되는 경향이 문제
• Fig 1
  • user embedding은 좋아한 item(positive)과는 가깝고 아닌 item(negative)과는 멀어야 함
    • 그런데 기존 positive들과 동떨어진 새 positive가 들어오면 그 동떨어진 point도 포함하고자 embedding이 이동하면서 기존의 positive-negative 분리가 약해지는 등
    • 가깝거나 멀어야하는 제약들이 점 하나로 뭉개지는 문제 발생
  • federated에서는 더 심각하다고: 비슷한 기록을 가진 다른 user들이 이 모호함을 어떻게 풀었는지 참조 불가 → 애매함이 client 안에 그대로
• user를 point 외의 방식으로 표현하려던 관련 연구
  • box-embedding: user를 점이 아닌 영역(region)으로 표현, 다만 영역 자체는 여전히 하나로 고정된 deterministic 표현이라, 같은 user에 대해 서로 다른 해석을 여러 개 내놓을 수 없음
    • HCUR (Zhang et al., 2021): user를 hypercuboid(직육면체 영역)로 두고 거리 기반 scoring
    • LCD-UC (Wu et al., 2024): user와 item 모두 hypercuboid + attention으로 유사도 계산
  • diffusion 기반 추천: 생성 모델로 preference를 다루는 계열, 대부분 최종적으로는 embedding 하나로 수렴시키고, centralized 학습을 전제
    • DDRM (Zhao et al., 2024): diffusion의 denoise 과정으로 embedding을 정제
    • GCDR (Wu et al., 2025): conditional diffusion으로 user별 여러 관심사 분포를 유지
    • DiffRec (Wang et al., 2023) 등 생성형 preference 추정 계열

Problem States

embedding 하나로 user를 확정하는 가정이 sparse하고 분산된 관측 현실과 맞지 않는다.

1. 충돌 증거를 점 하나로 뭉개면 ranking 불안정 → 양립 가능한 해석 여러 개를 함께 보존하는 distributional user representation 필요
2. noise가 심하게 섞인 상태에서는 복원 방향을 잃음 → user가 뭘 봐왔는지 알려주는 semantic conditioning 필요
3. federated에서는 전체 집단의 공통 패턴과 user 고유 특성이 둘 다 필요 → global 성분과 personalized 성분의 분리 + fusion 필요
4. 표현이 여러 개면 추천 점수도 하나로 정해지지 않음 → 복수 샘플 생성과 ensemble scoring 필요

Suggestions

Diffusion 기반 user modeling

• diffusion (Ho et al., 2020)의 noise 주입 + 복원 구조를 사용하여 user 표현을 “학습으로 확정하는 고정 벡터”가 아니라 “그때그때 생성하는 대상”으로 바꿈
  • 같은 user에 대해 생성을 여러 번 하면 매번 조금씩 다른, 그러나 모두 그 user의 기록과 양립하는 표현이 나옴. 이 표현들의 집합이 곧 user의 distribution
  • 시작 (clean 표현 $x_0$): user가 실제로 상호작용한 item의 embedding을 공유 item embedding matrix에서 그대로 가져옴
    • user 분포가 item embedding space 위에, 실제 상호작용 item들을 기준점 삼아 정의된다는 뜻
    • preference를 별도의 latent 벡터로 확정하지는 않고, “user가 드러낸 item 취향”을 통해서만 다루겠다는 설계
  • 학습: $x_0$에 noise를 단계적으로 섞은 뒤, 원래대로 복원하도록 denoising network를 훈련 (표준 DDPM의 복원 오차 최소화)

Category semantic conditioning

• 문제: noise가 많이 섞인 단계에서는 남은 신호가 거의 없어서, denoiser가 user 방향으로 복원할 근거가 없음
• 해결: user가 상호작용한 item들의 category 등장 비율 histogram $c_u$를 조건으로 함께 입력
  • 예: 전체 기록 중 장난감 60%, 보드게임 30%, 문구 10% 같은 비율 벡터
  • noisy 표현, diffusion 단계 정보(time embedding), $c_u$ 셋을 projection layer로 합쳐 denoiser에 입력
• 이 category prior가 복원을 user의 실제 취향 쪽으로 계속 끌어당기는 역할

Global-Personalized denoising과 adaptive fusion

• denoising predictor
  • global predictor: 모든 client가 공유하고 서버에서 aggregation. 집단 전체에 공통인 preference 패턴 담당
  • personalized predictor: client에만 존재, 공유하지 않음. 그 user만의 고유한 편차 담당
• adaptive fusion module이 두 예측을 가중 결합해 최종 복원 결과를 산출
  • “다른 user들의 해소 방식을 참조할 수 없다”는 federated의 문제→이 논문의 실제 답이 이 공유 global predictor

Joint training

• client별 학습 objective: $\mathcal{L}u = \mathcal{L}{rec} + \lambda \mathcal{L}_{diff}$
  • $\mathcal{L}_{diff}$: noise 섞인 표현에서 원본을 복원하는 오차 (diffusion 학습)
  • $\mathcal{L}_{rec}$: 복원된 표현을 user embedding으로 써서 계산하는 표준 ranking loss (BPR 등, 추천 학습)
  • $\lambda$: 복원에 치우치면 취향 판별력이 죽고, 반대면 표현 학습이 부실해지므로 이를 조정하는 역할
• 공유/비공유 파라미터 분할: item embedding matrix와 global predictor만 서버로 보내고 (공유), 나머지(projection layer, personalized predictor, fusion, 예측 head)는 전부 로컬에 유지
• user 고유 정보가 밖으로 나가는 걸 최소화, gradient inversion 등의 공격 위험 축소. LDP, HE와도 결합 가능
• 부가적으로 nonconvex FL 표준 가정 하에서 공유 파라미터의 수렴 보장을 제시
  • diffusion이 추가하는 무작위성이 있어도, 통신 round를 늘리고 round당 client 수와 local step을 조절하면 수렴 오차가 통제된다는 표준적 형태

Multi-sample inference와 ensemble scoring

• 추론 절차: 서버 통신 없이 client 안에서 완결
  • 무작위 noise를 $N_s$개 뽑아, 각각 denoising을 끝까지 돌려 user embedding $N_s$개를 생성
  • 각 embedding으로 모든 후보 item의 점수를 계산한 뒤, item마다 $N_s$개 점수를 평균해서 최종 ranking
• embedding 하나만 쓸 때의 우연한 흔들림(분산)을 평균으로 줄이는 효과
• 배포 관점에서 denoising network를 보조 모듈로 붙이고 loss 항만 하나 추가하면 되는 plug-in 구조라, 기존 FRS backbone을 수정 없이 통합 가능

Effects

• Experimental setup
  • datasets: Amazon Toys / Health / Apps + KuaiSAR (Kuaishou)
    • 7:1:2 split, Amazon은 10회 미만, KuaiSAR는 50회 미만 interaction user 제외
    • positive당 negative 4개 샘플링, item category metadata 포함 (17~37개)
  • metrics: HR@10, NDCG@10, Recall@10, Precision@10, 5회 독립 실행 평균
  • baselines
    • box-embedding: HCUR, LCD-UC
    • diffusion: DDRM, GCDR (user별 파라미터를 로컬에 두는 방식으로 federated 개조)
    • FRS backbone: FedMF, FedNCF, PFedRec, FedRAP 각각에 vanilla vs. w/ ours 비교
  • 구현: latent dim 32, batch 256, local epoch 5, 100 round, diffusion step 32, RTX 3090 3장
• Results
  • Tab 1 전 dataset, 전 backbone에서 일관된 향상
    • backbone 구조를 안 건드리고 얻은 gain, 향상의 출처가 user 표현 개선으로 귀속된다고 해석
    • box-embedding 대비: 고정 영역이 아닌 조건부 생성이라 같은 user의 여러 해석을 담는 유연성에서 우위
    • diffusion 대비: global-personalized 분리가 단일 embedding 복원(DDRM)과 client 내 다중 분포(GCDR) 모두 상회
  • Fig 3 ablation (PFedRec 통합 기준)
    • NoCategory(조건 제거), RandomCategory(무작위 벡터로 대체) 모두 전 지표 하락
      • category 신호가 “있다”가 아니라 실제 기록 분포를 “정확히 반영한다”가 향상의 원천
    • SingleFusion(personalized 갈래 제거)도 하락
      • user 고유 특성을 담는 전용 모듈이 필수
  • Fig 4 Toys에서 positive/negative 예측 점수 분포
    • 제안한 방법이 positive 점수는 0.6 부근근처, negative는 0.4 아래에 분포되어 제대로 분리된 것으로 보임 (vs. baselin들은 두 분포가 0.4~0.5 구간에서 혼재)
      • 분포 표현이 더 판별력 있는 점수를 만든다 확인
  • Tab 3 user-level ranking violation rate (positive가 negative보다 낮은 점수를 받는 빈도, 낮을수록 좋음)
    • user를 interaction 횟수와 category 다양성 기준 quartile로 나눠서 측정, 전 구간에서 최저
    • 향상 폭이 가장 큰 곳은 기록이 적은 user(Q1, 상대 7.78% 감소)와 다양성 낮은 user(Q1, 5.93% 감소)
      • 증거가 희소해서 표현 학습이 가장 어려운 구간일수록 분포 표현의 이득이 큼
  • hyper-parameter
    • loss 비중 $\lambda = 0.1$이 전 dataset에서 안정적
    • 샘플 수 $N_s = 5$면 충분
      • Fig 8,9 10으로 늘리면 일부 dataset에서 오히려 하락 (단조 아님)
      • 샘플 추가시 얻는 이득이 빠르게 소진
  • Tab 4 LDP 통합 (공유 파라미터에 Laplacian noise 주입)
    • noise를 키울수록 privacy는 강해지지만 성능은 계속 하락
    • KuaiSAR는 가장 약한 noise에서 이미 NDCG@10 급락, dataset별 민감도 편차 큼

Personal note. 익숙한 분야가 아니라 모든걸 다 이해한 것 같지는 않습니다만, 동기와 방법론쪽에서 제가 연구미팅에서 정리했던 Motivation #1, 그러니까 preference가 결국 point로 수렴한다는 문제를 recsys/FL 쪽에서 적용한 연구라 확인했습니다. icml에서 저자 이야기를 잠깐 들을 수 있었는데 역시 제가 도메인을 충분히 이해하지 못해서 잘은 모르겠지만, 결과적으로 문제시한 부분은 비슷한 관점인 것 같긴 하고, point-estimate의 취약성에 대한 근거가 된다고 느꼈습니다. 다만 결국 선택은 점수 평균으로 흘러서 되돌아서 point 아닌가 싶고.. 저도 이 부분에 대한 뚜렷한 개선이 떠오르는 것은 아니라 조금 어렵게 느껴지기도 합니다. 플 수를 늘려도 성능이 단조 개선되지 않는다는 건 분포가 calibrated되지 않았다는게 아닐까 싶고…