Is Cosine-Similarity of Embeddings Really About Similarity?

Meta info.

• Authors: Harald Steck, Chaitanya Ekanadham, Nathan Kallus
• Paper: https://arxiv.org/pdf/2403.05440
• Affiliation: Netflix Inc.

TL; DR

cosine-similarity를 의미적 유사도를 측정하는 척도로 맹신하지는 말아야 한다.

Suggestions

• cosine-similarity의 유용성에 영향을 미치는 핵심은 regularization
  • 선형 행렬 인수분해(MF) 모델을 사용해서 분석 도출
  • 학습된 임베딩은 dot product이 잘 정의되고 고유하더라도 임의의 cosine-similarity을 렌더링할 수 있는 자유도를 가지고 있기 때문이라고 설명 (pic1~2의 D 행렬)
• DNN에서는 여러 regularization techniques이 사용되며, 의도치않게 임베딩에 영향을 미쳐 cosine-similarity 측정 결과를 (심하면) 무의미하게도 만들 수 있다. (해석도 어렵게 만든다고)