Unsupervised Evaluation of Code LLMs with Round-Trip Correctness

Meta info.

• Authors: Miltiadis Allamanis, Sheena Panthaplackel, Pengcheng Yin
• Paper: https://arxiv.org/pdf/2402.08699.pdf
• Affiliation: Google DeepMind
• Published: February 13, 2024

TL; DR

RTC(round-trip correctness)라는 간단한 방식으로 LM의 코드 능력 평가

Suggestions

• synthesisRTC: LM에게 code snippet 주고 자연어 설명 시키기 > 다시 LM에게 그 설명만으로 주어진 코드를 다시 작성하도록 요청. 평가는 원본 코드와 재작성된 코드 간의 유사도.
• editingRTC: 앞선 방식과 비슷하게 원본 코드와 새로 작성한 버전 간 snippet 차이를 자연어로 설명하게 하고 > 그 설명에 따라 변경사항 구현하게 하기.