less than 1 minute read

sample_pool 동기화 누락으로 동일 6문제 중복 실행. 18콜 소실……..

경위

4/17에 세션 A에서 run_exp_a.py 실행(6문제, 18콜). 결과 JSON은 로컬에 생성됐으나 sample_pool.json의 done 플래그 변경분을 commit - push하지 않았음. 이후 4/20에 타 서버 세션 B에서 pull 없이 실행 → sample_pool 기준으로 같은 6문제가 미완료로 판정되어 동일 배치 재실행…….

결과

  • 2026-04-17.json과 2026-04-20.json의 6문제 × 3모달 = 18개 응답이 parsed 값까지 완전 일치
  • 정답률도 text 2/6, image 2/6, audio 2/6 동일 (당연…)
  • Kanana-o API가 동일 입력에 대해 deterministic하게 동작한다는 부수적 확인

조치

  • 2026-04-20.json 삭제 (중복)
  • 2026-04-17.json + call_log 커밋 푸시 완료
  • 유효 진행: 42/60 (18개 남음)

재발 방지

실험 실행 후 sample_pool.json + 결과 JSON을 반드시 같은 세션에서 commit - push할 것!