[논문 리뷰] Cheating Automatic LLM Benchmarks: NULL Models Achieve High Win Rates
https://arxiv.org/pdf/2410.07137
- 🥇 ICLR 2025 Oral
- Sea AI Lab, Singapore
- 2 Mar 2025
DarkBench(https://bobb-ai-brain.vercel.app/darkbench) 와 비슷하게 Benchmark 쪽 주제를 들고와봤습니다
Cheating Benchmark라니.. 보자마자 이 사진이 생각났습니다 🤣
요약
NULL Model : Always output a constant response (irrelevant to input instructions)
- AlpacaEval 2.0: 86.5% LC win rate
- Arena-Hard-Auto: 83.0점
- MT-Bench: 9.55점
- 이게 어느정도지?
(알아야 하는 사전 정보) AlpacaEval 2.0의 구조
GPT-4-Preview-1106 를 이겨라!
{output_1}에 GPT-4-Preview-1106의 답변을 넣고
{output_2}에 test 보는 모델의 답변을 넣은 뒤,
GPT-4-Preview-1106에게 채점을 시킴.
Cheating Strategies
1. Structured cheating responses
**76.8%** LC win rate
- manually crafted cheating response
believe both are same empty → prefer the first one(M) 다른 연구(LLM are not Fair Evaluators)를 통해 밝혀진 내용
2. Crafting adversarial prefix by random search (RS)
- optimizable prefix
Alpaca2.0의 Instruction은 private이라고 가정하고, 아무 instruction set을 이용해 Random prefix set 중에서 loss가 가장 작은 single adversarial prefix를 찾음
- Arena-Hard-Auto
- MT-Bench
How to make Structured cheating responses ‘templates’?
16개의 templates들 중 아래의 수식을 통해 loss가 가장 낮은 것을 찾음
- 16개의 templates 예시 ⁍winner = NullModel)
-
Swap이란? m과 M의 순서를 바꿔, Test model의 output을 먼저 넣는 방법을 사용
- Example
Result
(Advanced) open-source auto-annotators
채점 모델을 Open-source (Llama-3-instruct 8B, 70B)로 바꿔보면 어떨까?
1. Sanity Check
평가 능력이 있긴 한가?
GPT-4 급은 된다 ~
Bobb’s 생각
- Human은 왜 65.7점인가?
- 2.5K개의 Human annotations를 이 사람들이 만들었다는데 대단하다..
2. Is the structured response useful on open-source auto-annotators?
덜 효과적임
- 모델의 크기(파라미터 사이즈)가 커질 수록 positional bias를 가짐
- 70B 모델은 Swap했을 때 성적이 더 좋음 = 마지막 출력을 강력하게 선호함
- 모델 크기가 작을수록 Instruction following 기능이 강력하지 않기 때문에, 치팅에 덜 취약함
3. Is random search effective on open-source auto-annotators?
근데? RS가 붙으니까 갑자기 Cheat 성공률이 수직상승함
- Test ✅ : Test instruction에 접근 가능한가? (이정도면 leakage지..!) ⇒ 우리는 Test ❌ 로도 leakage 수준에 도달했음~
Anti-Cheating Strategies (해결책)
- auto-annotator 템플릿의 paraphrasing된 버전만 공개하고 실제 템플릿은 비공개로 유지
- 여전히 높음
- PPL(Perplexity) Filter ⇒ Perplexity가 높은 답변 = 이상한 답변
- RS 정도는 잡아낼 수 있음
파란 선: Structured
빨간 선: Structured + RS
박스들: 정상 답변