[논문 리뷰] LLaDA (Large Language Diffusion with Masking)

발단

• 기존 생성형 모델

모델의 분포인 ⁍를 목표(or 참 값)인 ⁍에 가깝게 하기 = KL Div의 min

⁍ → ⁍

• 기존 언어 모델(ARM)의 예측 진행

next token prediction

생성 모델의 ‘근간(fundamentally underpin)’은 2번이 아니라 1번이다. 현재의 LLM은 근간을 무시하고 있다!! (다소 의역)

ARM은 단점이 있다

1. High computational cost
2. reversal reasoning task → 따라서 길고 복잡한 task를 수행할 때 제약이 있다

• Reversal curse란?

결과 미리보기

그래서 LLaDA는 ARM의 단점을 극복해냈는가?

Reversal에 있어서는 위의 두 모델보다 나음

근데 Forward에 있어서는 현저히 떨어짐

💡 Bwook’s 한줄평:

• Reversal 성능이 확실히 오르긴 함
• Forward가 GPT-4o에 비해 거의 반타작인데…. 이게 맞나? ㅋㅋ
• Qwen이 GPT-4o를 이기는 걸로 봐서… ‘중국어 편향’도 의심됨

핵심

1. Pre-train

Masked 토큰에 대해서만 Loss가 계산 되도록 함

2. SFT

Prompt는 항상 전체를 주고, Response만 Masking해서 사용

3. Inference

한번에 모든 토큰을 출력하기 때문에, Remasking을 해줘서, 여러 스텝에 나누어 출력을 반복함

진한 색상일수록, 나중에 생성된 것을 의미.

Remasking 시점에 영향을 받음

(주장하는) 성능