3. AutoRAG 속 Generation Metircs

1. BLEU

(Bilingual Evaluation Understudy)

• n-gram base Generated Sentence의 단어가 Reference Sentence에 포함되는 정도 → AutoRAG 기준, LLM generated result의 단어가 Answer gt에 포함되는 정도

2. Rouge

(Recall-Oriented Understudy for Gisting Evaluation)

• n-gram base Reference Setence의 단어가 Generated Sentence에 포함되는 정도 → AutoRAG 기준, Answer gt의 단어가 LLM generated result에 포함되는 정도

3. METEOR

(Metric for Evaluation of Translation with Explicit ORdering)

• n-gram (unigram) base
• Only For English METEOR 논문 링크

METEOR는 unigram 기반 precision과 recall의 조화평균을 기반으로 하고, Precision에 조금 더 높은 가중치를 부여합니다.

METEOR에는 특별한 특징이 있는데요, 바로 Steamin(어간 추출)과 Synonym Matching(동의어 매칭) 입니다.

**어간 추출(Stemming)**

어간 추출은 단어의 다양한 형태를 동일한 어근으로 인식하는 과정입니다.

예를 들어, “running”, “runner”, “ran”과 같은 단어들은 모두 “run”이라는 어근을 가집니다.

METEOR는 이러한 어간 추출을 통해 다양한 형태의 단어들을 동일하게 평가합니다.

**동의어 매칭(Synonym Matching)**

동의어 매칭은 의미가 같은 다른 단어들을 인식하는 과정입니다.

예를 들어, “big”와 “large”는 의미가 같은 동의어입니다.

METEOR는 이러한 동의어를 인식하여 더 정확한 평가를 할 수 있습니다.

하지만 METEOR는 현재 영어에 맞게 설계되어 있어, 어간 추출과 동의어 매칭 기능도 영어에서만 지원됩니다. 따라서 다른 언어에 적용하려면 해당 언어에 맞는 추가적인 알고리즘 개발이 필요합니다.

4. Sem Score

📌 Definition

Here is the paper link that introduced Sem Score.

The concept of SemScore is quite simple.

It measures semantic similarity between ground truth and the model’s generation using an embedding model.

You can find more detailed information at here

5. G-Eval

📌 Definition

Here is the link that introduced G-Eval

G-Eval, a framework of using large language models with chain-of-thoughts (CoT) and a form-filling paradigm, to assess the quality of NLG outputs.

Paper said that G-Eval with GPT-4 as the backbone model achieves a Spearman correlation of 0.514 with human on summarization task, outperforming all previous methods by a large margin.

So, in AutoRAG, we use G-Eval with GPT-4

🍀 1. Coherence

답변이 논리적으로 일관되고 흐름이 자연스러운지 평가. 문장 간의 연결이나 전체적인 맥락이 잘 맞는지 평가

🍀 2. Consistency

답변이 주어진 질문이나 제시된 정보와 모순되지 않고 일치하는 지 평가. 일관성 있는 답변은 질문의 요구사항이나 주어진 데이터와 상충되지 않는 정보를 제공해야 함.

🍀 3. Fluency

답변이 유창한지 평가

🍀 4. Relevance

답변이 질문의 요구사항에 얼마나 적절하게 부합하는 지 평가 Relevance가 높은 답변은 질문의 핵심 주제나 키워드와 직접적으로 관련되어있어야 한다.

6. Bert Score

📌 Definition

Here is the link that introduced BERT Score.

BERT의 Contexutal Embedding을 활용해 두 문장 사이의 유사성을 측정하는 지표.

BERT를 이용해 Answer gt와 LLM generated result의 Contextual Embedding 값을 얻어내고, token-pair마다 Cosine Similarity로 유사성을 평가한 후, IDF로 각 Token에 가중치를 부여한다.