Porównanie tekstu z wzorcem (BLEU, ROUGE, BERTScore)

Reference-based text generation metrics · id textgenmetrics · aliases: BLEU, ROUGE, BERTScore, METEOR, reference-based metrics

Automatyczna ocena wygenerowanego tekstu przez porównanie z odpowiedzią wzorcową — od liczenia wspólnych słów po podobieństwo znaczeń w embeddingach.

Automatic scoring of generated text by comparing it to a reference answer — from counting shared words to meaning similarity in embeddings.

In one sentence

To automatyczne porównywanie wygenerowanego tekstu z przygotowaną odpowiedzią wzorcową.

This automatically compares generated text with a prepared reference answer.

Problem it solves

Masz wiele tłumaczeń lub streszczeń do sprawdzenia, a ocenianie każdego ręcznie zajmuje dużo czasu.

You have many translations or summaries to check, and rating each one manually takes time.

What it does

Porównuje wspólne słowa, fragmenty lub podobieństwo znaczenia; wysoki wynik nie gwarantuje prawdziwości ani pełnej przydatności tekstu.

It compares shared words, passages or meaning similarity; a high score does not guarantee truthfulness or full usefulness.

Everyday example

Porównujesz streszczenie spotkania z notatką wzorcową, a rozbieżności sprawdzasz w nagraniu, zamiast uznawać podobieństwo słów za dowód poprawności.

You compare a meeting summary with reference notes, then check differences against the recording rather than treating similar wording as proof of correctness.

This concerns you if you…

Examples

Related topics

Sources