Mi az a BLEU-pontszám?
A BLEU (kétnyelvű értékelési alapművelet) az automatikus fordítás és az ugyanazon forrásmondat emberileg létrehozott referenciafordításainak különbségének mérése.
Pontozási folyamat
A BLEU algoritmus az automatikus fordítás egymást követő kifejezéseit hasonlítja össze a referenciafordításban talált egymást követő kifejezésekkel, és súlyozottan megszámolja a találatok számát. Ezek a találatok pozíciófüggetlenek. A magasabb egyezés magasabb fokú hasonlóságot jelez a referenciafordítással és a magasabb pontszámmal. A mérés nem veszi figyelembe az érthetőséget és a nyelvtani helyességet.
Hogyan működik a BLEU?
A BLEU pontszám erőssége az, hogy jól korrelál az emberi ítélőképesség. A BLEU az egyes mondatok ítélethibáit egy tesztkorpuszon átlagozza, ahelyett, hogy minden mondathoz megkísérli kidolgozni a pontos emberi ítéletet.
Itt található a BLEU pontszámainak részletesebb megvitatása.
A BLEU-eredmények nagymértékben függenek a tartomány szélességétől; a tesztelési, betanítási és finomhangolási adatok konzisztenciája; és hogy mennyi adat áll rendelkezésre a betanításhoz. Ha a modellek betanítása szűk tartományban történik, és a betanítási adatok összhangban vannak a tesztadatokkal, magas BLEU-pontszámra számíthat.
Feljegyzés
A BLEU-pontszámok összehasonlítása csak akkor indokolt, ha a BLEU-eredményeket ugyanazzal a tesztkészlettel, ugyanazzal a nyelvi párral és ugyanazzal az MT motorral hasonlítják össze. Egy másik tesztkészlet BLEU-pontszáma ettől eltérő lehet.