Mi az a BLEU-pontszám?
A BLEU (kétnyelvű kiértékelési alapművelet) az ugyanazon forrásmondat automatikus fordítása és az emberileg létrehozott referenciafordítások közötti különbség mérése.
Pontozási folyamat
A BLEU algoritmus összehasonlítja az automatikus fordítás egymást követő kifejezéseit a referenciafordításban talált egymást követő kifejezésekkel, és súlyozott módon megszámolja a találatok számát. Ezek a találatok pozíciófüggetlenek. A magasabb egyezés-fok magasabb hasonlóságot jelez a referenciafordítással és a magasabb pontszámmal. A mérés nem veszi figyelembe az érthetőséget és a nyelvtani helyességet.
Hogyan működik a BLEU?
A BLEU-pontszám erőssége az, hogy jól korrelál az emberi ítélőképességgel. A BLEU az egyes mondatok ítélethibáinak átlagolását egy tesztkorpuszra átlagozza, ahelyett, hogy minden mondathoz megkísérli meghatározni a pontos emberi ítélőképességet.
Itt található a BLEU-pontszámok részletesebb megvitatása.
A BLEU-eredmények erősen függenek a tartomány szélességétől; a tesztelési, betanítási és finomhangolási adatok konzisztenciája; és hogy mennyi adat áll rendelkezésre a betanításhoz. Ha a modelleket egy szűk tartományon képezték be, és a betanítási adatok összhangban vannak a tesztadatokkal, magas BLEU-pontszámra számíthat.
Megjegyzés
A BLEU-pontszámok összehasonlítása csak akkor indokolt, ha a BLEU-eredményeket ugyanazzal a tesztkészlettel, ugyanazzal a nyelvi párral és ugyanazzal az MT-motorral hasonlítják össze. Egy másik tesztkészlet BLEU-pontszáma ettől eltérő lehet.