Etykietowanie danych tekstowych na potrzeby trenowania modelu

Przed rozpoczęciem trenowania modelu należy oznaczyć dokumenty klasami, do których chcesz je skategoryzować. Etykietowanie danych jest kluczowym krokiem w cyklu projektowania; W tym kroku możesz utworzyć klasy, które chcesz podzielić na dane, i oznaczyć je etykietami przy użyciu tych klas. Te dane będą używane w następnym kroku podczas trenowania modelu, aby model mógł uczyć się na podstawie oznaczonych danych. Jeśli masz już etykiety danych, możesz bezpośrednio zaimportować je do projektu, ale musisz upewnić się, że dane są zgodne z akceptowanym formatem danych.

Przed utworzeniem niestandardowego modelu klasyfikacji tekstu należy najpierw oznaczyć dane etykietami. Jeśli dane nie są jeszcze oznaczone etykietą, możesz oznaczyć je w programie Language Studio. Dane oznaczone etykietami informują model, jak interpretować tekst i jest używany do trenowania i oceny.

Wymagania wstępne

Aby można było oznaczyć dane etykietami, potrzebne są następujące elementy:

• Pomyślnie utworzono projekt przy użyciu skonfigurowanego konta usługi Azure Blob Storage.
• Dokumenty zawierające dane tekstowe przekazane na konto magazynu.

Aby uzyskać więcej informacji, zobacz cykl projektowania projektu.

Wytyczne dotyczące etykietowania danych

Po przygotowaniu danych należy zaprojektować schemat i utworzyć projekt, aby oznaczyć je etykietami. Etykietowanie danych jest ważne, aby model wiedział, które dokumenty będą skojarzone z potrzebnymi klasami. Po oznaczeniu danych w programie Language Studio (lub zaimportowaniu oznaczonych danymi) te etykiety będą przechowywane w pliku JSON w kontenerze magazynu, który został połączony z tym projektem.

Podczas etykietowania danych należy pamiętać:

• Ogólnie rzecz biorąc, bardziej oznaczone dane prowadzą do lepszych wyników, pod warunkiem, że dane są dokładnie oznaczone etykietą.

• Nie ma stałej liczby etykiet, które mogą zagwarantować, że model będzie działać najlepiej. Wydajność modelu w przypadku możliwej niejednoznaczności w schemacie i jakości danych oznaczonych etykietami. Niemniej jednak zalecamy użycie 50 dokumentów oznaczonych etykietą na klasę.

Etykietowanie danych

Aby oznaczyć dane, wykonaj następujące czynności:

1. Przejdź do strony projektu w programie Language Studio.

2. W menu po lewej stronie wybierz pozycję Etykietowanie danych. Listę wszystkich dokumentów można znaleźć w kontenerze magazynu. Zobacz poniższy obraz.

   Napiwek

   Możesz użyć filtrów w górnym menu, aby wyświetlić nieoznaczone pliki, aby rozpocząć etykietowanie. Możesz również użyć filtrów, aby wyświetlić dokumenty, które są oznaczone określoną klasą.

3. Przejdź do pojedynczego widoku plików po lewej stronie w górnym menu lub wybierz określony plik, aby rozpocząć etykietowanie. Listę wszystkich .txt plików dostępnych w projektach można znaleźć po lewej stronie. Aby przejść przez dokumenty, możesz użyć przycisku Wstecz i dalej w dolnej części strony.

   Uwaga

   Jeśli dla projektu włączono wiele języków, w górnym menu znajdziesz listę rozwijaną Język , która umożliwia wybranie języka każdego dokumentu.

4. W okienku po prawej stronie dodaj klasę do projektu, aby rozpocząć etykietowanie danych przy użyciu nich.

5. Rozpocznij etykietowanie plików.

   Klasyfikacja wielu etykiet

   Klasyfikacja wielu etykiet: plik może być oznaczony wieloma klasami. Można to zrobić, zaznaczając wszystkie odpowiednie pola wyboru obok klas, za pomocą których chcesz oznaczyć ten dokument.

   

   Klasyfikacja pojedynczej etykiety

   Klasyfikacja pojedynczej etykiety: plik może być oznaczony tylko jedną klasą. Możesz to zrobić, wybierając jeden z przycisków obok klasy, z którą chcesz oznaczyć dokument.

   

   Możesz również użyć funkcji automatycznego etykietowania, aby zapewnić pełne etykietowanie.

6. W okienku po prawej stronie w obszarze przestawnym Etykiety można znaleźć wszystkie klasy w projekcie i liczbę wystąpień oznaczonych etykietami na każdy z nich.

7. W dolnej sekcji okienka po prawej stronie możesz dodać bieżący plik wyświetlany do zestawu treningowego lub zestawu testów. Domyślnie wszystkie dokumenty są dodawane do zestawu treningowego. Dowiedz się więcej na temat zestawów trenowania i testowania oraz sposobu ich użycia na potrzeby trenowania i oceny modelu.

   Napiwek

   Jeśli planujesz użycie automatycznego dzielenia danych, użyj domyślnej opcji przypisania wszystkich dokumentów do zestawu treningowego.

8. W obszarze przestawnym Dystrybucja można wyświetlić rozkład między zestawami trenowania i testowania. Dostępne są dwie opcje wyświetlania:

   • Łączna liczba wystąpień , w których można wyświetlić liczbę wszystkich oznaczonych etykietami wystąpień określonej klasy.
   • dokumenty z co najmniej jedną etykietą , w której każdy dokument jest liczone, jeśli zawiera co najmniej jedno wystąpienie oznaczone etykietą tej klasy.

9. Podczas etykietowania zmiany będą okresowo synchronizowane, jeśli nie zostały jeszcze zapisane, w górnej części strony zostanie wyświetlone ostrzeżenie. Jeśli chcesz zapisać ręcznie, wybierz przycisk Zapisz etykiety w dolnej części strony.

Usuwanie etykiet

Jeśli chcesz usunąć etykietę, usuń zaznaczenie przycisku obok klasy.

Usuwanie lub klasy

Aby usunąć klasę, wybierz ikonę usuwania obok klasy, którą chcesz usunąć. Usunięcie klasy spowoduje usunięcie wszystkich swoich wystąpień oznaczonych etykietą z zestawu danych.

Następne kroki

Po oznaczeniu danych etykietą możesz rozpocząć trenowanie modelu , który będzie uczyć się na podstawie danych.