Szybki start: niestandardowe rozpoznawanie nazwanych jednostek

Artykuł
10/16/2024

Skorzystaj z tego artykułu, aby rozpocząć tworzenie niestandardowego projektu NER, w którym można trenować modele niestandardowe na potrzeby niestandardowego rozpoznawania jednostek. Model to oprogramowanie sztucznej inteligencji, które jest szkolone w celu wykonania określonego zadania. W przypadku tego systemu modele wyodrębniają nazwane jednostki i są trenowane przez uczenie się na podstawie oznakowanych danych.

W tym artykule użyjemy programu Language Studio do zademonstrowania kluczowych pojęć dotyczących niestandardowego rozpoznawania jednostek nazwanych (NER). Na przykład utworzymy niestandardowy model NER w celu wyodrębnienia odpowiednich jednostek z umów kredytowych, takich jak:

Data umowy
Imię i nazwisko kredytobiorcy, adres, miasto i stan
Imię i nazwisko kredytodawcy, adres, miasto i stan
Kwoty pożyczek i odsetek

Wymagania wstępne

Subskrypcja platformy Azure — utwórz bezpłatnie

Tworzenie nowego zasobu języka sztucznej inteligencji platformy Azure i konta usługi Azure Storage

Zanim będzie można użyć niestandardowego modułu NER, musisz utworzyć zasób języka sztucznej inteligencji platformy Azure, który zapewni poświadczenia potrzebne do utworzenia projektu i rozpoczęcia trenowania modelu. Potrzebne będzie również konto usługi Azure Storage, na którym można przekazać zestaw danych, który będzie używany do kompilowania modelu.

Ważne

Aby szybko rozpocząć pracę, zalecamy utworzenie nowego zasobu języka sztucznej inteligencji platformy Azure, wykonując kroki opisane w tym artykule. Wykonanie kroków opisanych w tym artykule pozwoli jednocześnie utworzyć zasób języka i konto magazynu, co jest łatwiejsze niż później.

Jeśli masz wcześniej istniejący zasób, którego chcesz użyć, musisz połączyć go z kontem magazynu. Aby uzyskać informacje, zobacz wskazówki dotyczące korzystania ze wstępnie istniejącego zasobu .

Tworzenie nowego zasobu w witrynie Azure Portal

Zaloguj się do witryny Azure Portal , aby utworzyć nowy zasób języka AI platformy Azure.
W wyświetlonym oknie wybierz pozycję Niestandardowa klasyfikacja tekstu i niestandardowe rozpoznawanie nazwanych jednostek z funkcji niestandardowych. Wybierz pozycję Kontynuuj, aby utworzyć zasób w dolnej części ekranu.

Utwórz zasób języka, postępując zgodnie z poniższymi szczegółami.

Nazwa/nazwisko	opis
Subskrypcja	Swoją subskrypcję platformy Azure.
Grupa zasobów	Grupa zasobów, która będzie zawierać zasób. Możesz użyć istniejącej lub utworzyć nową.
Region (Region)	Region zasobu Language. Na przykład "Zachodnie stany USA 2".
Nazwisko	Nazwa zasobu.
Warstwa cenowa	Warstwa cenowa zasobu Language. Aby wypróbować usługę, możesz użyć warstwy Bezpłatna (F0).

Uwaga

Jeśli zostanie wyświetlony komunikat "Twoje konto logowania nie jest właścicielem wybranej grupy zasobów konta magazynu", twoje konto musi mieć przypisaną rolę właściciela w grupie zasobów, zanim będzie można utworzyć zasób językowy. Skontaktuj się z właścicielem subskrypcji platformy Azure, aby uzyskać pomoc.

W sekcji Niestandardowa klasyfikacja tekstu i niestandardowe rozpoznawanie nazwanych jednostek wybierz istniejące konto magazynu lub wybierz pozycję Nowe konto magazynu. Te wartości ułatwiają rozpoczęcie pracy, a niekoniecznie wartości konta magazynu, których chcesz użyć w środowiskach produkcyjnych. Aby uniknąć opóźnień podczas kompilowania projektu, połącz się z kontami magazynu w tym samym regionie co zasób języka.

Wartość konta magazynu Zalecana wartość

Nazwa konta magazynu Dowolna nazwa

Storage account type Standardowa LRS
Upewnij się, że zaznaczono powiadomienie o odpowiedzialnej sztucznej inteligencji . Wybierz pozycję Przejrzyj i utwórz w dolnej części strony, a następnie wybierz pozycję Utwórz.

Wartość konta magazynu	Zalecana wartość
Nazwa konta magazynu	Dowolna nazwa
Storage account type	Standardowa LRS

Przekazywanie przykładowych danych do kontenera obiektów blob

Po utworzeniu konta usługi Azure Storage i połączeniu go z zasobem Language należy przekazać dokumenty z przykładowego zestawu danych do katalogu głównego kontenera. Te dokumenty będą później używane do trenowania modelu.

Pobierz przykładowy zestaw danych z usługi GitHub.
Otwórz plik .zip i wyodrębnij folder zawierający dokumenty.
W witrynie Azure Portal przejdź do utworzonego konta magazynu i wybierz je.
Na koncie magazynu wybierz pozycję Kontenery z menu po lewej stronie, znajdującym się poniżej obszaru Magazyn danych. Na wyświetlonym ekranie wybierz pozycję + Kontener. Nadaj kontenerowi nazwę example-data i pozostaw domyślny poziom dostępu publicznego.
Po utworzeniu kontenera wybierz go. Następnie wybierz przycisk Przekaż , aby wybrać .txt pobrane wcześniej pliki i .json .

Podany przykładowy zestaw danych zawiera 20 umów kredytowych. Każda umowa obejmuje dwie strony: kredytodawcę i kredytobiorcę. Możesz użyć dostarczonego pliku przykładowego, aby wyodrębnić odpowiednie informacje dla: obu stron, daty umowy, kwoty pożyczki i stopy procentowej.

Tworzenie niestandardowego projektu rozpoznawania nazwanych jednostek

Po skonfigurowaniu zasobu i konta magazynu utwórz nowy niestandardowy projekt NER. Projekt to obszar roboczy umożliwiający tworzenie niestandardowych modeli uczenia maszynowego na podstawie danych. Dostęp do projektu można uzyskać tylko do Ciebie i innych osób, które mają dostęp do używanego zasobu Language.

Zaloguj się do programu Language Studio. Zostanie wyświetlone okno umożliwiające wybranie subskrypcji i zasobu językowego. Wybierz zasób języka utworzony w powyższym kroku.
W sekcji Wyodrębnij informacje w programie Language Studio wybierz pozycję Niestandardowe rozpoznawanie nazwanych jednostek.
Wybierz pozycję Utwórz nowy projekt z górnego menu na stronie projektów. Utworzenie projektu umożliwi tagowanie danych, trenowanie, ocenianie, ulepszanie i wdrażanie modeli.
Po kliknięciu pozycji Utwórz nowy projekt zostanie wyświetlone okno umożliwiające nawiązanie połączenia z kontem magazynu. Jeśli masz już połączone konto magazynu, zobaczysz połączone konto magazynu. Jeśli nie, wybierz konto magazynu z wyświetlonej listy rozwijanej i wybierz pozycję Połącz konto magazynu. Spowoduje to ustawienie wymaganych ról dla konta magazynu. Ten krok może spowodować zwrócenie błędu, jeśli nie masz przypisanego jako właściciel konta magazynu.
Uwaga
- Ten krok należy wykonać tylko raz dla każdego nowego zasobu, którego używasz.
- Ten proces jest nieodwracalny, jeśli połączysz konto magazynu z zasobem języka, nie możesz go odłączyć później.
- Zasób języka można połączyć tylko z jednym kontem magazynu.
Wprowadź informacje o projekcie, w tym nazwę, opis i język plików w projekcie. Jeśli używasz przykładowego zestawu danych, wybierz pozycję Angielski. Nie będzie można później zmienić nazwy projektu. Wybierz Dalej

Napiwek

Zestaw danych nie musi być całkowicie w tym samym języku. Można mieć wiele dokumentów, z których każda ma różne obsługiwane języki. Jeśli zestaw danych zawiera dokumenty różnych języków lub jeśli oczekujesz tekstu z różnych języków w czasie wykonywania, wybierz opcję Włącz zestaw danych wielojęzyczny po wprowadzeniu podstawowych informacji dla projektu. Tę opcję można włączyć później na stronie Ustawienia projektu.
Wybierz kontener, w którym został przekazany zestaw danych. Jeśli dane zostały już oznaczone etykietą, upewnij się, że jest on zgodny z obsługiwanym formatem i wybierz pozycję Tak, moje pliki są już oznaczone etykietami, a plik etykiet JSON został sformatowany i wybierz plik etykiet z menu rozwijanego. Wybierz Dalej.
Przejrzyj wprowadzone dane i wybierz pozycję Utwórz projekt.

Szkolenie modelu

Zazwyczaj po utworzeniu projektu możesz zacząć oznaczać dokumenty , które masz w kontenerze połączonym z projektem. Na potrzeby tego przewodnika Szybki start zaimportowano przykładowy otagowany zestaw danych i zainicjowano projekt przy użyciu przykładowego pliku tagów JSON.

Aby rozpocząć trenowanie modelu z poziomu programu Language Studio:

Wybierz pozycję Zadania trenowania z menu po lewej stronie.
Wybierz pozycję Start a training job (Rozpocznij zadanie szkoleniowe) z górnego menu.
Wybierz pozycję Train a new model (Trenowanie nowego modelu ) i wpisz nazwę modelu w polu tekstowym. Możesz również zastąpić istniejący model , wybierając tę opcję i wybierając model, który chcesz zastąpić z menu rozwijanego. Zastępowanie wytrenowanego modelu jest nieodwracalne, ale nie wpłynie to na wdrożone modele do momentu wdrożenia nowego modelu.
Wybierz metodę dzielenia danych. Możesz wybrać opcję Automatyczne dzielenie zestawu testów z danych treningowych, w których system podzieli dane oznaczone etykietami między zestawy treningowe i testowe, zgodnie z określonymi wartościami procentowymi. Możesz też użyć ręcznego podziału danych treningowych i testowych. Ta opcja jest włączona tylko w przypadku dodania dokumentów do zestawu testów podczas etykietowania danych. Zobacz How to train a model (Jak wytrenować model ), aby uzyskać informacje na temat dzielenia danych.
Wybierz przycisk Train (Trenuj).
Jeśli wybierzesz identyfikator zadania trenowania z listy, zostanie wyświetlone okienko boczne, w którym można sprawdzić postęp trenowania, stan zadania i inne szczegóły dotyczące tego zadania.
Uwaga
- Tylko pomyślnie ukończone zadania szkoleniowe będą generować modele.
- Trenowanie może potrwać od kilku minut do kilku godzin na podstawie rozmiaru oznaczonych danych.
- Jednocześnie może być uruchomione tylko jedno zadanie trenowania. Nie można uruchomić innego zadania trenowania w tym samym projekcie, dopóki uruchomione zadanie nie zostanie ukończone.

Wdrażanie modelu

Zazwyczaj po trenowaniu modelu należy przejrzeć jego szczegóły oceny i wprowadzić ulepszenia w razie potrzeby. W tym przewodniku Szybki start wdrożysz model i udostępnisz go do wypróbowania w programie Language Studio lub możesz wywołać interfejs API przewidywania.

Aby wdrożyć model z poziomu programu Language Studio:

Wybierz pozycję Deploying a model (Wdrażanie modelu ) z menu po lewej stronie.
Wybierz pozycję Dodaj wdrożenie , aby rozpocząć nowe zadanie wdrażania.
Wybierz pozycję Utwórz nowe wdrożenie, aby utworzyć nowe wdrożenie i przypisać wytrenowany model z poniższej listy rozwijanej. Możesz również zastąpić istniejące wdrożenie , wybierając tę opcję i wybierając wytrenowany model, który chcesz przypisać do niego z listy rozwijanej poniżej.

Uwaga

Zastąpienie istniejącego wdrożenia nie wymaga zmian wywołania interfejsu API przewidywania, ale uzyskane wyniki będą oparte na nowo przypisanym modelu.
Wybierz pozycję Wdróż , aby uruchomić zadanie wdrożenia.
Po pomyślnym wdrożeniu obok zostanie wyświetlona data wygaśnięcia. Wygaśnięcie wdrożenia jest wtedy, gdy wdrożony model będzie niedostępny do przewidywania, co zwykle występuje dwanaście miesięcy po wygaśnięciu konfiguracji trenowania.

Testowanie modelu

Po wdrożeniu modelu możesz zacząć używać go do wyodrębniania jednostek z tekstu za pomocą interfejsu API przewidywania. W tym przewodniku Szybki start użyjesz programu Language Studio , aby przesłać zadanie rozpoznawania jednostek niestandardowych i zwizualizować wyniki. W pobranym wcześniej przykładowym zestawie danych możesz znaleźć niektóre dokumenty testowe, których można użyć w tym kroku.

Aby przetestować wdrożone modele z poziomu programu Language Studio:

Wybierz pozycję Testowanie wdrożeń z menu po lewej stronie.
Wybierz wdrożenie, które chcesz przetestować. Można testować tylko modele przypisane do wdrożeń.
W przypadku projektów wielojęzycznych z listy rozwijanej języka wybierz język testowego tekstu.
Wybierz wdrożenie, które chcesz wykonać zapytanie/testowanie z listy rozwijanej.
Możesz wprowadzić tekst, który chcesz przesłać do żądania lub przekazać .txt plik do użycia.
Wybierz pozycję Uruchom test z górnego menu.
Na karcie Wynik można zobaczyć wyodrębnione jednostki z tekstu i ich typów. Odpowiedź JSON można również wyświetlić na karcie JSON .

Czyszczenie zasobów

Jeśli projekt nie jest już potrzebny, możesz usunąć projekt przy użyciu programu Language Studio. Wybierz pozycję Niestandardowe rozpoznawanie nazwanych jednostek (NER) u góry, wybierz projekt, który chcesz usunąć, a następnie wybierz pozycję Usuń z górnego menu.

Wymagania wstępne

Subskrypcja platformy Azure — utwórz bezpłatnie

Tworzenie nowego zasobu języka sztucznej inteligencji platformy Azure i konta usługi Azure Storage

Ważne

Aby szybko rozpocząć pracę, zalecamy utworzenie nowego zasobu języka sztucznej inteligencji platformy Azure, wykonując kroki opisane w tym artykule, które umożliwią utworzenie zasobu języka oraz utworzenie i/lub połączenie konta magazynu w tym samym czasie, co jest łatwiejsze niż późniejsze.

Jeśli masz wcześniej istniejący zasób, którego chcesz użyć, musisz połączyć go z kontem magazynu. Aby uzyskać informacje, zobacz tworzenie projektu .

Tworzenie nowego zasobu w witrynie Azure Portal

Zaloguj się do witryny Azure Portal , aby utworzyć nowy zasób języka AI platformy Azure.
W wyświetlonym oknie wybierz pozycję Niestandardowa klasyfikacja tekstu i niestandardowe rozpoznawanie nazwanych jednostek z funkcji niestandardowych. Wybierz pozycję Kontynuuj, aby utworzyć zasób w dolnej części ekranu.

Utwórz zasób języka, postępując zgodnie z poniższymi szczegółami.

Nazwa/nazwisko	opis
Subskrypcja	Swoją subskrypcję platformy Azure.
Grupa zasobów	Grupa zasobów, która będzie zawierać zasób. Możesz użyć istniejącej lub utworzyć nową.
Region (Region)	Region zasobu Language. Na przykład "Zachodnie stany USA 2".
Nazwisko	Nazwa zasobu.
Warstwa cenowa	Warstwa cenowa zasobu Language. Aby wypróbować usługę, możesz użyć warstwy Bezpłatna (F0).

Uwaga

W sekcji Niestandardowa klasyfikacja tekstu i niestandardowe rozpoznawanie nazwanych jednostek wybierz istniejące konto magazynu lub wybierz pozycję Nowe konto magazynu. Te wartości ułatwiają rozpoczęcie pracy, a niekoniecznie wartości konta magazynu, których chcesz użyć w środowiskach produkcyjnych. Aby uniknąć opóźnień podczas kompilowania projektu, połącz się z kontami magazynu w tym samym regionie co zasób języka.

Wartość konta magazynu Zalecana wartość

Nazwa konta magazynu Dowolna nazwa

Storage account type Standardowa LRS
Upewnij się, że zaznaczono powiadomienie o odpowiedzialnej sztucznej inteligencji . Wybierz pozycję Przejrzyj i utwórz w dolnej części strony, a następnie wybierz pozycję Utwórz.

Wartość konta magazynu	Zalecana wartość
Nazwa konta magazynu	Dowolna nazwa
Storage account type	Standardowa LRS

Przekazywanie przykładowych danych do kontenera obiektów blob

Pobierz przykładowy zestaw danych z usługi GitHub.
Otwórz plik .zip i wyodrębnij folder zawierający dokumenty.
W witrynie Azure Portal przejdź do utworzonego konta magazynu i wybierz je.
Na koncie magazynu wybierz pozycję Kontenery z menu po lewej stronie, znajdującym się poniżej obszaru Magazyn danych. Na wyświetlonym ekranie wybierz pozycję + Kontener. Nadaj kontenerowi nazwę example-data i pozostaw domyślny poziom dostępu publicznego.
Po utworzeniu kontenera wybierz go. Następnie wybierz przycisk Przekaż , aby wybrać .txt pobrane wcześniej pliki i .json .

Pobieranie kluczy zasobów i punktu końcowego

Przejdź do strony przeglądu zasobu w witrynie Azure Portal
Z menu po lewej stronie wybierz pozycję Klucze i punkt końcowy. Użyjesz punktu końcowego i klucza dla żądań interfejsu API

Tworzenie niestandardowego projektu NER

Użyj pliku tagów pobranego z przykładowych danych w poprzednim kroku i dodaj go do treści następującego żądania.

Wyzwalanie zadania importowania projektu

Prześlij żądanie POST przy użyciu następującego adresu URL, nagłówków i treści JSON, aby zaimportować plik etykiet. Upewnij się, że plik etykiet jest zgodne z akceptowanym formatem.

Jeśli projekt o tej samej nazwie już istnieje, dane tego projektu zostaną zastąpione.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/:import?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść

Użyj następującego kodu JSON w żądaniu. Zastąp poniższe wartości symboli zastępczych własnymi wartościami.

{
    "projectFileVersion": "{API-VERSION}",
    "stringIndexType": "Utf16CodeUnit",
    "metadata": {
        "projectName": "{PROJECT-NAME}",
        "projectKind": "CustomEntityRecognition",
        "description": "Trying out custom NER",
        "language": "{LANGUAGE-CODE}",
        "multilingual": true,
        "storageInputContainerName": "{CONTAINER-NAME}",
        "settings": {}
    },
    "assets": {
    "projectKind": "CustomEntityRecognition",
        "entities": [
            {
                "category": "Entity1"
            },
            {
                "category": "Entity2"
            }
        ],
        "documents": [
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 500,
                        "labels": [
                            {
                                "category": "Entity1",
                                "offset": 25,
                                "length": 10
                            },
                            {
                                "category": "Entity2",
                                "offset": 120,
                                "length": 8
                            }
                        ]
                    }
                ]
            },
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 100,
                        "labels": [
                            {
                                "category": "Entity2",
                                "offset": 20,
                                "length": 5
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

Klucz	Symbol zastępczy	Wartość	Przykład
`api-version`	`{API-VERSION}`	Wersja wywoływanego interfejsu API. Używana tutaj wersja musi być tą samą wersją interfejsu API w adresie URL. Dowiedz się więcej o innych dostępnych wersjach interfejsu API	`2022-03-01-preview`
`projectName`	`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`projectKind`	`CustomEntityRecognition`	Rodzaj projektu.	`CustomEntityRecognition`
`language`	`{LANGUAGE-CODE}`	Ciąg określający kod języka dokumentów używanych w projekcie. Jeśli projekt jest projektem wielojęzycznym, wybierz kod języka większości dokumentów.	`en-us`
`multilingual`	`true`	Wartość logiczna, która umożliwia posiadanie dokumentów w wielu językach w zestawie danych, a po wdrożeniu modelu można wykonywać zapytania względem modelu w dowolnym obsługiwanym języku (niekoniecznie zawarte w dokumentach szkoleniowych. Aby uzyskać informacje na temat obsługi wielojęzycznej, zobacz obsługa języków.	`true`
`storageInputContainerName`	{CONTAINER-NAME}	Nazwa kontenera usługi Azure Storage, w którym zostały przekazane dokumenty.	`myContainer`
`entities`		Tablica zawierająca wszystkie typy jednostek, które znajdują się w projekcie. Są to typy jednostek, które zostaną wyodrębnione z dokumentów.
`documents`		Tablica zawierająca wszystkie dokumenty w projekcie i listę jednostek oznaczonych w każdym dokumencie.	[]
`location`	`{DOCUMENT-NAME}`	Lokalizacja dokumentów w kontenerze magazynu. Ponieważ wszystkie dokumenty znajdują się w katalogu głównym kontenera, powinien to być nazwa dokumentu.	`doc1.txt`
`dataset`	`{DATASET}`	Zestaw testowy, do którego ten plik zostanie podzielony przed rozpoczęciem trenowania. Aby uzyskać więcej informacji na temat podziału danych, zobacz Jak wytrenować model . Możliwe wartości dla tego pola to `Train` i `Test`.	`Train`

Po wysłaniu żądania interfejsu API otrzymasz odpowiedź wskazującą 202 , że zadanie zostało przesłane poprawnie. W nagłówkach odpowiedzi wyodrębnij operation-location wartość. Zostanie on sformatowany w następujący sposób:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} służy do identyfikowania żądania, ponieważ ta operacja jest asynchroniczna. Użyjesz tego adresu URL, aby uzyskać stan zadania importu.

Możliwe scenariusze błędów dla tego żądania:

Wybrany zasób nie ma odpowiednich uprawnień dla konta magazynu.
Określona storageInputContainerName wartość nie istnieje.
Jest używany nieprawidłowy kod języka lub jeśli typ kodu języka nie jest ciągiem.
multilingual wartość jest ciągiem, a nie wartością logiczną.

Pobieranie stanu zadania importu

Użyj następującego żądania GET , aby uzyskać stan importowania projektu. Zastąp poniższe wartości symboli zastępczych własnymi wartościami.

Adres URL żądania

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{JOB-ID}`	Identyfikator lokalizowania stanu trenowania modelu. Ta wartość znajduje się w wartości nagłówka `location` otrzymanej w poprzednim kroku.	`xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Szkolenie modelu

Rozpoczynanie zadania szkoleniowego

Po zaimportowaniu projektu możesz rozpocząć trenowanie modelu.

Prześlij żądanie POST przy użyciu następującego adresu URL, nagłówków i treści JSON, aby przesłać zadanie szkoleniowe. Zastąp poniższe wartości symboli zastępczych własnymi wartościami.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść żądania

Użyj następującego kodu JSON w treści żądania. Model zostanie podany po zakończeniu {MODEL-NAME} trenowania. Tylko pomyślne zadania szkoleniowe będą tworzyć modele.

{
	"modelLabel": "{MODEL-NAME}",
	"trainingConfigVersion": "{CONFIG-VERSION}",
	"evaluationOptions": {
		"kind": "percentage",
		"trainingSplitPercentage": 80,
		"testingSplitPercentage": 20
	}
}

Klucz	Symbol zastępczy	Wartość	Przykład
modelLabel	`{MODEL-NAME}`	Nazwa modelu, która zostanie przypisana do modelu po pomyślnym wytrenowanym.	`myModel`
trainingConfigVersion	`{CONFIG-VERSION}`	Jest to wersja modelu, która będzie używana do trenowania modelu.	`2022-05-01`
evaluationOptions		Opcja dzielenia danych między zestawy trenowania i testowania.	`{}`
kind	`percentage`	Metody podzielone. Możliwe wartości to `percentage` lub `manual`. Aby uzyskać więcej informacji, zobacz Jak wytrenować model .	`percentage`
trainingSplitPercentage	`80`	Procent oznakowanych danych, które mają zostać uwzględnione w zestawie treningowym. Zalecana wartość to `80`.	`80`
testingSplitPercentage	`20`	Procent oznakowanych danych, które mają zostać uwzględnione w zestawie testów. Zalecana wartość to `20`.	`20`

Uwaga

Wartości trainingSplitPercentage i testingSplitPercentage są wymagane tylko wtedy, gdy Kind jest ustawiona wartość percentage , a suma obu wartości procentowych powinna być równa 100.

Po wysłaniu żądania interfejsu API otrzymasz odpowiedź wskazującą 202 , że zadanie zostało przesłane poprawnie. W nagłówkach odpowiedzi wyodrębnij location wartość. Zostanie on sformatowany w następujący sposób:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} służy do identyfikowania żądania, ponieważ ta operacja jest asynchroniczna. Możesz użyć tego adresu URL, aby uzyskać stan trenowania.

Uzyskiwanie stanu zadania szkoleniowego

Trenowanie może potrwać od 10 do 30 minut dla tego przykładowego zestawu danych. Następujące żądanie umożliwia kontynuowanie sondowania stanu zadania szkoleniowego do momentu pomyślnego ukończenia zadania.

Użyj następującego żądania GET , aby uzyskać stan postępu trenowania modelu. Zastąp poniższe wartości symboli zastępczych własnymi wartościami.

Adres URL żądania

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{JOB-ID}`	Identyfikator lokalizowania stanu trenowania modelu. Ta wartość znajduje się w wartości nagłówka `location` otrzymanej w poprzednim kroku.	`xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść odpowiedzi

Po wysłaniu żądania otrzymasz następującą odpowiedź.

{
  "result": {
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "{JOB-ID}",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Wdrażanie modelu

Zazwyczaj po trenowaniu modelu należy przejrzeć jego szczegóły oceny i w razie potrzeby wprowadzić ulepszenia. W tym przewodniku Szybki start wdrożysz model i udostępnisz go do wypróbowania w programie Language Studio lub możesz wywołać interfejs API przewidywania.

Uruchamianie zadania wdrożenia

Prześlij żądanie PUT przy użyciu następującego adresu URL, nagłówków i treści JSON, aby przesłać zadanie wdrożenia. Zastąp poniższe wartości symboli zastępczych własnymi wartościami.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/deployments/{deploymentName}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{DEPLOYMENT-NAME}`	Nazwa wdrożenia. Ta wartość jest uwzględniana w wielkości liter.	`staging`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść żądania

Użyj następującego kodu JSON w treści żądania. Użyj nazwy modelu, który chcesz przypisać do wdrożenia.

{
  "trainedModelLabel": "{MODEL-NAME}"
}

Klucz	Symbol zastępczy	Wartość	Przykład
trainedModelLabel	`{MODEL-NAME}`	Nazwa modelu, która zostanie przypisana do wdrożenia. Można przypisywać tylko pomyślnie wytrenowane modele. Ta wartość jest uwzględniana w wielkości liter.	`myModel`

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} służy do identyfikowania żądania, ponieważ ta operacja jest asynchroniczna. Możesz użyć tego adresu URL, aby uzyskać stan wdrożenia.

Pobieranie stanu zadania wdrożenia

Użyj następującego żądania GET , aby wykonać zapytanie dotyczące stanu zadania wdrożenia. Możesz użyć adresu URL otrzymanego z poprzedniego kroku lub zastąpić poniższe wartości symboli zastępczych własnymi wartościami.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{DEPLOYMENT-NAME}`	Nazwa wdrożenia. Ta wartość jest uwzględniana w wielkości liter.	`staging`
`{JOB-ID}`	Identyfikator lokalizowania stanu trenowania modelu. Jest to wartość nagłówka `location` otrzymana w poprzednim kroku.	`xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
`Ocp-Apim-Subscription-Key`	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść odpowiedzi

Po wysłaniu żądania otrzymasz następującą odpowiedź. Nie sonduj tego punktu końcowego , dopóki parametr stanu nie zmieni się na "powodzenie". Powinien zostać wyświetlony 200 kod wskazujący powodzenie żądania.

{
    "jobId":"{JOB-ID}",
    "createdDateTime":"{CREATED-TIME}",
    "lastUpdatedDateTime":"{UPDATED-TIME}",
    "expirationDateTime":"{EXPIRATION-TIME}",
    "status":"running"
}

Wyodrębnianie jednostek niestandardowych

Po wdrożeniu modelu możesz zacząć używać go do wyodrębniania jednostek z tekstu przy użyciu interfejsu API przewidywania. W pobranym wcześniej przykładowym zestawie danych można znaleźć niektóre dokumenty testowe, których można użyć w tym kroku.

Przesyłanie niestandardowego zadania NER

Użyj tego żądania POST , aby uruchomić zadanie klasyfikacji tekstu.

{ENDPOINT}/language/analyze-text/jobs?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Key	Wartość
Ocp-Apim-Subscription-Key	Klucz, który zapewnia dostęp do tego interfejsu API.

Treść

{
  "displayName": "Extracting entities",
  "analysisInput": {
    "documents": [
      {
        "id": "1",
        "language": "{LANGUAGE-CODE}",
        "text": "Text1"
      },
      {
        "id": "2",
        "language": "{LANGUAGE-CODE}",
        "text": "Text2"
      }
    ]
  },
  "tasks": [
     {
      "kind": "CustomEntityRecognition",
      "taskName": "Entity Recognition",
      "parameters": {
        "projectName": "{PROJECT-NAME}",
        "deploymentName": "{DEPLOYMENT-NAME}"
      }
    }
  ]
}

Klucz	Symbol zastępczy	Wartość	Przykład
`displayName`	`{JOB-NAME}`	Nazwa zadania.	`MyJobName`
`documents`	[{},{}]	Lista dokumentów do uruchamiania zadań podrzędnych.	`[{},{}]`
`id`	`{DOC-ID}`	Nazwa lub identyfikator dokumentu.	`doc1`
`language`	`{LANGUAGE-CODE}`	Ciąg określający kod języka dokumentu. Jeśli ten klucz nie zostanie określony, usługa przyjmie domyślny język projektu wybranego podczas tworzenia projektu. Aby uzyskać listę obsługiwanych kodów języków, zobacz Obsługa języków.	`en-us`
`text`	`{DOC-TEXT}`	Dokumentowanie zadania podrzędnego do uruchamiania zadań podrzędnych.	`Lorem ipsum dolor sit amet`
`tasks`		Lista zadań, które chcemy wykonać.	`[]`
`taskName`	`CustomEntityRecognition`	Nazwa zadania	CustomEntityRecognition
`parameters`		Lista parametrów do przekazania do zadania.
`project-name`	`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`deployment-name`	`{DEPLOYMENT-NAME}`	Nazwa wdrożenia. Ta wartość jest uwzględniana w wielkości liter.	`prod`

Response

Otrzymasz odpowiedź z 202 r. wskazującą, że zadanie zostało pomyślnie przesłane. W nagłówkach odpowiedzi wyodrębnij element operation-location. operation-location jest sformatowany w następujący sposób:

{ENDPOINT}/language/analyze-text/jobs/{JOB-ID}?api-version={API-VERSION}

Możesz użyć tego adresu URL, aby wykonać zapytanie dotyczące stanu ukończenia zadania i uzyskać wyniki po zakończeniu zadania.

Pobieranie wyników zadania

Użyj następującego żądania GET , aby wykonać zapytanie dotyczące stanu/wyników zadania niestandardowego rozpoznawania jednostek.

{ENDPOINT}/language/analyze-text/jobs/{JOB-ID}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Key	Wartość
Ocp-Apim-Subscription-Key	Klucz, który zapewnia dostęp do tego interfejsu API.

Treść odpowiedzi

Odpowiedź będzie dokumentem JSON z następującymi parametrami

{
  "createdDateTime": "2021-05-19T14:32:25.578Z",
  "displayName": "MyJobName",
  "expirationDateTime": "2021-05-19T14:32:25.578Z",
  "jobId": "xxxx-xxxx-xxxxx-xxxxx",
  "lastUpdateDateTime": "2021-05-19T14:32:25.578Z",
  "status": "succeeded",
  "tasks": {
    "completed": 1,
    "failed": 0,
    "inProgress": 0,
    "total": 1,
    "items": [
      {
        "kind": "EntityRecognitionLROResults",
        "taskName": "Recognize Entities",
        "lastUpdateDateTime": "2020-10-01T15:01:03Z",
        "status": "succeeded",
        "results": {
          "documents": [
            {
              "entities": [
                {
                  "category": "Event",
                  "confidenceScore": 0.61,
                  "length": 4,
                  "offset": 18,
                  "text": "trip"
                },
                {
                  "category": "Location",
                  "confidenceScore": 0.82,
                  "length": 7,
                  "offset": 26,
                  "subcategory": "GPE",
                  "text": "Seattle"
                },
                {
                  "category": "DateTime",
                  "confidenceScore": 0.8,
                  "length": 9,
                  "offset": 34,
                  "subcategory": "DateRange",
                  "text": "last week"
                }
              ],
              "id": "1",
              "warnings": []
            }
          ],
          "errors": [],
          "modelVersion": "2020-04-01"
        }
      }
    ]
  }
}

Czyszczenie zasobów

Jeśli projekt nie jest już potrzebny, możesz go usunąć za pomocą następującego żądania DELETE . Zastąp wartości symboli zastępczych własnymi wartościami.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
`{ENDPOINT}`	Punkt końcowy do uwierzytelniania żądania interfejsu API.	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	`myProject`
`{API-VERSION}`	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu, aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	`2022-05-01`

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Key	Wartość
Ocp-Apim-Subscription-Key	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Po wysłaniu żądania interfejsu API otrzymasz odpowiedź wskazującą 202 powodzenie, co oznacza, że projekt został usunięty. Wyniki pomyślnego wywołania z nagłówkiem Operation-Location służącym do sprawdzania stanu zadania.

Następne kroki

Po utworzeniu modelu wyodrębniania jednostek można wykonywać następujące czynności:

Wyodrębnianie jednostek przy użyciu interfejsu API środowiska uruchomieniowego

Po rozpoczęciu tworzenia własnych niestandardowych projektów NER skorzystaj z artykułów z instrukcjami, aby dowiedzieć się więcej na temat tagowania, trenowania i używania modelu w bardziej szczegółowy sposób:

Udostępnij za pośrednictwem

Szybki start: niestandardowe rozpoznawanie nazwanych jednostek

Wymagania wstępne

Tworzenie nowego zasobu języka sztucznej inteligencji platformy Azure i konta usługi Azure Storage

Tworzenie nowego zasobu w witrynie Azure Portal

Przekazywanie przykładowych danych do kontenera obiektów blob

Tworzenie niestandardowego projektu rozpoznawania nazwanych jednostek

Szkolenie modelu

Wdrażanie modelu

Testowanie modelu

Czyszczenie zasobów

Wymagania wstępne

Tworzenie nowego zasobu języka sztucznej inteligencji platformy Azure i konta usługi Azure Storage

Tworzenie nowego zasobu w witrynie Azure Portal

Przekazywanie przykładowych danych do kontenera obiektów blob

Pobieranie kluczy zasobów i punktu końcowego

Tworzenie niestandardowego projektu NER

Wyzwalanie zadania importowania projektu

Nagłówki

Treść

Pobieranie stanu zadania importu

Adres URL żądania

Nagłówki

Szkolenie modelu

Rozpoczynanie zadania szkoleniowego

Nagłówki

Treść żądania

Uzyskiwanie stanu zadania szkoleniowego

Adres URL żądania

Nagłówki

Treść odpowiedzi

Wdrażanie modelu

Uruchamianie zadania wdrożenia

Nagłówki

Treść żądania

Pobieranie stanu zadania wdrożenia

Nagłówki

Treść odpowiedzi

Wyodrębnianie jednostek niestandardowych

Przesyłanie niestandardowego zadania NER

Nagłówki

Treść

Response

Pobieranie wyników zadania

Nagłówki

Treść odpowiedzi

Czyszczenie zasobów

Nagłówki

Następne kroki

Opinia

Dodatkowe zasoby