Jak utworzyć niestandardowy projekt NER

Z tego artykułu dowiesz się, jak skonfigurować wymagania dotyczące rozpoczynania pracy z niestandardowym modułem NER i tworzenia projektu.

Wymagania wstępne

Przed rozpoczęciem korzystania z niestandardowego modułu NER potrzebne będą następujące elementy:

Tworzenie zasobu języka

Przed rozpoczęciem korzystania z niestandardowego modułu NER potrzebny będzie zasób języka platformy Azure. Zaleca się utworzenie zasobu language i połączenie z nim konta magazynu w Azure Portal. Utworzenie zasobu w Azure Portal umożliwia jednoczesne utworzenie konta usługi Azure Storage ze wszystkimi wymaganymi uprawnieniami. Możesz również przeczytać więcej w artykule, aby dowiedzieć się, jak używać istniejącego zasobu i skonfigurować go do pracy z niestandardowym rozpoznawaniem nazwanych jednostek.

Potrzebne będzie również konto usługi Azure Storage, na którym zostaną przekazane .txt dokumenty, które będą używane do trenowania modelu w celu wyodrębniania jednostek.

Uwaga

  • Aby utworzyć zasób języka, musisz mieć przypisaną rolę właściciela w grupie zasobów.
  • Jeśli połączysz istniejące wcześniej konto magazynu, musisz mieć przypisaną do niego rolę właściciela.

Tworzenie zasobu języka i łączenie konta magazynu

Zasób można utworzyć na następujące sposoby:

  • Witryna Azure Portal
  • Language Studio
  • PowerShell

Uwaga

Nie należy przenosić konta magazynu do innej grupy zasobów lub subskrypcji po połączeniu z zasobem Language.

Tworzenie nowego zasobu na podstawie Azure Portal

  1. Przejdź do Azure Portal, aby utworzyć nowy zasób języka platformy Azure.

  2. W wyświetlonym oknie wybierz pozycję Niestandardowa klasyfikacja & tekstu niestandardowe rozpoznawanie nazwanych jednostek z funkcji niestandardowych. Kliknij przycisk Kontynuuj, aby utworzyć zasób w dolnej części ekranu.

    Zrzut ekranu przedstawiający niestandardowe rozpoznawanie nazwanych jednostek klasyfikacji & tekstu w Azure Portal.

  3. Utwórz zasób języka, postępując zgodnie z poniższymi szczegółami.

    Nazwa Opis
    Subskrypcja Swoją subskrypcję platformy Azure.
    Grupa zasobów Grupa zasobów, która będzie zawierać zasób. Możesz użyć istniejącej lub utworzyć nową.
    Region Region zasobu language. Na przykład "Zachodnie stany USA 2".
    Nazwa Nazwa zasobu.
    Warstwa cenowa Warstwa cenowa zasobu Language. Aby wypróbować usługę, możesz użyć warstwy Bezpłatna (F0).

    Uwaga

    Jeśli zostanie wyświetlony komunikat "Twoje konto logowania nie jest właścicielem wybranej grupy zasobów konta magazynu", twoje konto musi mieć przypisaną rolę właściciela w grupie zasobów, zanim będzie można utworzyć zasób językowy. Skontaktuj się z właścicielem subskrypcji platformy Azure, aby uzyskać pomoc.

  4. W sekcji Niestandardowa klasyfikacja & tekstu niestandardowa nazwana funkcja rozpoznawania jednostek wybierz istniejące konto magazynu lub wybierz pozycję Nowe konto magazynu. Te wartości ułatwiają rozpoczęcie pracy, a niekoniecznie wartości konta magazynu , których chcesz użyć w środowiskach produkcyjnych. Aby uniknąć opóźnień podczas kompilowania projektu, połącz się z kontami magazynu w tym samym regionie co zasób języka.

    Wartość konta magazynu Zalecana wartość
    Nazwa konta magazynu Dowolna nazwa
    Typ konta magazynu Magazyn LRS w warstwie Standardowa
  5. Upewnij się, że pole odpowiedzialnego używania sztucznej inteligencji zostało zaznaczone. Wybierz pozycję Przejrzyj i utwórz w dolnej części strony, a następnie wybierz pozycję Utwórz.

Tworzenie nowego zasobu językowego w programie Language Studio

Jeśli logujesz się po raz pierwszy, zobaczysz okno w programie Language Studio , które pozwoli wybrać istniejący zasób języka lub utworzyć nowy. Zasób można również utworzyć, klikając ikonę ustawień w prawym górnym rogu, wybierając pozycję Zasoby, a następnie klikając pozycję Utwórz nowy zasób.

Utwórz zasób języka, postępując zgodnie z poniższymi szczegółami.

Szczegóły wystąpienia Wartość wymagana
Subskrypcja platformy Azure Subskrypcja platformy Azure
Grupa zasobów platformy Azure Grupa zasobów platformy Azure
Nazwa zasobu platformy Azure Nazwa zasobu platformy Azure
Lokalizacja Region zasobu Language.
Warstwa cenowa Warstwa cenowa zasobu Language.

Ważne

  • Pamiętaj, aby włączyć tożsamość zarządzaną podczas tworzenia zasobu języka.
  • Przeczytaj i potwierdź powiadomienie o odpowiedzialnej sztucznej inteligencji

Aby użyć niestandardowego rozpoznawania nazwanej jednostki, musisz utworzyć konto usługi Azure Storage , jeśli jeszcze go nie masz.

Tworzenie nowego zasobu języka przy użyciu programu PowerShell

Nowy zasób i konto magazynu można utworzyć przy użyciu następujących plików szablonu interfejsu wiersza polecenia i parametrów , które są hostowane w usłudze GitHub.

Edytuj następujące wartości w pliku parametrów:

Nazwa parametru Opis wartości
name Nazwa zasobu języka
location Region, w którym jest hostowany zasób. Aby uzyskać więcej informacji, zobacz Limity usługi.
sku Warstwa cenowa zasobu.
storageResourceName Nazwa konta magazynu
storageLocation Region, w którym jest hostowane konto magazynu.
storageSkuType Jednostka SKU konta magazynu.
storageResourceGroupName Grupa zasobów konta magazynu

Użyj następującego polecenia programu PowerShell, aby wdrożyć szablon usługi Azure Resource Manager (ARM) z edytowanymi plikami.

New-AzResourceGroupDeployment -Name ExampleDeployment -ResourceGroupName ExampleResourceGroup `
  -TemplateFile <path-to-arm-template> `
  -TemplateParameterFile <path-to-parameters-file>

Zapoznaj się z dokumentacją szablonu usługi ARM, aby uzyskać informacje na temat wdrażania szablonów i plików parametrów.

Uwaga

  • Proces łączenia konta magazynu z zasobem języka jest nieodwracalny. Nie można go później odłączyć.
  • Zasób językowy można połączyć tylko z jednym kontem magazynu.

Korzystanie z istniejącego zasobu języka

Możesz użyć istniejącego zasobu języka, aby rozpocząć pracę z niestandardowym modułem NER, o ile ten zasób spełnia poniższe wymagania:

Wymaganie Opis
Regiony Upewnij się, że istniejący zasób jest aprowizowany w jednym z obsługiwanych regionów. Jeśli nie, musisz utworzyć nowy zasób w jednym z tych regionów.
Warstwa cenowa Dowiedz się więcej o obsługiwanych warstwach cenowych.
Tożsamość zarządzana Upewnij się, że ustawienie tożsamości zarządzanej zasobu jest włączone. W przeciwnym razie przeczytaj następną sekcję.

Aby użyć niestandardowego rozpoznawania nazwanej jednostki, musisz utworzyć konto usługi Azure Storage , jeśli jeszcze go nie masz.

Włączanie zarządzania tożsamościami dla zasobu

Aby umożliwić korzystanie z Azure Portal, zasób języka musi mieć zarządzanie tożsamościami:

  1. Przejdź do zasobu języka
  2. W menu po lewej stronie w sekcji Zarządzanie zasobami wybierz pozycję Tożsamość
  3. Na karcie Przypisane przez system upewnij się, że ustawiono opcję Stan na .

Włączanie niestandardowej funkcji rozpoznawania nazwanych jednostek

Upewnij się, że włączono funkcję niestandardowej klasyfikacji tekstu/niestandardowego rozpoznawania nazwanych jednostek z Azure Portal.

  1. Przejdź do zasobu języka w usłudze Azure Portal
  2. W menu po lewej stronie w sekcji Zarządzanie zasobami wybierz pozycję Funkcje
  3. Włączanie niestandardowej klasyfikacji tekstu/niestandardowej funkcji rozpoznawania nazwanej jednostki
  4. Łączenie konta magazynu
  5. Kliknij przycisk Zastosuj

Ważne

  • Upewnij się, że zasób języka ma przypisaną rolę współautora danych obiektu blob magazynu na połączonym koncie magazynu.

Dodawanie wymaganych ról

Wykonaj poniższe kroki, aby ustawić wymagane role dla zasobu języka i konta magazynu.

Animowany obraz przedstawiający sposób ustawiania ról w Azure Portal.

Role dla zasobu języka platformy Azure

  1. Przejdź do swojego konta magazynu lub zasobu językowego w Azure Portal.

  2. Wybierz pozycję Access Control (Zarządzanie dostępem i tożsamościami) w menu nawigacji po lewej stronie.

  3. Wybierz pozycję Dodaj , aby dodać przypisania ról, a następnie wybierz odpowiednią rolę dla swojego konta.

    Musisz mieć przypisaną rolę właściciela lub współautora w zasobie Języka.

  4. W obszarze Przypisz dostęp do wybierz pozycję Użytkownik, grupa lub jednostka usługi

  5. Wybierz pozycję Wybierz członków

  6. Wybierz nazwę użytkownika. Nazwy użytkowników można wyszukać w polu Wybierz . Powtórz to dla wszystkich ról.

  7. Powtórz te kroki dla wszystkich kont użytkowników, które potrzebują dostępu do tego zasobu.

Role dla konta magazynu

  1. Przejdź do strony konta magazynu w Azure Portal.
  2. Wybierz pozycję Access Control (Zarządzanie dostępem i tożsamościami) w menu nawigacji po lewej stronie.
  3. Wybierz pozycję Dodaj , aby dodać przypisania ról, a następnie wybierz rolę współautora danych obiektu blob usługi Storage na koncie magazynu.
  4. W obszarze Przypisz dostęp do wybierz pozycję Tożsamość zarządzana.
  5. Wybierz pozycję Wybierz członków
  6. Wybierz swoją subskrypcję i język jako tożsamość zarządzaną. Nazwy użytkowników można wyszukać w polu Wybierz .

Włączanie mechanizmu CORS dla konta magazynu

Pamiętaj, aby zezwolić na metody (GET, PUT, DELETE) podczas włączania współużytkowania zasobów między źródłami (CORS). Ustaw pole dozwolonych źródeł na https://language.cognitive.azure.comwartość . Zezwalaj na wszystkie nagłówki przez dodanie * do dozwolonych wartości nagłówka i ustaw maksymalny wiek na 500wartość .

Zrzut ekranu przedstawiający sposób używania mechanizmu CORS dla kont magazynu.

Tworzenie niestandardowego projektu rozpoznawania jednostek nazwanych

Po skonfigurowaniu zasobu i kontenera magazynu utwórz nowy niestandardowy projekt NER. Projekt to obszar roboczy umożliwiający tworzenie niestandardowych modeli sztucznej inteligencji na podstawie Twoich danych. Dostęp do projektu można uzyskać tylko do Ciebie i innych osób, które mają dostęp do używanego zasobu platformy Azure. Jeśli masz etykiety danych, możesz użyć ich do rozpoczęcia pracy przez zaimportowanie projektu.

  1. Zaloguj się do programu Language Studio. Zostanie wyświetlone okno umożliwiające wybranie subskrypcji i zasobu językowego. Wybierz zasób language utworzony w powyższym kroku.

  2. W sekcji Wyodrębnij informacje w programie Language Studio wybierz pozycję Niestandardowe rozpoznawanie nazwanej jednostki.

    Zrzut ekranu przedstawiający lokalizację niestandardowego modułu NER na stronie docelowej programu Language Studio.

  3. Wybierz pozycję Utwórz nowy projekt z górnego menu na stronie projektów. Utworzenie projektu umożliwi tagowanie danych, trenowanie, ocenianie, ulepszanie i wdrażanie modeli.

    Zrzut ekranu przedstawiający stronę tworzenia projektu.

  4. Po kliknięciu pozycji Utwórz nowy projekt zostanie wyświetlone okno umożliwiające nawiązanie połączenia z kontem magazynu. Jeśli masz już połączone konto magazynu, zobaczysz, że konto magazynu zostało połączone. Jeśli nie, wybierz konto magazynu z wyświetlonej listy rozwijanej i kliknij pozycję Połącz konto magazynu; Spowoduje to ustawienie wymaganych ról dla konta magazynu. Ten krok może spowodować zwrócenie błędu, jeśli nie masz przypisanego konta magazynu jako właściciel .

    Uwaga

    • Ten krok należy wykonać tylko raz dla każdego nowego zasobu, którego używasz.
    • Ten proces jest nieodwracalny, jeśli połączysz konto magazynu z zasobem języka, nie będzie można go odłączyć później.
    • Zasób języka można połączyć tylko z jednym kontem magazynu.

    Zrzut ekranu przedstawiający ekran połączenia magazynu.

  5. Wprowadź informacje o projekcie, w tym nazwę, opis i język plików w projekcie. Jeśli używasz przykładowego zestawu danych, wybierz pozycję Angielski. Później nie będzie można zmienić nazwy projektu. Kliknij przycisk Dalej

    Porada

    Zestaw danych nie musi być całkowicie w tym samym języku. Możesz mieć wiele dokumentów, z których każdy ma różne obsługiwane języki. Jeśli zestaw danych zawiera dokumenty różnych języków lub jeśli oczekujesz tekstu z różnych języków podczas wykonywania, wybierz opcję Włącz zestaw danych wielojęzycznych po wprowadzeniu podstawowych informacji dla projektu. Tę opcję można włączyć później na stronie Ustawienia projektu .

  6. Wybierz kontener, w którym został przekazany zestaw danych. Jeśli dane zostały już oznaczone etykietą, upewnij się, że jest on zgodny z obsługiwanym formatem i kliknij przycisk Tak, moje pliki są już oznaczone etykietami i plik etykiet JSON i wybierz plik etykiet z menu rozwijanego. Kliknij przycisk Dalej.

  7. Przejrzyj wprowadzone dane i wybierz pozycję Utwórz projekt.

Importowanie projektu

Jeśli masz już oznaczone dane, możesz użyć jej do rozpoczęcia pracy z usługą. Upewnij się, że dane oznaczone etykietami są zgodne z akceptowanymi formatami danych.

  1. Zaloguj się do programu Language Studio. Zostanie wyświetlone okno umożliwiające wybranie subskrypcji i zasobu językowego. Wybierz zasób języka.

  2. W sekcji Wyodrębnij informacje w programie Language Studio wybierz pozycję Niestandardowe rozpoznawanie nazwanych jednostek.

    Zrzut ekranu przedstawiający lokalizację niestandardowej funkcji NER na stronie docelowej programu Language Studio.

  3. Wybierz pozycję Utwórz nowy projekt z górnego menu na stronie projektów. Utworzenie projektu umożliwi tagowanie danych, trenowanie, ocenianie, ulepszanie i wdrażanie modeli.

    Zrzut ekranu przedstawiający stronę tworzenia projektu.

  4. Po wybraniu pozycji Utwórz nowy projekt zostanie wyświetlony ekran umożliwiający nawiązanie połączenia z kontem magazynu. Jeśli nie możesz znaleźć konta magazynu, upewnij się, że utworzono zasób, wykonując zalecane kroki. Jeśli masz już połączone konto magazynu z zasobem Języka, zobaczysz połączenie konta magazynu.

    Uwaga

    • Ten krok należy wykonać tylko raz dla każdego nowego zasobu językowego, którego używasz.
    • Ten proces jest nieodwracalny, jeśli połączysz konto magazynu z zasobem Języka, nie możesz go rozłączyć później.
    • Zasób języka można połączyć tylko z jednym kontem magazynu.

    Zrzut ekranu przedstawiający ekran połączenia magazynu dla nowych projektów.

  5. Wprowadź informacje o projekcie, w tym nazwę, opis i język plików w projekcie. Nie będzie można później zmienić nazwy projektu. Kliknij przycisk Dalej.

    Porada

    Zestaw danych nie musi być całkowicie w tym samym języku. Możesz mieć wiele dokumentów, z których każdy ma różne obsługiwane języki. Jeśli zestaw danych zawiera dokumenty różnych języków lub jeśli oczekujesz tekstu z różnych języków podczas wykonywania, wybierz opcję włącz wielojęzyczny zestaw danych po wprowadzeniu podstawowych informacji dla projektu. Tę opcję można włączyć później na stronie Ustawienia projektu .

  6. Wybierz kontener, w którym został przekazany zestaw danych.

  7. Kliknij przycisk Tak, moje pliki są już oznaczone i mam sformatowany plik etykiet JSON i wybierz plik etykiet z menu rozwijanego poniżej, aby zaimportować plik etykiet JSON. Upewnij się, że jest on zgodny z obsługiwanym formatem.

  8. Kliknij przycisk Dalej.

  9. Przejrzyj wprowadzone dane i wybierz pozycję Utwórz projekt.

Pobieranie szczegółów projektu

  1. Przejdź do strony ustawień projektu w programie Language Studio.

  2. Szczegóły projektu można wyświetlić.

  3. Na tej stronie można zaktualizować opis projektu i włączyć/wyłączyć wielojęzyczny zestaw danych w ustawieniach projektu.

  4. Możesz również wyświetlić połączone konto magazynu i kontener do zasobu Language.

  5. Możesz również pobrać klucz zasobu podstawowego z tej strony.

    Zrzut ekranu przedstawiający stronę ustawień projektu w programie Language Studio.

Usuwanie projektu

Jeśli projekt nie jest już potrzebny, możesz usunąć projekt przy użyciu programu Language Studio. Wybierz pozycję Niestandardowe rozpoznawanie nazwanych jednostek (NER) u góry, wybierz projekt, który chcesz usunąć, a następnie kliknij pozycję Usuń w górnym menu.

Następne kroki

  • Należy zapoznać się ze schematem projektu , który będzie używany do etykietowania danych.

  • Po utworzeniu projektu możesz rozpocząć etykietowanie danych, co poinformuje model wyodrębniania jednostek, jak interpretować tekst i jest używany do trenowania i oceny.