Dołączanie zasobu wielosób usługi Azure AI do zestawu umiejętności w usłudze Azure AI Search

Podczas konfigurowania opcjonalnego potoku wzbogacania sztucznej inteligencji w usłudze Azure AI Search można bezpłatnie wzbogacić ograniczoną liczbę dokumentów. W przypadku większych i częstszych obciążeń należy dołączyć rozliczany zasób wielosób usługi Azure AI.

Zasób wielosługowy odwołuje się do zestawu usług azure AI jako oferty, a nie poszczególnych usług z dostępem udzielonym za pośrednictwem jednego klucza interfejsu API. Ten klucz jest określony w zestawie umiejętności i umożliwia firmie Microsoft naliczanie opłat za korzystanie z tych usług:

• Usługa Azure AI Vision na potrzeby analizy obrazów i optycznego rozpoznawania znaków (OCR)
• Język AI platformy Azure na potrzeby wykrywania języka, rozpoznawania jednostek, analizy tonacji i wyodrębniania kluczowych fraz
• Azure AI Speech for speech to text and text to speech (Mowa w usłudze Azure AI na potrzeby zamiany mowy na tekst i tekst na mowę)
• Usługa Azure AI Translator na potrzeby tłumaczenia tekstu maszynowego

Napiwek

Platforma Azure udostępnia infrastrukturę do monitorowania rozliczeń i budżetów. Aby uzyskać więcej informacji na temat monitorowania usług Azure AI, zobacz Planowanie kosztów usług Azure AI i zarządzanie nimi.

Ustawianie klucza zasobu

Aby dołączyć rozliczany zasób do zestawu umiejętności, możesz użyć witryny Azure Portal, interfejsu API REST lub zestawu SDK platformy Azure.

Jeśli pozostawisz właściwość nieokreśloną, usługa wyszukiwania próbuje codziennie korzystać z bezpłatnych wzbogacenia dostępnych dla indeksatora. Wykonywanie rozliczanych umiejętności zatrzymuje się na 20 transakcjach na wywołanie indeksatora, a komunikat "Przekroczenie limitu czasu" pojawia się w historii wykonywania indeksatora.

Witryna Azure Portal

1. Zaloguj się w witrynie Azure Portal.

2. Utwórz zasób wielosób usługi Azure AI w tym samym regionie co usługa wyszukiwania.

3. Dodaj klucz do definicji zestawu umiejętności:

   • W przypadku korzystania z kreatora Importuj dane wprowadź klucz w drugim kroku "Dodawanie wzbogacenia sztucznej inteligencji".

   • W przypadku dodawania klucza do nowego lub istniejącego zestawu umiejętności podaj klucz na karcie usługi Azure AI.

   

REST

1. Utwórz zasób wielosób usługi Azure AI w tym samym regionie co usługa wyszukiwania.

2. Utwórz lub zaktualizuj zestaw umiejętności, określając cognitiveServices sekcję w treści żądania zestawu umiejętności:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Zestaw SDK platformy .NET

Poniższy fragment kodu pochodzi z pliku azure-search-dotnet-samples, przyciętego do zwięzłości.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Usuwanie klucza

Wzbogacanie to operacje rozliczane. Jeśli nie musisz już wywoływać usług azure AI, postępuj zgodnie z tymi instrukcjami, aby usunąć klucz z wieloma regionami i uniemożliwić korzystanie z zasobu zewnętrznego. Bez klucza zestaw umiejętności powraca do domyślnej alokacji 20 bezpłatnych transakcji na indeksator, dziennie. Wykonywanie rozliczanych umiejętności kończy się na 20 transakcjach, a komunikat "Przekroczenie limitu czasu" pojawia się w historii wykonywania indeksatora, gdy alokacja jest używana.

Witryna Azure Portal

1. Zaloguj się do witryny Azure Portal i otwórz stronę Przegląd usługi wyszukiwania.

2. W obszarze Zestawy umiejętności wybierz zestaw umiejętności zawierający klucz, który chcesz usunąć.

   

3. Przewiń na koniec pliku.

4. Usuń klucz z formatu JSON i zapisz zestaw umiejętności.

   

REST

1. Uzyskaj zestaw umiejętności, aby mieć pełną definicję.

2. Sformułuj żądanie zestawu umiejętności aktualizacji, podając definicję JSON zestawu umiejętności.

3. Usuń klucz w treści definicji, a następnie wyślij żądanie:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Alternatywnie można ustawić wartość "cognitiveServices" na wartość null:

   "cognitiveServices": null,
   

Sposób użycia klucza

Rozliczanie oparte na kluczach ma zastosowanie, gdy wywołania interfejsu API do zasobów usług Azure AI przekraczają 20 wywołań interfejsu API na indeksator dziennie.

Klucz jest używany do rozliczeń, ale nie dla połączeń operacji wzbogacania. W przypadku połączeń usługa wyszukiwania łączy się za pośrednictwem sieci wewnętrznej z zasobem usług Azure AI znajdującym się w tym samym regionie fizycznym. Większość regionów oferujących usługę Azure AI Search oferuje również inne usługi azure AI, takie jak Język. Jeśli spróbujesz wzbogacić sztuczną inteligencję w regionie, który nie ma obu usług, zobaczysz następujący komunikat: "Podany klucz nie jest prawidłowym kluczem typu CognitiveServices dla regionu usługi wyszukiwania".

Obecnie rozliczenia za wbudowane umiejętności wymagają publicznego połączenia z usługi Azure AI Search do innej usługi Azure AI. Wyłączenie dostępu do sieci publicznej powoduje przerwanie rozliczeń. Jeśli wyłączenie sieci publicznych jest wymagane, możesz skonfigurować niestandardową umiejętność internetowego interfejsu API zaimplementowaną za pomocą funkcji platformy Azure obsługującej prywatne punkty końcowe i dodać zasób usług Azure AI do tej samej sieci wirtualnej. W ten sposób można wywołać zasób usług Azure AI bezpośrednio z poziomu niestandardowej umiejętności przy użyciu prywatnych punktów końcowych.

Uwaga

Niektóre wbudowane umiejętności są oparte na usługach sztucznej inteligencji platformy Azure innych niż regionalna (na przykład umiejętności tłumaczenia tekstu). Użycie umiejętności nieregionalnej oznacza, że żądanie może być obsługiwane w regionie innym niż region usługi Azure AI Search. Aby uzyskać więcej informacji na temat usług innych niż regionalne, zobacz stronę Produktów usług azure AI według regionów .

Kluczowe wymagania specjalne

Wyszukiwanie jednostek niestandardowych jest mierzone przez usługę Azure AI Search, a nie przez usługi Azure AI, ale wymaga klucza zasobu wielousługowego azure AI w celu odblokowania transakcji przekraczających 20 na indeksator dziennie. Tylko w przypadku tej umiejętności klucz zasobu odblokuje liczbę transakcji, ale nie ma związku z rozliczeniami.

Bezpłatne wzbogacania

Wzbogacanie sztucznej inteligencji oferuje niewielką ilość bezpłatnego przetwarzania rozliczanych wzbogaceń, dzięki czemu można wykonać krótkie ćwiczenia bez konieczności dołączania zasobu wielosłużeniowego usługi Azure AI. Bezpłatne wzbogacania to 20 dokumentów dziennie, na indeksator. Indeksator można zresetować, aby zresetować licznik, jeśli chcesz powtórzyć ćwiczenie.

Niektóre wzbogacenia są zawsze bezpłatne:

• Umiejętności narzędziowe, które nie nazywają usług Azure AI (czyli warunkowe, wyodrębnianie dokumentów, kształtowanie, scalanie tekstu i dzielenie tekstu) nie są rozliczane.

• Wyodrębnianie tekstu z dokumentów PDF i innych plików aplikacji nie jest możliwe. Wyodrębnianie tekstu, które występuje podczas pękania dokumentu, nie jest wzbogacaniem sztucznej inteligencji, ale występuje podczas wzbogacania sztucznej inteligencji i dlatego jest tutaj zanotowany.

Rozliczane wzbogacania

Podczas wzbogacania sztucznej inteligencji usługa Azure AI Search wywołuje interfejsy API usług Azure AI na potrzeby wbudowanych umiejętności opartych na usłudze Azure AI Vision, Translator i Azure AI Language.

Rozliczane wbudowane umiejętności, które tworzą wywołania zaplecza do usług sztucznej inteligencji platformy Azure, obejmują łączenie jednostek, rozpoznawanie jednostek, analizę obrazów, wyodrębnianie kluczowych fraz, wykrywanie języka, OCR, wykrywanie danych osobowych, wykrywanie, tonację i tłumaczenie tekstu.

Wyodrębnianie obrazów to operacja usługi Azure AI Search wykonywana w przypadku pęknięć dokumentów przed wzbogacaniem. Wyodrębnianie obrazów jest rozliczane we wszystkich warstwach, z wyjątkiem 20 bezpłatnych wyodrębnień dziennych w warstwie Bezpłatna. Koszty wyodrębniania obrazów dotyczą plików obrazów w obiektach blob, obrazów osadzonych w innych plikach (pdf i innych plikach aplikacji) oraz obrazów wyodrębnionych przy użyciu wyodrębniania dokumentów. Aby uzyskać cennik wyodrębniania obrazów, zobacz stronę cennika usługi Azure AI Search.

Napiwek

Aby obniżyć koszty przetwarzania zestawu umiejętności, włącz wzbogacanie przyrostowe (wersja zapoznawcza) w celu buforowania i ponownego używania wszelkich wzbogacenia, które nie mają wpływu na zmiany wprowadzone w zestawie umiejętności. Buforowanie wymaga usługi Azure Storage (zobacz cennik, ale łączny koszt wykonywania zestawu umiejętności jest niższy, jeśli istniejące wzbogacania mogą być ponownie używane, szczególnie w przypadku zestawów umiejętności korzystających z wyodrębniania i analizy obrazów).

Przykład: Szacowanie kosztów

Aby oszacować koszty związane z indeksowaniem usługi Azure AI Search, zacznij od pojęcia, jak wygląda przeciętny dokument, aby można było uruchomić kilka liczb. Możesz na przykład przybliżyć następujące elementy:

• 1000 plików PDF.
• Każda z nich to sześć stron.
• Jeden obraz na stronę (6000 obrazów).
• 3000 znaków na stronę.

Załóżmy, że potok składa się z pęknięć dokumentów każdego pliku PDF, wyodrębniania obrazów i tekstu, optycznego rozpoznawania znaków (OCR) obrazów i rozpoznawania jednostek organizacji.

Ceny przedstawione w tym artykule są hipotetyczne. Są one używane do zilustrowania procesu szacowania. Koszty mogą być niższe. Aby uzyskać rzeczywistą cenę transakcji, zobacz Cennik usług azure AI.

1. W przypadku łamania dokumentów z zawartością tekstu i obrazu wyodrębnianie tekstu jest obecnie bezpłatne. W przypadku 6000 obrazów przyjmij 1 USD za każde wyodrębnione 1000 obrazów. To koszt 6,00 USD za ten krok.

2. W przypadku rozpoznawania znaków OCR z 6000 obrazów w języku angielskim umiejętności poznawcze OCR używają najlepszego algorytmu (DescribeText). Zakładając, że koszt 2,50 USD za 1000 obrazów do przeanalizowania, zapłacisz za ten krok 15,00 USD.

3. W przypadku wyodrębniania jednostek będziesz mieć łącznie trzy rekordy tekstowe na stronę. Każdy rekord ma 1000 znaków. Trzy rekordy tekstowe na stronę pomnożone przez 6000 stron równe 18 000 rekordów tekstowych. Zakładając, że 2,00 USD za 1000 rekordów tekstowych, ten krok będzie kosztować 36,00 USD.

Łącząc to wszystko, zapłacisz około 57,00 dolarów, aby pozyskać 1000 dokumentów PDF tego typu z opisanym zestawem umiejętności.

Następne kroki

• Strona cennika usługi Azure AI Search
• Jak zdefiniować zestaw umiejętności
• Tworzenie zestawu umiejętności (REST)
• Jak mapować wzbogacone pola