Udostępnij za pośrednictwem


Szybki start: wyszukiwanie zawartości wielomodalnej w witrynie Azure Portal

W tym szybkim starcie użyjesz kreatora Importowanie i wektoryzowanie danych w portalu Azure, aby rozpocząć wyszukiwanie wielomodalne. Kreator upraszcza proces ekstrakcji, fragmentowania, wektoryzacji i ładowania zarówno tekstu, jak i obrazów do przeszukiwalnego indeksu.

W przeciwieństwie do Szybki start: wyszukiwanie wektorów w portalu Azure, który przetwarza proste obrazy zawierające tekst, ten Szybki start obsługuje zaawansowane przetwarzanie obrazów w wielomodalnych scenariuszach RAG.

W tym przewodniku szybkiego startu wykorzystuje się wielomodalny plik PDF z repozytorium azure-search-sample-data. Możesz jednak użyć innych plików i nadal wykonać ten przewodnik szybkiego startu.

Wymagania wstępne

Obsługiwane metody wyodrębniania

W przypadku wyodrębniania zawartości można wybrać domyślne wyodrębnianie za pośrednictwem usługi Azure AI Search lub ulepszone wyodrębnianie za pośrednictwem analizy dokumentów usługi Azure AI. W poniższej tabeli opisano obie metody wyodrębniania.

Metoda opis
Wyodrębnianie domyślne Wyodrębnia metadane lokalizacji tylko z obrazów PDF. Nie wymaga innego zasobu usługi Azure AI.
Ulepszona ekstrakcja Wyodrębnia metadane lokalizacji z tekstu i obrazów dla wielu typów dokumentów. Wymaga wielousługowego zasobu usługi Azure AI1 w obsługiwanym regionie.

1 Na potrzeby rozliczeń musisz dołączyć zasób wielosłużeniowy usługi Azure AI do zestawu umiejętności w usłudze Azure AI Search. Jeśli nie używasz połączenia bez klucza do utworzenia zestawu umiejętności, oba zasoby muszą znajdować się w tym samym regionie.

Obsługiwane metody osadzania

W przypadku osadzania zawartości można wybrać werbalizację obrazów (po której następuje wektoryzacja tekstu) lub osadzanie wielomodalne. Instrukcje dotyczące wdrażania modeli znajdują się w późniejszej sekcji. W poniższej tabeli opisano obie metody osadzania.

Metoda opis Obsługiwane modele
Werbalizacja obrazów Używa języka LLM do generowania opisów obrazów w języku naturalnym, a następnie używa modelu osadzania do wektoryzacji zwykłego tekstu i zwerbalizowanych obrazów.

Wymaga zasobu Azure OpenAI1, 2 lub projektu rozwiązania Azure AI Foundry.

W przypadku wektoryzacji tekstu można również użyć wielosługowego zasobu usługi Azure AI3 w obsługiwanym regionie.
LLMs:
GPT-4o
GPT-4o-mini
phi-4 4

Osadzanie modeli:
text-embedding-ada-002
osadzanie-tekstu-3-mniejsze
osadzanie tekstu —3 — duże
Wielomodalne osadzenia Używa modelu osadzania do bezpośredniego wektoryzacji tekstu i obrazów.

Wymaga projektu usługi Azure AI Foundry lub wielousługowego zasobu usługi Azure AI3 w obsługiwanym regionie.
Cohere-embed-v3-angielski
Cohere-embed-v3-wielojęzyczny

1 Punkt końcowy zasobu usługi Azure OpenAI musi mieć niestandardową poddomenę, taką jak https://my-unique-name.openai.azure.com. Jeśli zasób został utworzony w witrynie Azure Portal, ta poddomena została automatycznie wygenerowana podczas konfigurowania zasobów.

2 Zasoby usługi Azure OpenAI (z dostępem do modeli osadzania), które zostały utworzone w portalu azure AI Foundry , nie są obsługiwane. Musisz utworzyć zasób usługi Azure OpenAI w witrynie Azure Portal.

3 W celach rozliczeniowych musisz dołączyć zasób wielosłużeniowy usługi Azure AI do zestawu umiejętności w usłudze Azure AI Search. Jeśli nie używasz połączenia bez klucza (wersja zapoznawcza) do utworzenia zestawu umiejętności, oba zasoby muszą znajdować się w tym samym regionie.

4phi-4 jest dostępne tylko w projektach usługi Azure AI Foundry.

Wymagania dotyczące publicznego punktu końcowego

Wszystkie powyższe zasoby muszą mieć włączony dostęp publiczny, aby węzły witryny Azure Portal mogły uzyskiwać do nich dostęp. W przeciwnym razie kreator zakończy się niepowodzeniem. Po uruchomieniu kreatora można włączyć zapory i prywatne punkty końcowe w składnikach integracji na potrzeby zabezpieczeń. Aby uzyskać więcej informacji, zobacz Bezpieczne połączenia w kreatorach importu.

Jeśli prywatne punkty końcowe są już obecne i nie można ich wyłączyć, alternatywą jest uruchomienie odpowiedniego przepływu typu end-to-end ze skryptu lub programu na maszynie wirtualnej. Maszyna wirtualna musi znajdować się w tej samej sieci wirtualnej co prywatny punkt końcowy. Oto przykładowy kod w języku Python na potrzeby zintegrowanej wektoryzacji. To samo repozytorium GitHub zawiera przykłady w innych językach programowania.

Sprawdzanie ilości wolnego miejsca

Jeśli zaczynasz od bezpłatnej usługi, masz ograniczenie do trzech indeksów, trzech źródeł danych, trzech zestawów umiejętności i trzech indeksatorów. Przed rozpoczęciem upewnij się, że dysponujesz miejscem na dodatkowe elementy. Ten przewodnik Szybki start tworzy jeden z każdego obiektu.

Konfigurowanie dostępu

Przed rozpoczęciem upewnij się, że masz uprawnienia dostępu do zawartości i operacji. Zalecamy uwierzytelnianie za pomocą identyfikatora Entra firmy Microsoft i dostęp oparty na rolach na potrzeby autoryzacji. Aby przypisać role, musisz być właścicielem lub administratorem dostępu użytkowników . Jeśli role nie są możliwe, możesz zamiast tego użyć uwierzytelniania opartego na kluczach .

Skonfiguruj wymagane role i role warunkowe zidentyfikowane w tej sekcji.

Role wymagane

Usługa Azure AI Search i Azure Storage są wymagane dla wszystkich scenariuszy wyszukiwania wielomodalnego.

Usługa Azure AI Search udostępnia potok wielomodalny. Skonfiguruj dostęp dla siebie i swojej usługi wyszukiwania, aby odczytywać dane, uruchamiać proces przetwarzania danych i współpracować z innymi zasobami platformy Azure.

W usłudze Azure AI Search:

  1. Włącz dostęp oparty na rolach.

  2. Skonfiguruj tożsamość zarządzaną przypisaną przez system.

  3. Przypisz następujące role sobie:

    • Współautor usługi wyszukiwania

    • Współautor danych indeksu wyszukiwania

    • Czytnik danych indeksu wyszukiwania

Role warunkowe

Poniższe zakładki obejmują wszystkie zasoby zgodne z kreatorem na potrzeby wyszukiwania wielomodalnego. Wybierz tylko karty, które mają zastosowanie do wybranej metody wyodrębniania i metody osadzania.

Usługa Azure OpenAI udostępnia modele LLM do werbalizacji obrazów oraz modele osadzające na potrzeby wektoryzacji tekstu i obrazu. Usługa wyszukiwania wymaga dostępu do umiejętności wnioskowania GenAI i umiejętności osadzania Azure OpenAI.

W Twoim zasobie usługi Azure OpenAI:

Przygotowywanie przykładowych danych

W tym przewodniku Szybki start jest używany przykładowy plik PDF wielomodalny, ale możesz również użyć własnych plików. Jeśli korzystasz z bezpłatnej usługi wyszukiwania, użyj mniej niż 20 plików, aby pozostać w ramach bezpłatnego limitu przydziału na potrzeby przetwarzania wzbogacania.

Aby przygotować przykładowe dane na potrzeby tego szybkiego przewodnika:

  1. Zaloguj się do witryny Azure Portal i wybierz swoje konto usługi Azure Storage.

  2. W okienku po lewej stronie wybierz magazyn danych>Kontenery.

  3. Utwórz kontener, a następnie przekaż przykładowy plik PDF do kontenera.

  4. Utwórz inny kontener do przechowywania obrazów wyodrębnionych z pliku PDF.

Wdrażanie modeli

Asystent oferuje kilka opcji osadzania zawartości. Werbalizacja obrazów wymaga, aby LLM mógł opisywać obrazy oraz model osadzania do wektoryzacji zawartości tekstu i obrazu, podczas gdy bezpośrednie osadzanie wielomodalne wymaga tylko modelu osadzania. Te modele są dostępne za pośrednictwem usług Azure OpenAI i Azure AI Foundry.

Uwaga / Notatka

Jeśli używasz usługi Azure AI Vision, pomiń ten krok. Osadzenia wielomodalne są wbudowane w zasób wielousługowy Azure AI i nie wymagają wdrożenia modelu.

Aby wdrożyć modele na potrzeby tego przewodnika Szybki start:

  1. Zaloguj się do portalu usługi Azure AI Foundry.

  2. Wybierz zasób usługi Azure OpenAI lub projekt rozwiązania Azure AI Foundry.

  3. W okienku po lewej stronie wybierz pozycję Katalog modeli.

  4. Wdróż modele wymagane dla wybranej metody osadzania.

Uruchamianie kreatora

Aby uruchomić kreatora wyszukiwania wielomodalnego:

  1. Zaloguj się do witryny Azure Portal i wybierz usługę Azure AI Search.

  2. Na stronie Przegląd wybierz pozycję Importuj i wektoryzuj dane.

    Zrzut ekranu przedstawiający polecenie umożliwiające otwarcie kreatora na potrzeby importowania i wektoryzacji danych.

  3. Wybierz źródło danych: Azure Blob Storage lub Azure Data Lake Storage Gen2.

    Zrzut ekranu przedstawiający opcje wybierania źródła danych w kreatorze.

  4. Wybierz pozycję Wielomodalny RAG.

    Zrzut ekranu przedstawiający płytkę Multimodal RAG w kreatorze.

Nawiązywanie połączenia z danymi

Usługa Azure AI Search wymaga połączenia ze źródłem danych na potrzeby pozyskiwania i indeksowania zawartości. W takim przypadku źródłem danych jest Twoje konto usługi Azure Storage.

Jak połączyć się z danymi:

  1. Na stronie Łączenie z danymi określ subskrypcję platformy Azure.

  2. Wybierz konto magazynu i kontener, do którego przekazano przykładowe dane.

  3. Zaznacz pole wyboru Uwierzytelnij przy użyciu tożsamości zarządzanej . Pozostaw typ tożsamości przypisany przez system.

    Zrzut ekranu strony kreatora do konfigurowania połączenia danych.

  4. Wybierz Dalej.

Wyodrębnij swoją zawartość

W zależności od wybranej metody wyodrębniania kreator udostępnia opcje konfiguracji umożliwiające pękanie i fragmentowanie dokumentów.

Metoda domyślna wywołuje umiejętność wyodrębniania dokumentów w celu wyodrębnienia treści tekstowej i wygenerowania znormalizowanych obrazów z dokumentów. Następnie wywoływana jest umiejętność Dzielenia tekstu w celu podzielenia wyodrębnionej zawartości tekstowej na strony.

Aby użyć umiejętności wyodrębniania dokumentów:

  1. Na stronie Wyodrębnianie zawartości wybierz opcję Domyślne.

    Zrzut ekranu przedstawiający stronę kreatora z domyślnie wybraną metodą do wyodrębniania zawartości.

  2. Wybierz Dalej.

Osadzanie zawartości

W tym kroku kreator używa wybranej metody osadzania do generowania wektorowych reprezentacji zarówno tekstu, jak i obrazów.

Kreator wywołuje jedną umiejętność do tworzenia opisowego tekstu dla obrazów (werbalizacji obrazów) i drugą umiejętność do tworzenia wektorowych reprezentacji dla tekstu oraz obrazów.

W przypadku werbalizacji obrazów umiejętność GenAI Prompt używa wdrożonego modułu LLM do analizowania każdego wyodrębnionego obrazu i generowania opisu w języku naturalnym.

W przypadku osadzania umiejętności Azure OpenAI Embedding, umiejętności AML lub umiejętności wielomodalnych osadzania Azure AI Vision używane są wdrożone modele osadzania do konwertowania fragmentów tekstu i opisów na wektory wielowymiarowe. Te wektory umożliwiają podobieństwo i pobieranie hybrydowe.

Aby użyć umiejętności do słowizacji obrazów:

  1. Na stronie Osadzanie zawartości wybierz pozycję Zwerbalizacja obrazów.

    Zrzut ekranu z kafelka werbalizacji obrazów w kreatorze.

  2. Na karcie Zwerbalizacja obrazu :

    1. Dla tego rodzaju wybierz dostawcę LLM: modele katalogu azure OpenAI lub AI Foundry Hub.

    2. Określ subskrypcję platformy Azure, zasób i wdrożenie LLM.

    3. W polu Typ uwierzytelniania wybierz pozycję Tożsamość przypisana przez system.

    4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tych zasobów.

      Zrzut ekranu strony kreatora werbalizacji obrazów.

  3. Na karcie Wektoryzacja tekstu :

    1. Dla tego rodzaju wybierz dostawcę modelu: Modele katalogu azure OpenAI, AI Foundry Hub lub Wektoryzacja obrazów sztucznej inteligencji.

    2. Określ subskrypcję platformy Azure, zasób i wdrożenie modelu osadzania.

    3. W polu Typ uwierzytelniania wybierz pozycję Tożsamość przypisana przez system.

    4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tych zasobów.

      Zrzut ekranu przedstawiający stronę kreatora do wektoryzacji tekstu i obrazów.

  4. Wybierz Dalej.

Przechowywanie wyodrębnionych obrazów

Następnym krokiem jest wysłanie obrazów wyodrębnionych z dokumentów do usługi Azure Storage. W usłudze Azure AI Search ten magazyn pomocniczy jest nazywany magazynem wiedzy.

Aby przechowywać wyodrębnione obrazy:

  1. Na stronie Dane wyjściowe obrazu określ subskrypcję platformy Azure.

  2. Wybierz utworzone konto przechowywania i kontener obiektów blob, aby przechowywać obrazy.

  3. Zaznacz pole wyboru Uwierzytelnij przy użyciu tożsamości zarządzanej . Pozostaw typ tożsamości przypisany przez system.

    Zrzut ekranu przedstawiający stronę kreatora do przechowywania wyodrębnianych obrazów.

  4. Wybierz Dalej.

Mapowanie nowych pól

Na stronie Ustawienia zaawansowane możesz opcjonalnie dodać pola do schematu indeksu. Domyślnie kreator generuje pola opisane w poniższej tabeli.

Pole Dotyczy opis Atrybuty
identyfikator_treści Wektory tekstowe i obrazowe Pole ciągu. Klucz dokumentu dla indeksu. Możliwość pobierania, sortowania i wyszukiwania.
tytuł_dokumentu Wektory tekstowe i obrazowe Pole ciągu. Czytelny dla człowieka tytuł dokumentu. Możliwe do pobrania i przeszukiwania.
identyfikator_dokumentu_tekstowego Wektory tekstowe Pole ciągu. Identyfikuje dokument nadrzędny, z którego pochodzi fragment tekstu. Możliwe do pobrania i filtrowania.
identyfikator_dokumentu_obrazka Wektory obrazów Pole ciągu. Identyfikuje dokument nadrzędny, z którego pochodzi obraz. Możliwe do pobrania i filtrowania.
zawartość_tekstu Wektory tekstowe Pole ciągu. Czytelna dla człowieka wersja fragmentu tekstu. Możliwe do pobrania i przeszukiwania.
osadzanie_treści Wektory tekstowe i obrazowe Collection(Edm.Single). Wektorowa reprezentacja tekstu i obrazów. Możliwe do pobrania i przeszukiwania.
ścieżka_zawartości Wektory tekstowe i obrazowe Pole ciągu. Ścieżka do zawartości w kontenerze magazynowym. Możliwe do pobrania i przeszukiwania.
MetadaneLokalizacji Wektory obrazów Edm.ComplexType. Zawiera metadane dotyczące lokalizacji obrazu w dokumentach. Różni się w zależności od pola.

Nie można modyfikować wygenerowanych pól ani ich atrybutów, ale możesz dodać pola, jeśli źródło danych je udostępni. Na przykład usługa Azure Blob Storage udostępnia kolekcję pól metadanych.

Aby dodać pola do schematu indeksu:

  1. W obszarze Pola indeksu wybierz pozycję Podgląd i edytuj.

  2. Wybierz pozycję Dodaj pole.

  3. Wybierz pole źródłowe z dostępnych pól, wprowadź nazwę pola dla indeksu i zaakceptuj domyślny typ danych (lub przesłoń).

  4. Jeśli chcesz przywrócić schemat do oryginalnej wersji, wybierz pozycję Resetuj.

Indeksowanie harmonogramu

W przypadku źródeł danych, w których dane bazowe są niestabilne, można zaplanować indeksowanie w celu przechwycenia zmian w określonych interwałach lub określonych datach i godzinach.

Aby zaplanować indeksowanie:

  1. Na stronie Ustawienia zaawansowane w obszarze Planowanie indeksowania określ harmonogram uruchamiania indeksatora. Zalecamy użycie Once w tym przewodniku szybkiego startu.

    Zrzut ekranu przedstawiający stronę kreatora do planowania indeksowania.

  2. Wybierz Dalej.

Kończenie pracy kreatora

Ostatnim krokiem jest przejrzenie konfiguracji i utworzenie niezbędnych obiektów do wyszukiwania wielomodalnego. W razie potrzeby wróć do poprzednich stron kreatora konfiguracji, aby skorygować konfigurację.

Aby zakończyć pracę kreatora:

  1. Na stronie Przeglądanie i tworzenie określ prefiks dla obiektów tworzonych przez kreatora. Wspólny prefiks pomaga zachować organizację.

    Zrzut ekranu przedstawiający stronę kreatora do przeglądania i kończenia konfiguracji.

  2. Wybierz pozycję Utwórz.

Po zakończeniu konfiguracji kreator tworzy następujące obiekty:

Wskazówka

Obiekty utworzone przez kreatora mają konfigurowalne definicje JSON. Aby wyświetlić lub zmodyfikować te definicje, wybierz pozycję Zarządzanie wyszukiwaniem w okienku po lewej stronie, gdzie można wyświetlić indeksy, indeksatory, źródła danych i zestawy umiejętności.

Sprawdzanie wyników

Szybki start tworzy wielomodalny indeks, który obsługuje wyszukiwanie hybrydowe dla tekstu i obrazów. Jeśli nie używasz bezpośrednich wielomodalnych osadzeń, indeks nie akceptuje obrazów jako danych zapytania, co wymaga umiejętności AML lub umiejętności wielomodalnych osadzeń Azure AI Vision z równoważnym wektoryzatorem. Aby uzyskać więcej informacji, zobacz Konfigurowanie wektoryzatora w indeksie wyszukiwania.

Wyszukiwanie hybrydowe łączy zapytania pełnotekstowe i zapytania wektorowe. Podczas wystawiania zapytania hybrydowego aparat wyszukiwania oblicza semantyczną podobieństwo między zapytaniem a indeksowanym wektorami i odpowiednio klasyfikuje wyniki. W przypadku indeksu utworzonego w tym szybkim przewodniku, wyniki pokazują zawartość z pola content_text, która ściśle pasuje do zapytania.

Aby wysłać zapytanie do indeksu wielomodalnego:

  1. Zaloguj się do witryny Azure Portal i wybierz usługę Azure AI Search.

  2. W okienku po lewej stronie wybierz zarządzanie wyszukiwaniem>Indeksy.

  3. Wybierz indeks.

  4. Wybierz pozycję Opcje zapytania, a następnie wybierz pozycję Ukryj wartości wektorów w wynikach wyszukiwania. Ten krok sprawia, że wyniki są bardziej czytelne.

    Zrzut ekranu przedstawiający menu Opcje zapytania w Eksploratorze wyszukiwania.

  5. Wprowadź tekst, dla którego chcesz wyszukać. W naszym przykładzie wykorzystano energy.

  6. Aby uruchomić zapytanie, wybierz pozycję Wyszukaj.

    Zrzut ekranu przedstawiający przycisk Wyszukaj w Eksploratorze wyszukiwania.

    Wyniki JSON powinny zawierać tekst i zawartość obrazu powiązaną z energy w indeksie. Jeśli włączono semantyczny ranker, tablica @search.answers zapewnia zwięzłe, wysokiej pewności semantyczne odpowiedzi, aby ułatwić szybkie identyfikowanie odpowiednich dopasowań.

    "@search.answers": [
       {
          "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
          "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
          "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
          "score": 0.9950000047683716
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
          "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "score": 0.9890000224113464
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
          "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
          "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
           "score": 0.9869999885559082
       }
    ]
    

Uprzątnij zasoby

Ten przewodnik szybkiego startu wykorzystuje płatne zasoby platformy Azure. Jeśli nie potrzebujesz już zasobów, usuń je z subskrypcji, aby uniknąć naliczania opłat.

Dalsze kroki

W tym przewodniku Szybki start przedstawiono kreatora Importowanie i wektoryzowanie danych , który tworzy wszystkie niezbędne obiekty do wyszukiwania wielomodalnego. Aby szczegółowo zapoznać się z poszczególnymi krokami, zobacz następujące samouczki: