Szybki start: wyszukiwanie zawartości wielomodalnej w witrynie Azure Portal

W tym szybkim starcie użyjesz kreatora Importowanie i wektoryzowanie danych w portalu Azure, aby rozpocząć wyszukiwanie wielomodalne. Kreator upraszcza proces ekstrakcji, fragmentowania, wektoryzacji i ładowania zarówno tekstu, jak i obrazów do przeszukiwalnego indeksu.

W przeciwieństwie do Szybki start: wyszukiwanie wektorów w portalu Azure, który przetwarza proste obrazy zawierające tekst, ten Szybki start obsługuje zaawansowane przetwarzanie obrazów w wielomodalnych scenariuszach RAG.

W tym przewodniku szybkiego startu wykorzystuje się wielomodalny plik PDF z repozytorium azure-search-sample-data. Możesz jednak użyć innych plików i nadal wykonać ten przewodnik szybkiego startu.

Wymagania wstępne

• Konto Azure z aktywną subskrypcją. Utwórz konto bezpłatnie.

• Usługa Azure AI Search. Zalecamy warstwę Podstawowa lub nowszą.

• Konto usługi Azure Storage. Użyj usługi Azure Blob Storage lub Azure Data Lake Storage Gen2 (konta magazynu z hierarchiczną przestrzenią nazw) na koncie o standardowej wydajności (ogólnego przeznaczenia w wersji 2). Poziomy dostępu mogą być gorące, chłodne lub zimne.

• Obsługiwana metoda ekstrakcji.

• Obsługiwana metoda osadzania.

• Znajomość kreatora. Zobacz Kreatory importu danych w portalu Azure.

Obsługiwane metody wyodrębniania

W przypadku wyodrębniania zawartości można wybrać domyślne wyodrębnianie za pośrednictwem usługi Azure AI Search lub ulepszone wyodrębnianie za pośrednictwem analizy dokumentów usługi Azure AI. W poniższej tabeli opisano obie metody wyodrębniania.

Metoda	opis
Wyodrębnianie domyślne	Wyodrębnia metadane lokalizacji tylko z obrazów PDF. Nie wymaga innego zasobu usługi Azure AI.
Ulepszona ekstrakcja	Wyodrębnia metadane lokalizacji z tekstu i obrazów dla wielu typów dokumentów. Wymaga wielousługowego zasobu usługi Azure AI1 w obsługiwanym regionie.

¹ Na potrzeby rozliczeń musisz dołączyć zasób wielosłużeniowy usługi Azure AI do zestawu umiejętności w usłudze Azure AI Search. Jeśli nie używasz połączenia bez klucza do utworzenia zestawu umiejętności, oba zasoby muszą znajdować się w tym samym regionie.

Obsługiwane metody osadzania

W przypadku osadzania zawartości można wybrać werbalizację obrazów (po której następuje wektoryzacja tekstu) lub osadzanie wielomodalne. Instrukcje dotyczące wdrażania modeli znajdują się w późniejszej sekcji. W poniższej tabeli opisano obie metody osadzania.

Metoda	opis	Obsługiwane modele
Werbalizacja obrazów	Używa języka LLM do generowania opisów obrazów w języku naturalnym, a następnie używa modelu osadzania do wektoryzacji zwykłego tekstu i zwerbalizowanych obrazów. Wymaga zasobu Azure OpenAI1, 2 lub projektu rozwiązania Azure AI Foundry. W przypadku wektoryzacji tekstu można również użyć wielosługowego zasobu usługi Azure AI3 w obsługiwanym regionie.	LLMs: GPT-4o GPT-4o-mini phi-4 4 Osadzanie modeli: text-embedding-ada-002 osadzanie-tekstu-3-mniejsze osadzanie tekstu —3 — duże
Wielomodalne osadzenia	Używa modelu osadzania do bezpośredniego wektoryzacji tekstu i obrazów. Wymaga projektu usługi Azure AI Foundry lub wielousługowego zasobu usługi Azure AI3 w obsługiwanym regionie.	Cohere-embed-v3-angielski Cohere-embed-v3-wielojęzyczny

¹ Punkt końcowy zasobu usługi Azure OpenAI musi mieć niestandardową poddomenę, taką jak https://my-unique-name.openai.azure.com. Jeśli zasób został utworzony w witrynie Azure Portal, ta poddomena została automatycznie wygenerowana podczas konfigurowania zasobów.

² Zasoby usługi Azure OpenAI (z dostępem do modeli osadzania), które zostały utworzone w portalu azure AI Foundry , nie są obsługiwane. Musisz utworzyć zasób usługi Azure OpenAI w witrynie Azure Portal.

³ W celach rozliczeniowych musisz dołączyć zasób wielosłużeniowy usługi Azure AI do zestawu umiejętności w usłudze Azure AI Search. Jeśli nie używasz połączenia bez klucza (wersja zapoznawcza) do utworzenia zestawu umiejętności, oba zasoby muszą znajdować się w tym samym regionie.

⁴phi-4 jest dostępne tylko w projektach usługi Azure AI Foundry.

Wymagania dotyczące publicznego punktu końcowego

Wszystkie powyższe zasoby muszą mieć włączony dostęp publiczny, aby węzły witryny Azure Portal mogły uzyskiwać do nich dostęp. W przeciwnym razie kreator zakończy się niepowodzeniem. Po uruchomieniu kreatora można włączyć zapory i prywatne punkty końcowe w składnikach integracji na potrzeby zabezpieczeń. Aby uzyskać więcej informacji, zobacz Bezpieczne połączenia w kreatorach importu.

Jeśli prywatne punkty końcowe są już obecne i nie można ich wyłączyć, alternatywą jest uruchomienie odpowiedniego przepływu typu end-to-end ze skryptu lub programu na maszynie wirtualnej. Maszyna wirtualna musi znajdować się w tej samej sieci wirtualnej co prywatny punkt końcowy. Oto przykładowy kod w języku Python na potrzeby zintegrowanej wektoryzacji. To samo repozytorium GitHub zawiera przykłady w innych językach programowania.

Sprawdzanie ilości wolnego miejsca

Jeśli zaczynasz od bezpłatnej usługi, masz ograniczenie do trzech indeksów, trzech źródeł danych, trzech zestawów umiejętności i trzech indeksatorów. Przed rozpoczęciem upewnij się, że dysponujesz miejscem na dodatkowe elementy. Ten przewodnik Szybki start tworzy jeden z każdego obiektu.

Konfigurowanie dostępu

Przed rozpoczęciem upewnij się, że masz uprawnienia dostępu do zawartości i operacji. Zalecamy uwierzytelnianie za pomocą identyfikatora Entra firmy Microsoft i dostęp oparty na rolach na potrzeby autoryzacji. Aby przypisać role, musisz być właścicielem lub administratorem dostępu użytkowników . Jeśli role nie są możliwe, możesz zamiast tego użyć uwierzytelniania opartego na kluczach .

Skonfiguruj wymagane role i role warunkowe zidentyfikowane w tej sekcji.

Role wymagane

Usługa Azure AI Search i Azure Storage są wymagane dla wszystkich scenariuszy wyszukiwania wielomodalnego.

Azure AI Search

Usługa Azure AI Search udostępnia potok wielomodalny. Skonfiguruj dostęp dla siebie i swojej usługi wyszukiwania, aby odczytywać dane, uruchamiać proces przetwarzania danych i współpracować z innymi zasobami platformy Azure.

W usłudze Azure AI Search:

1. Włącz dostęp oparty na rolach.

2. Skonfiguruj tożsamość zarządzaną przypisaną przez system.

3. Przypisz następujące role sobie:

   • Współautor usługi wyszukiwania

   • Współautor danych indeksu wyszukiwania

   • Czytnik danych indeksu wyszukiwania

Azure Storage

Usługa Azure Storage jest zarówno źródłem danych dla dokumentów, jak i miejscem docelowym wyodrębnionych obrazów. Usługa wyszukiwania wymaga dostępu do tych kontenerów magazynu, które zostały utworzone w następnej sekcji.

Na koncie usługi Azure Storage:

• Przypisz rolę Kontrybutora Danych Obiektu Blob Storage do tożsamości Twojej usługi wyszukiwania.

Role warunkowe

Poniższe zakładki obejmują wszystkie zasoby zgodne z kreatorem na potrzeby wyszukiwania wielomodalnego. Wybierz tylko karty, które mają zastosowanie do wybranej metody wyodrębniania i metody osadzania.

Azure OpenAI

Usługa Azure OpenAI udostępnia modele LLM do werbalizacji obrazów oraz modele osadzające na potrzeby wektoryzacji tekstu i obrazu. Usługa wyszukiwania wymaga dostępu do umiejętności wnioskowania GenAI i umiejętności osadzania Azure OpenAI.

W Twoim zasobie usługi Azure OpenAI:

• Przypisz użytkownika OpenAI usług Cognitive Services do tożsamości usługi wyszukiwania.

Azure AI Foundry

Katalog modeli usługi Azure AI Foundry udostępnia maszyny LLM na potrzeby werbalizacji obrazów i osadzania modeli na potrzeby wektoryzacji tekstu i obrazu. Usługa wyszukiwania wymaga dostępu do wywołania funkcji GenAI Prompt i funkcji AML.

W projekcie Azure AI Foundry:

• Przypisz menedżera projektu Azure AI do tożsamości usługi wyszukiwania.

Usługi sztucznej inteligencji platformy Azure

Zasób wielosługowy Azure AI udostępnia wiele usług sztucznej inteligencji platformy Azure, w tym usługę Azure AI Document Intelligence do wyodrębniania zawartości oraz usługę Azure AI Vision do osadzania zawartości. Usługa wyszukiwania wymaga dostępu do umiejętności układu dokumentu i wielomodalnych osadzania usługi Azure AI Vision.

W Twoim zasobie wielosłużowym Azure AI:

• Przypisz użytkownika usług Cognitive Services do tożsamości usługi wyszukiwania.

Przygotowywanie przykładowych danych

W tym przewodniku Szybki start jest używany przykładowy plik PDF wielomodalny, ale możesz również użyć własnych plików. Jeśli korzystasz z bezpłatnej usługi wyszukiwania, użyj mniej niż 20 plików, aby pozostać w ramach bezpłatnego limitu przydziału na potrzeby przetwarzania wzbogacania.

Aby przygotować przykładowe dane na potrzeby tego szybkiego przewodnika:

1. Zaloguj się do witryny Azure Portal i wybierz swoje konto usługi Azure Storage.

2. W okienku po lewej stronie wybierz magazyn danych>Kontenery.

3. Utwórz kontener, a następnie przekaż przykładowy plik PDF do kontenera.

4. Utwórz inny kontener do przechowywania obrazów wyodrębnionych z pliku PDF.

Wdrażanie modeli

Asystent oferuje kilka opcji osadzania zawartości. Werbalizacja obrazów wymaga, aby LLM mógł opisywać obrazy oraz model osadzania do wektoryzacji zawartości tekstu i obrazu, podczas gdy bezpośrednie osadzanie wielomodalne wymaga tylko modelu osadzania. Te modele są dostępne za pośrednictwem usług Azure OpenAI i Azure AI Foundry.

Uwaga / Notatka

Jeśli używasz usługi Azure AI Vision, pomiń ten krok. Osadzenia wielomodalne są wbudowane w zasób wielousługowy Azure AI i nie wymagają wdrożenia modelu.

Aby wdrożyć modele na potrzeby tego przewodnika Szybki start:

1. Zaloguj się do portalu usługi Azure AI Foundry.

2. Wybierz zasób usługi Azure OpenAI lub projekt rozwiązania Azure AI Foundry.

3. W okienku po lewej stronie wybierz pozycję Katalog modeli.

4. Wdróż modele wymagane dla wybranej metody osadzania.

Uruchamianie kreatora

Aby uruchomić kreatora wyszukiwania wielomodalnego:

1. Zaloguj się do witryny Azure Portal i wybierz usługę Azure AI Search.

2. Na stronie Przegląd wybierz pozycję Importuj i wektoryzuj dane.

   

3. Wybierz źródło danych: Azure Blob Storage lub Azure Data Lake Storage Gen2.

   

4. Wybierz pozycję Wielomodalny RAG.

   

Nawiązywanie połączenia z danymi

Usługa Azure AI Search wymaga połączenia ze źródłem danych na potrzeby pozyskiwania i indeksowania zawartości. W takim przypadku źródłem danych jest Twoje konto usługi Azure Storage.

Jak połączyć się z danymi:

1. Na stronie Łączenie z danymi określ subskrypcję platformy Azure.

2. Wybierz konto magazynu i kontener, do którego przekazano przykładowe dane.

3. Zaznacz pole wyboru Uwierzytelnij przy użyciu tożsamości zarządzanej . Pozostaw typ tożsamości przypisany przez system.

   

4. Wybierz Dalej.

Wyodrębnij swoją zawartość

W zależności od wybranej metody wyodrębniania kreator udostępnia opcje konfiguracji umożliwiające pękanie i fragmentowanie dokumentów.

Wyodrębnianie domyślne

Metoda domyślna wywołuje umiejętność wyodrębniania dokumentów w celu wyodrębnienia treści tekstowej i wygenerowania znormalizowanych obrazów z dokumentów. Następnie wywoływana jest umiejętność Dzielenia tekstu w celu podzielenia wyodrębnionej zawartości tekstowej na strony.

Aby użyć umiejętności wyodrębniania dokumentów:

1. Na stronie Wyodrębnianie zawartości wybierz opcję Domyślne.

   

2. Wybierz Dalej.

Ulepszone wyodrębnianie

Wielousługowy zasób Azure AI zapewnia dostęp do Azure AI Document Intelligence, która wywołuje umiejętność układu dokumentu w celu rozpoznawania struktury dokumentu i wyodrębniania tekstu i obrazów w sposób relacyjny. Robi to przez dołączenie metadanych lokalizacji, takich jak numery stron i powiązane wielokąty, do każdego obrazu. Umiejętność układu dokumentu dzieli również zawartość tekst na mniejsze, bardziej zarządzane fragmenty.

Aby użyć umiejętności Układu dokumentu:

1. Na stronie Wyodrębnianie zawartości wybierz pozycję Analiza dokumentów sztucznej inteligencji.

   

2. Określ subskrypcję platformy Azure i zasób z wieloma usługami.

3. W polu Typ uwierzytelniania wybierz pozycję Tożsamość przypisana przez system.

4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tych zasobów.

   

5. Wybierz Dalej.

Osadzanie zawartości

W tym kroku kreator używa wybranej metody osadzania do generowania wektorowych reprezentacji zarówno tekstu, jak i obrazów.

Werbalizacja obrazów

Kreator wywołuje jedną umiejętność do tworzenia opisowego tekstu dla obrazów (werbalizacji obrazów) i drugą umiejętność do tworzenia wektorowych reprezentacji dla tekstu oraz obrazów.

W przypadku werbalizacji obrazów umiejętność GenAI Prompt używa wdrożonego modułu LLM do analizowania każdego wyodrębnionego obrazu i generowania opisu w języku naturalnym.

W przypadku osadzania umiejętności Azure OpenAI Embedding, umiejętności AML lub umiejętności wielomodalnych osadzania Azure AI Vision używane są wdrożone modele osadzania do konwertowania fragmentów tekstu i opisów na wektory wielowymiarowe. Te wektory umożliwiają podobieństwo i pobieranie hybrydowe.

Aby użyć umiejętności do słowizacji obrazów:

1. Na stronie Osadzanie zawartości wybierz pozycję Zwerbalizacja obrazów.

   

2. Na karcie Zwerbalizacja obrazu :

   1. Dla tego rodzaju wybierz dostawcę LLM: modele katalogu azure OpenAI lub AI Foundry Hub.

   2. Określ subskrypcję platformy Azure, zasób i wdrożenie LLM.

   3. W polu Typ uwierzytelniania wybierz pozycję Tożsamość przypisana przez system.

   4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tych zasobów.

      

3. Na karcie Wektoryzacja tekstu :

   1. Dla tego rodzaju wybierz dostawcę modelu: Modele katalogu azure OpenAI, AI Foundry Hub lub Wektoryzacja obrazów sztucznej inteligencji.

   2. Określ subskrypcję platformy Azure, zasób i wdrożenie modelu osadzania.

   3. W polu Typ uwierzytelniania wybierz pozycję Tożsamość przypisana przez system.

   4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tych zasobów.

      

4. Wybierz Dalej.

Wielomodalne embeddingi

Jeśli nieprzetworzona zawartość danych zawiera tekst, kreator wywołuje funkcję AML lub funkcję wielomodalnego osadzania w ramach Azure AI Vision, aby zwektorować tekst. Ta sama umiejętność osadzania służy do generowania wektorowych reprezentacji obrazów.

Kreator wywołuje również umiejętność Shaper, aby wzbogacić wynik za pomocą metadanych, takich jak numery stron. Te metadane są przydatne do kojarzenia wektoryzowanej zawartości z oryginalnym kontekstem w dokumencie.

Aby użyć umiejętności dotyczących osadzania wielomodalnego:

1. Na stronie Osadzanie zawartości wybierz pozycję Osadzanie wielomodalne.

   

2. Dla tego rodzaju wybierz dostawcę modelu: modele katalogu usługi AI Foundry Hub lub wektoryzacja obrazów sztucznej inteligencji.

   Jeśli usługa Azure AI Vision jest niedostępna, upewnij się, że usługa wyszukiwania i zasób z wieloma usługami znajdują się w regionie obsługującym wielomodalne interfejsy API usługi Azure AI Vision.

3. Określ subskrypcję platformy Azure, zasób i wdrożenie modelu osadzania.

4. Zaznacz pole wyboru, które potwierdza skutki rozliczeń korzystania z tego zasobu.

   

5. Wybierz Dalej.

Przechowywanie wyodrębnionych obrazów

Następnym krokiem jest wysłanie obrazów wyodrębnionych z dokumentów do usługi Azure Storage. W usłudze Azure AI Search ten magazyn pomocniczy jest nazywany magazynem wiedzy.

Aby przechowywać wyodrębnione obrazy:

1. Na stronie Dane wyjściowe obrazu określ subskrypcję platformy Azure.

2. Wybierz utworzone konto przechowywania i kontener obiektów blob, aby przechowywać obrazy.

3. Zaznacz pole wyboru Uwierzytelnij przy użyciu tożsamości zarządzanej . Pozostaw typ tożsamości przypisany przez system.

   

4. Wybierz Dalej.

Mapowanie nowych pól

Na stronie Ustawienia zaawansowane możesz opcjonalnie dodać pola do schematu indeksu. Domyślnie kreator generuje pola opisane w poniższej tabeli.

Pole	Dotyczy	opis	Atrybuty
identyfikator_treści	Wektory tekstowe i obrazowe	Pole ciągu. Klucz dokumentu dla indeksu.	Możliwość pobierania, sortowania i wyszukiwania.
tytuł_dokumentu	Wektory tekstowe i obrazowe	Pole ciągu. Czytelny dla człowieka tytuł dokumentu.	Możliwe do pobrania i przeszukiwania.
identyfikator_dokumentu_tekstowego	Wektory tekstowe	Pole ciągu. Identyfikuje dokument nadrzędny, z którego pochodzi fragment tekstu.	Możliwe do pobrania i filtrowania.
identyfikator_dokumentu_obrazka	Wektory obrazów	Pole ciągu. Identyfikuje dokument nadrzędny, z którego pochodzi obraz.	Możliwe do pobrania i filtrowania.
zawartość_tekstu	Wektory tekstowe	Pole ciągu. Czytelna dla człowieka wersja fragmentu tekstu.	Możliwe do pobrania i przeszukiwania.
osadzanie_treści	Wektory tekstowe i obrazowe	Collection(Edm.Single). Wektorowa reprezentacja tekstu i obrazów.	Możliwe do pobrania i przeszukiwania.
ścieżka_zawartości	Wektory tekstowe i obrazowe	Pole ciągu. Ścieżka do zawartości w kontenerze magazynowym.	Możliwe do pobrania i przeszukiwania.
MetadaneLokalizacji	Wektory obrazów	Edm.ComplexType. Zawiera metadane dotyczące lokalizacji obrazu w dokumentach.	Różni się w zależności od pola.

Nie można modyfikować wygenerowanych pól ani ich atrybutów, ale możesz dodać pola, jeśli źródło danych je udostępni. Na przykład usługa Azure Blob Storage udostępnia kolekcję pól metadanych.

Aby dodać pola do schematu indeksu:

1. W obszarze Pola indeksu wybierz pozycję Podgląd i edytuj.

2. Wybierz pozycję Dodaj pole.

3. Wybierz pole źródłowe z dostępnych pól, wprowadź nazwę pola dla indeksu i zaakceptuj domyślny typ danych (lub przesłoń).

4. Jeśli chcesz przywrócić schemat do oryginalnej wersji, wybierz pozycję Resetuj.

Indeksowanie harmonogramu

W przypadku źródeł danych, w których dane bazowe są niestabilne, można zaplanować indeksowanie w celu przechwycenia zmian w określonych interwałach lub określonych datach i godzinach.

Aby zaplanować indeksowanie:

1. Na stronie Ustawienia zaawansowane w obszarze Planowanie indeksowania określ harmonogram uruchamiania indeksatora. Zalecamy użycie Once w tym przewodniku szybkiego startu.

   

2. Wybierz Dalej.

Kończenie pracy kreatora

Ostatnim krokiem jest przejrzenie konfiguracji i utworzenie niezbędnych obiektów do wyszukiwania wielomodalnego. W razie potrzeby wróć do poprzednich stron kreatora konfiguracji, aby skorygować konfigurację.

Aby zakończyć pracę kreatora:

1. Na stronie Przeglądanie i tworzenie określ prefiks dla obiektów tworzonych przez kreatora. Wspólny prefiks pomaga zachować organizację.

   

2. Wybierz pozycję Utwórz.

Po zakończeniu konfiguracji kreator tworzy następujące obiekty:

• Indeksator, który napędza potok indeksowania.

• Połączenie ze źródłem danych z usługą Azure Blob Storage.

• Indeks z polami tekstowymi, polami wektorowymi, wektorami, profilami wektorów i algorytmami wektorów. Podczas procesu kreatora nie można modyfikować indeksu domyślnego. Indeksy są zgodne z interfejsem API REST 2024-05-01-preview, dzięki czemu można korzystać z funkcji w wersji zapoznawczej.

• Zestaw umiejętności z następującymi umiejętnościami:

  • Umiejętność wyodrębniania dokumentów lub umiejętność układu dokumentu wyodrębnia tekst i obrazy z dokumentów źródłowych. Umiejętność dzielenia tekstu towarzyszy umiejętności wyodrębniania dokumentów na potrzeby fragmentowania danych, podczas gdy umiejętność układu dokumentu ma wbudowane fragmentowanie.

  • Umiejętność GenAI Prompt słowizuje obrazy w języku naturalnym. Jeśli używasz bezpośrednich wielomodalnych osadzeń, brakuje tej umiejętności.

  • Umiejętność osadzania w usłudze Azure OpenAI, umiejętność AML lub umiejętność wielomodalnego osadzania w usłudze Azure AI Vision jest wywoływana raz na potrzeby wektoryzacji tekstu i raz na potrzeby wektoryzacji obrazów.

  • Umiejętność kształtowania wzbogaca dane wyjściowe za pomocą metadanych i tworzy nowe obrazy z informacjami kontekstowymi.

Wskazówka

Obiekty utworzone przez kreatora mają konfigurowalne definicje JSON. Aby wyświetlić lub zmodyfikować te definicje, wybierz pozycję Zarządzanie wyszukiwaniem w okienku po lewej stronie, gdzie można wyświetlić indeksy, indeksatory, źródła danych i zestawy umiejętności.

Sprawdzanie wyników

Szybki start tworzy wielomodalny indeks, który obsługuje wyszukiwanie hybrydowe dla tekstu i obrazów. Jeśli nie używasz bezpośrednich wielomodalnych osadzeń, indeks nie akceptuje obrazów jako danych zapytania, co wymaga umiejętności AML lub umiejętności wielomodalnych osadzeń Azure AI Vision z równoważnym wektoryzatorem. Aby uzyskać więcej informacji, zobacz Konfigurowanie wektoryzatora w indeksie wyszukiwania.

Wyszukiwanie hybrydowe łączy zapytania pełnotekstowe i zapytania wektorowe. Podczas wystawiania zapytania hybrydowego aparat wyszukiwania oblicza semantyczną podobieństwo między zapytaniem a indeksowanym wektorami i odpowiednio klasyfikuje wyniki. W przypadku indeksu utworzonego w tym szybkim przewodniku, wyniki pokazują zawartość z pola content_text, która ściśle pasuje do zapytania.

Aby wysłać zapytanie do indeksu wielomodalnego:

1. Zaloguj się do witryny Azure Portal i wybierz usługę Azure AI Search.

2. W okienku po lewej stronie wybierz zarządzanie wyszukiwaniem>Indeksy.

3. Wybierz indeks.

4. Wybierz pozycję Opcje zapytania, a następnie wybierz pozycję Ukryj wartości wektorów w wynikach wyszukiwania. Ten krok sprawia, że wyniki są bardziej czytelne.

   

5. Wprowadź tekst, dla którego chcesz wyszukać. W naszym przykładzie wykorzystano energy.

6. Aby uruchomić zapytanie, wybierz pozycję Wyszukaj.

   

   Wyniki JSON powinny zawierać tekst i zawartość obrazu powiązaną z energy w indeksie. Jeśli włączono semantyczny ranker, tablica @search.answers zapewnia zwięzłe, wysokiej pewności semantyczne odpowiedzi, aby ułatwić szybkie identyfikowanie odpowiednich dopasowań.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Uprzątnij zasoby

Ten przewodnik szybkiego startu wykorzystuje płatne zasoby platformy Azure. Jeśli nie potrzebujesz już zasobów, usuń je z subskrypcji, aby uniknąć naliczania opłat.

Dalsze kroki

W tym przewodniku Szybki start przedstawiono kreatora Importowanie i wektoryzowanie danych , który tworzy wszystkie niezbędne obiekty do wyszukiwania wielomodalnego. Aby szczegółowo zapoznać się z poszczególnymi krokami, zobacz następujące samouczki:

• Samouczek: umiejętności werbalizacji obrazów i wyodrębniania dokumentów
• Samouczek: umiejętność słowizacji obrazów i układu dokumentu
• Poradnik: osadzanie wielomodalne i umiejętność wyodrębniania dokumentów
• Samouczek: wielomodalne embeddingi i narzędzia układu dokumentu