Uwaga dotycząca przejrzystości: Azure AI Search

Ważne

Tłumaczenia nieanglojęzyczne są dostępne tylko dla wygody. Aby zapoznać się z wiążącą wersją, sprawdź EN-US wersję tego dokumentu.

Co to jest notatka dotycząca przezroczystości?

System sztucznej inteligencji obejmuje nie tylko technologię, ale także osoby, które będą jej używać, osoby, których to dotyczy, oraz środowisko, w którym jest wdrażana. Utworzenie systemu dopasowanego do zamierzonego celu wymaga zrozumienia, jak działa technologia, jakie są jego możliwości i ograniczenia oraz jak osiągnąć najlepszą wydajność. Notatki dotyczące przejrzystości firmy Microsoft mają na celu ułatwienie zrozumienia sposobu działania naszej technologii sztucznej inteligencji, wyborów, jakie właściciele systemów mogą dokonać, aby wpływać na wydajność i zachowanie systemu oraz znaczenie myślenia o całym systemie, w tym o technologii, ludziach i środowisku. Możesz użyć notatek przezroczystości podczas tworzenia lub wdrażania własnego systemu lub udostępniania ich osobom, które będą korzystać z systemu lub mają na nie wpływ.

Informacje o przejrzystości firmy Microsoft są częścią szerszego wysiłku firmy Microsoft na rzecz wprowadzenia zasad sztucznej inteligencji w życie. Aby dowiedzieć się więcej, zobacz zasady dotyczące sztucznej inteligencji firmy Microsoft.

Podstawy usługi Azure AI Search

Wprowadzenie

Usługa Azure AI Search udostępnia deweloperom narzędzia, interfejsy API i zestawy SDK do tworzenia rozbudowanego środowiska wyszukiwania za pośrednictwem prywatnej, heterogenicznej zawartości w aplikacjach internetowych, mobilnych i dla przedsiębiorstw. Wyszukiwanie jest podstawowe dla każdej aplikacji, która wyświetla dane użytkownikom. Typowe scenariusze obejmują wyszukiwanie katalogów lub dokumentów, sklepy detaliczne online lub eksplorację danych w przypadku zastrzeżonej zawartości.

Dane z możliwością wyszukiwania mogą być w postaci tekstu lub wektorów i pozyskiwane as-is ze źródła danych lub wzbogacone za pomocą sztucznej inteligencji w celu ulepszenia ogólnego środowiska wyszukiwania. Deweloperzy mogą konwertować dane int na reprezentacje liczbowe (nazywane wektorami), wybierając opcję wywoływania zewnętrznych modeli uczenia maszynowego (nazywanych modelami osadzania). Indeksatory mogą opcjonalnie zawierać zestawy umiejętności, które obsługują zaawansowany zestaw wzbogacania danych za pośrednictwem kilku możliwości Azure AI Language, takich jak rozpoznawanie jednostek nazwanych (NER) i wykrywanie danych osobowych (PII), oraz możliwości Azure AI Vision, w tym optyczne rozpoznawanie znaków (OCR) i analiza obrazów.

Zobacz poniższe karty, aby uzyskać więcej informacji na temat sposobu, w jaki usługa Azure AI Search poprawia środowisko wyszukiwania przy użyciu usług Azure AI lub innych systemów sztucznej inteligencji, aby lepiej zrozumieć intencję, semantyka i dorozumianą strukturę zawartości klienta.

Wzbogacanie sztucznej inteligencji

Wzbogacanie sztucznej inteligencji to zastosowanie modeli uczenia maszynowego z usług Azure AI za pośrednictwem zawartości, która nie jest łatwo wyszukiwana w postaci pierwotnej. Dzięki wzbogaceniu analiza i wnioskowanie są używane do tworzenia zawartości i struktury z możliwością wyszukiwania, w której żadna wcześniej nie istniała.

Wzbogacanie sztucznej inteligencji to opcjonalne rozszerzenie potoku indeksowania usługi Azure AI Search, które łączy się z usługami Azure AI w tym samym regionie, w którym znajduje się usługa wyszukiwania klienta. Potok wzbogacania ma te same podstawowe składniki co typowy indeksator (indeksator, źródło danych, indeks), a także zestaw umiejętności określający kroki atomowego wzbogacania. Zestaw umiejętności można zebrać przy użyciu wbudowanych umiejętności opartych na interfejsach API usług Azure AI, takich jak Azure AI Vision i Azure AI Language, lub umiejętności niestandardowe, które uruchamiają kod zewnętrzny, który dostarczysz.

Wyszukiwanie wektorowe

Wyszukiwanie wektorowe to metoda pobierania informacji, w której dokumenty i zapytania są reprezentowane w indeksie jako wektory zamiast zwykłego tekstu. W wyszukiwaniu wektorowym modele uczenia maszynowego hostowane zewnętrznie z usługi Azure AI Search generują wektorowe reprezentacje danych wejściowych źródła, które mogą być tekstem, obrazami, audio lub zawartością wideo. Ta matematyczna i znormalizowana reprezentacja zawartości, nazywana osadzaniem wektorów, stanowi wspólną podstawę dla scenariuszy wyszukiwania.

Gdy wszystko jest wektorem, zapytanie może znaleźć dopasowanie w przestrzeni wektorowej, nawet jeśli skojarzona oryginalna zawartość znajduje się w innym typie nośnika, takim jak obrazy i tekst, lub język niż zapytanie. Aparat wyszukiwania skanuje indeks w poszukiwaniu zawartości wektorowej, która jest najbardziej podobna, czyli najbliżej wektora w zapytaniu. Dopasowywanie oparte na matematycznej reprezentacji wektorowej zamiast słów kluczowych zwiększa prawdopodobieństwo znalezienia dopasowań, które dzielą znaczenie semantyczne, ale różnią się tekstowo, na przykład "samochód" i "auto". Zapewnia to bardziej szczegółowe wprowadzenie do osadzania wektorów i sposobu działania algorytmu podobieństwa.

Kluczowe terminy

Termin	Definicja
Osadzanie wektorów	Wysoce zoptymalizowany sposób reprezentowania danych, które odzwierciedlają znaczenie i zrozumienie wyodrębnione przez model uczenia maszynowego z obrazów, audio, wideo lub tekstu. Zawartość jest konwertowana na wektorowe osadzanie zarówno w czasie indeksowania, jak i zapytania. Wyszukiwanie wektorowe to pobieranie osadzonych elementów podanych w zapytaniu i wyszukiwanie najbardziej podobnych osadzania w indeksie. Wyniki są następnie zwykle sortowane według stopnia podobieństwa.
Przestrzeń osadzania	Wszystkie wektory w korpusie pojedynczego pola zajmują to samo miejsce osadzania, w którym podobne elementy znajdują się blisko siebie, a różne elementy są bardziej oddalone. Wyższa wymiarowość miejsca osadzania może zawierać więcej informacji w jednym wektorze i znacznie poprawić środowisko wyszukiwania, ale przy znaczącym koszcie rozmiaru magazynu indeksu i większym opóźnieniu zapytań.

Ranga semantyczna

Semantyczny ranker wykorzystuje kontekst lub semantyczne znaczenie zapytania do obliczenia nowego wyniku istotności, który promuje wyniki semantycznie najbliższe intencji oryginalnego zapytania na górę. Początkowy zestaw wyników może pochodzić z wyszukiwania słów kluczowych z klasyfikacją BM25 , wyszukiwaniem wektorów lub wyszukiwaniem hybrydowym obejmującym oba te elementy. Tworzy także i zwraca "napisy", wyodrębniając dosłowną zawartość znalezioną w wyniku, oraz "podświetlenia", aby zwrócić uwagę na ważną zawartość w wyniku. Może również zwrócić "odpowiedź", jeśli zapytanie ma cechy pytania ("jaki jest mroźny punkt wody"), a wynik zawiera tekst o cechach odpowiedzi ("woda zamarza w temperaturze 0°C lub 32°F").

Kluczowe terminy

Termin	Definicja
Ranga semantyczna	Używa kontekstu i semantycznego znaczenia zapytania, aby poprawić istotność wyszukiwania przy użyciu interpretacji języka w celu ponownego pozycjonowania wyników wyszukiwania.
Semantyczne podpisy i wyróżnienia	Wyodrębnia zdania i frazy z dokumentu, które najlepiej podsumowują zawartość, z wyróżnionymi fragmentami kluczowymi w celu łatwego skanowania. Podpisy, które podsumowują wynik, są przydatne, gdy poszczególne pola zawartości są zbyt gęste dla strony wyników. Wyróżniony tekst podnosi poziom najbardziej odpowiednich terminów i fraz, dzięki czemu użytkownicy mogą szybko określić, dlaczego dopasowanie zostało uznane za istotne.
Odpowiedzi semantyczne	Udostępnia opcjonalną i dodatkową strukturę zwracaną z zapytania semantycznego. Zapewnia bezpośrednią odpowiedź na zapytanie, które wygląda jak pytanie. Wymaga to, aby dokument miał tekst z cechami odpowiedzi.

Ponowne zapisywanie zapytań

Przepisywanie zapytań tworzy zapytania syntetyczne, które są sztucznie tworzone lub generowane na podstawie rzeczywistych danych wejściowych klienta, aby poprawić odtwórczość (ułamek odpowiednich dokumentów pobranych z łącznej liczby dostępnych dokumentów) rankingu BM25, wyszukiwania wektorowego lub wyszukiwania hybrydowego. Oryginalne zapytanie jest łączone z zapytaniami syntetycznymi, aby z wyszukiwarki zapewnić optymalne odtworzenie.

Umiejętność tworzenia promptów w GenAI

Umiejętność GenAI Prompt jest częścią wykazu umiejętności usługi Azure AI Search, umożliwiając klientom ulepszanie indeksów wyszukiwania przy użyciu zawartości wygenerowanej przez sztuczną inteligencję na podstawie ich danych. Korzystając z własnych danych i preferencji organizacji klienta, ta umiejętność ułatwia tworzenie dostosowanych podsumowań, odpowiedzi lub szczegółowych informacji, które są zgodne z ich potrzebami.

Oznacza to, że gdy użytkownik końcowy przeszukuje zawartość klientów za pośrednictwem wyszukiwania sztucznej inteligencji, wygenerowana przez sztuczną inteligencję zawartość może zapewnić bardziej informacyjne i kontekstowe wyniki, co ułatwia użytkownikom znajdowanie szukanych informacji.

Kluczowe terminy

Termin	Definicja
Umiejętności	Umiejętność usługi Azure AI Search to modułowy składnik przetwarzania w potoku wzbogacania usługi Azure AI Search. Te umiejętności stosują przekształcenia oparte na sztucznej inteligencji do nieprzetworzonej zawartości, takiej jak tekst, obrazy lub dokumenty, podczas indeksowania, umożliwiając wyodrębnianie ustrukturyzowanych, przeszukiwalnych informacji z danych bez struktury.
Podpowiedź	Tekst wysyłany do usługi w wywołaniu interfejsu API. Ten tekst jest następnie wprowadzany do modelu. Na przykład można wprowadzić następujące polecenie: Przekonwertuj pytania na polecenie: .: Zapytaj Constance, czy potrzebujemy chleba A: send-msg find constance Czy potrzebujemy chleba? .: Wyślij wiadomość do Grega, aby dowiedzieć się, czy wszystko jest gotowe do środy. Wyślij wiadomość find greg czy wszystko gotowe na środę?
Indeksy wyszukiwania	W usłudze Azure AI Search indeks jest strukturą danych, która przechowuje zawartość z możliwością wyszukiwania, definiuje sposób ich przechowywania i kontroluje, jak usługa zinterpretuje ją podczas uruchamiania zapytania.

Przywoływanie agentowe

Pobieranie agentowe to równoległa architektura przetwarzania zapytań, która używa konwersacyjnego dużego modelu językowego (LLM) jako planującego zapytania. LLM zmienia historię konwersacji użytkownika w jedno lub kilka skoncentrowanych podzapytań zgodnie z potrzebami. Te podzapytania są uruchamiane jednocześnie w indeksie usługi Azure AI Search, a usługa scala najlepsze wyniki, zwracając następujące elementy:

• Pojedynczy ciąg zawartości zawierający najbardziej odpowiednie fragmenty (dane uziemieniowe).
• Tablica odwołań (opcjonalnie), która uwidacznia pełne dokumenty źródłowe lub fragmenty.
• Tablica działań, która zawiera listę każdej operacji, liczby tokenów i latencji, aby ułatwić śledzenie kosztów i debugowanie.

Kluczowe terminy

Termin	Definicja
Agentyczne wyszukiwanie	Odwołuje się to do agenta sztucznej inteligencji planującego i wykonującego sekwencję kroków w celu pobrania informacji z bazowych źródeł. Obejmuje to działania, takie jak wykonywanie zapytań i udoskonalanie wyszukiwań w celu uzyskania najbardziej odpowiednich informacji dotyczących zapytania.
Dane uziemienia	Zestaw dokumentów/informacji zwracanych przez Agentic Retrieval. Służy jako podstawa rzeczowa, którą zewnętrzny LLM może przytaczać lub przekształcić informacje w odpowiedź w języku naturalnym, zapewniając możliwość śledzenia i zmniejszając ryzyko halucynacji.
Planista zapytań	Podział historii konwersacji na podzapytania w celu znalezienia najbardziej odpowiednich danych uziemienia dla bazowego zapytania wyszukiwania.
Podzapytanie	Pojedyncze zapytanie wygenerowane przez usługę LLM. Podzapytania są oparte na pytaniach użytkownika, historii czatu i parametrach w żądaniu. Podzapytania są przeznaczone dla indeksowanych dokumentów (zwykły tekst i wektory) w usłudze Azure AI Search.

Możliwości

Wzbogacanie sztucznej inteligencji

Zachowanie systemu

Kilka wbudowanych umiejętności w zakresie wzbogacania sztucznej inteligencji w usłudze Azure AI Search korzysta z usług Azure AI. Zobacz uwagi dotyczące przejrzystości dla każdej wbudowanej umiejętności wymienionej poniżej, aby wiedzieć, na co zwrócić uwagę przy wyborze umiejętności.

• Umiejętność wyodrębniania kluczowych fraz: Język sztucznej inteligencji platformy Azure — wyodrębnianie kluczowych fraz
• Umiejętność wykrywania języka: język sztucznej inteligencji platformy Azure — wykrywanie języka
• Umiejętność łączenia jednostek: język sztucznej inteligencji platformy Azure — łączenie jednostek
• Umiejętność rozpoznawania jednostek: język sztucznej inteligencji platformy Azure — rozpoznawanie jednostek nazwanych (NER)
• Umiejętność wykrywania PII: Azure AI Language - wykrywanie PII
• Umiejętność tonacji: Język sztucznej inteligencji platformy Azure — analiza tonacji
• Umiejętność analizy obrazów: Azure AI Vision — analiza obrazów
• Umiejętności OCR: Azure AI Vision — OCR

Zapoznaj się z dokumentacją każdej umiejętności, aby dowiedzieć się więcej o odpowiednich możliwościach, ograniczeniach, wydajności, ocenach i metodach integracji i odpowiedzialnego użycia. Należy pamiętać, że używanie tych umiejętności w połączeniu może prowadzić do nałożenia się efektów (na przykład błędy wprowadzone podczas korzystania z OCR będą przenikać podczas korzystania z wyodrębniania kluczowych fraz).

Przypadki użycia

Przykładowe przypadki użycia

Ponieważ usługa Azure AI Search to rozwiązanie do wyszukiwania pełnotekstowego, celem wzbogacania sztucznej inteligencji jest ulepszenie narzędzia wyszukiwania zawartości bez struktury. Oto kilka przykładów scenariuszy wzbogacania zawartości obsługiwanych przez wbudowane umiejętności:

• Funkcja translacji i wykrywania języka umożliwia wyszukiwanie wielojęzyczne.
• Rozpoznawanie jednostek wyodrębnia osoby , miejsca i inne jednostki z dużych fragmentów tekstu.
• Wyodrębnianie kluczowych fraz identyfikuje, a następnie generuje ważne terminy.
• Funkcja OCR rozpoznaje tekst drukowany i odręczny w plikach binarnych.
• Analiza obrazów opisuje zawartość obrazu i wyprowadza opisy jako pola tekstowe z możliwością wyszukiwania.
• Zintegrowana wektoryzacja to funkcja w wersji zapoznawczej, która wywołuje model wektorów usługi Azure OpenAI w celu wektoryzacji danych i przechowywania wektorów w usłudze Azure AI Search na potrzeby wyszukiwania podobieństwa.

Wyszukiwanie wektorowe

Zachowanie systemu

W wyszukiwaniu wektorowym wyszukiwarka wyszukuje wektory w obszarze osadzania w indeksie, aby znaleźć te blisko wektora zapytania. Ta technika jest nazywana wyszukiwaniem najbliższego sąsiada. Pomaga to również określić stopień podobieństwa lub odległości między elementami. Wysoki stopień podobieństwa wektorów wskazuje, że oryginalne dane również były podobne. Dwa algorytmy wyszukiwania wektorowego obsługiwane przez usługę Azure AI Search stosują różne podejścia do tego problemu, dokonując kompromisu pomiędzy różnymi cechami, takimi jak opóźnienie, przepustowość, recall i pamięć.

Znalezienie rzeczywistego zestawu najbliższych sąsiadów "k" wymaga wyczerpującego porównania wektora wejściowego ze wszystkimi wektorami w zestawie danych. Chociaż każde obliczenie podobieństwa wektorów jest stosunkowo szybkie, wykonywanie tych wyczerpujących porównań w dużych zestawach danych jest kosztowne obliczenia i powolne ze względu na wymaganą liczbę porównań. Ponadto im większa jest wymiarowość każdego wektora, tym bardziej złożone i wolniejsze będą obliczenia w każdym wektorze.

Aby rozwiązać to wyzwanie, przybliżone metody wyszukiwania najbliższego sąsiada (ANN) są stosowane do kompromisu między dokładnością a szybkością. Metody te mogą skutecznie znaleźć niewielki zestaw wektorów kandydatów, które najprawdopodobniej będą podobne do wektora zapytania, zmniejszając całkowitą liczbę porównań wektorów. Usługa Azure AI Search używa algorytmu Hierarchiczny mały świat (HNSW) do organizowania wielowymiarowych punktów danych w probabilistycznej strukturze grafów hierarchicznych, która umożliwia szybkie wyszukiwanie podobieństwa, umożliwiając jednocześnie możliwość dostosowania kompromisu między dokładnością wyszukiwania a kosztami obliczeniowymi.

Usługa Azure AI Search obsługuje również wiele metryk podobieństwa w celu określenia najbliższego sąsiada i wyniku każdego wektora. Obejmują one cosinus, "Euclidean" (znany również jako "l2 norm") i "produkt kropkowy". Cosinus oblicza kąt między dwoma wektorami. Funkcja Euclidean oblicza odległość euklidesową między dwoma wektorami, co oznacza zastosowanie normy l2 do różnicy tych dwóch wektorów. Produkt kropkowy ma wpływ zarówno na wielkości wektorów, jak i kąt między nimi. W przypadku znormalizowanych miejsc osadzania produkt kropkowy jest odpowiednikiem podobieństwa cosinusu, ale jest bardziej wydajny.

Przypadki użycia

Przykładowe przypadki użycia

Istnieje wiele scenariuszy, w których wyszukiwanie z użyciem wektorów jest przydatne, a ograniczenia zależą wyłącznie od możliwości modelu używanego do generowania reprezentacji wektorowych. Poniżej przedstawiono niektóre ogólne przypadki użycia, w których można użyć wyszukiwania wektorów:

• Wyszukiwanie semantyczne: wyodrębnij semantyczną wiedzę z tekstu przy użyciu modelu, na przykład przy użyciu modeli, takich jak modele osadzania usługi Azure OpenAI Service.
• Wyszukiwanie w różnych typach danych (wielomodalnych): kodowanie zawartości pochodzącej z obrazów, tekstu, dźwięku i wideo lub kombinacji oraz wykonywanie pojedynczego wyszukiwania we wszystkich z nich.
• Wyszukiwanie wielojęzyczne: użyj wielojęzycznego modelu osadzania, aby przedstawić dokument w wielu językach, aby znaleźć wyniki w obsługiwanych językach.
• Wyszukiwanie hybrydowe: wyszukiwanie wektorowe jest implementowane na poziomie pola, co oznacza, że można tworzyć zapytania obejmujące pola wektorowe i pola tekstowe z możliwością wyszukiwania. Zapytania są uruchamiane równolegle, a wyniki są scalane w jedną odpowiedź. Wyniki wyszukiwania hybrydowego z semantycznym rankingiem zostały pokazane, że zapewniają najlepsze wyniki jakościowe.
• Wyszukiwanie wektorów filtrowanych: zapytanie może zawierać zapytanie wektorowe i wyrażenie filtru. Filtry stosowane do innych typów danych są przydatne do dołączania lub wykluczania dokumentów na podstawie innych kryteriów.
• Baza danych wektorów: ten czysty magazyn wektorów jest przeznaczony dla pamięci długoterminowej lub zewnętrznej bazy wiedzy dla dużych modeli językowych (LLMs). Na przykład użyj Azure AI Search jako indeksu wektorowego w sekwencji podpowiedzi Azure Machine Learning dla aplikacji generacji z rozszerzonym wyszukiwaniem (RAG).

Zagadnienia dotyczące wybierania przypadku użycia

Mogą istnieć zagadnienia i obawy związane z określonym modelem, który wybierzesz do generowania osadzania wektorów. Każdy model może mieć własne problemy z stronniczością i uczciwością i należy je ocenić przed użyciem w aplikacji. Usługa Azure AI Search nie udostępnia żadnych modeli wektoryzacji zawartości w ramach usługi. Zapoznaj się z uwagami dotyczącymi przejrzystości usługi Azure OpenAI, gdzie znajdziesz przykłady tych zagadnień. Inne modele innych firm lub systemów operacyjnych mają kwestie do przejrzenia.

Ranga semantyczna

Zachowanie systemu

Klasyfikowanie wyników pierwszego kroku pobierania warstwy jest procesem intensywnie korzystającym z zasobów. Aby ukończyć przetwarzanie rankera w oczekiwanym czasie opóźnienia operacji zapytania, tylko 50 najlepszych wyników z silnika wyszukiwania jest wysyłanych jako dane wejściowe do semantycznego rankera. Jeśli jest za długa, 50 wyników jest najpierw wysyłanych do kroku podsumowania, który wybiera najbardziej odpowiednią treść z każdego wyniku przed uruchomieniem semantycznego klasyfikatora.

W kroku podsumowania pobrany dokument jest najpierw umieszczany w procesie przygotowywania, który łączy różne dane wejściowe dokumentu w jeden długi ciąg. Jeśli ciąg jest za długi, wykonywane jest ćwiczenie przycinania, z szczególnym naciskiem na zachowanie zawartości zawartej w polach dodanych do konfiguracji semantycznej. Po przygotowaniu ciągów są one przekazywane za pośrednictwem zrozumienia maszynowego i modeli reprezentacji języka w celu określenia, które zdania i frazy zapewniają najlepsze podsumowanie względem zapytania. Ta faza wyodrębnia zawartość z ciągu, który zostanie przekazany do semantycznego etapu klasyfikacji i opcjonalnie wyprowadza semantyczny podpis lub semantyczną odpowiedź.

Ostatni krok, semantyczny ranking, określa istotność zawartości wyodrębnionej w poprzednim kroku do zapytania użytkownika i generuje semantyczny wynik klasyfikacji od 4 (wysoce istotne) do 0 (bez znaczenia). Ten krok jest oparty na tekście zapytania i na podsumowaniu tekstu i obejmuje bardziej złożone obliczenia niż te z warstwy pobierania.

Przypadki użycia

Przykładowe przypadki użycia

Klasyfikator semantyczny może być używany w wielu scenariuszach. Zamierzone przypadki użycia systemu obejmują:

• Retrieval Augmented Generation (RAG): Semantyczny ranker umożliwia osadzenie odpowiedzi generowanych przez aplikacje AI w odpowiednich wynikach wyszukiwania, które spełniają zdefiniowany przez Ciebie próg istotności. Na przykład usługa Azure OpenAI Service wykorzystuje Azure AI Search do rozszerzania modeli Azure OpenAI z Twoimi danymi. Możesz użyć semantycznego klasyfikatora w tej usłudze, aby poprawić trafność informacji podawanych do modelu Azure OpenAI.
• Wyszukiwanie zawartości: semantyczny rangator umożliwia wyszukiwanie odpowiedniej zawartości w danych przez analizowanie tekstu i metadanych. Na przykład wyszukiwanie w witrynie internetowej learn.microsoft.com używa klasyfikatora semantycznego, aby poprawić istotność wyszukiwania dla deweloperów oprogramowania, którzy szukają dokumentacji technicznej firmy Microsoft.
• Wyszukiwanie handlu elektronicznego: Semantyczny ranker umożliwia firmom handlu elektronicznego ulepszanie doświadczenia wyszukiwania, zapewniając odpowiednie wyniki produktów na podstawie istotności semantycznej. Na przykład sprzedawcy detaliczni online używają semantycznego rankera, aby zoptymalizować swoje środowisko handlu elektronicznego, zapewniając odpowiednie wyniki wyszukiwania dla swoich kupujących online.
• Pytania i odpowiedzi: usługa Azure AI Search umożliwia organizacjom udostępnianie użytkownikom środowiska konwersacyjnego, odpowiadając na pytania na podstawie informacji dostępnych w bazach danych. Na przykład producent może używać semantycznego rangatora do rozszerzania informacji dostępnych dla czatbota. Inżynierowie mogą używać tego czatbota do zadawania pytań i pobierania wysoce odpowiednich dokumentów wewnętrznych związanych z zapytaniami i błyskawicznymi odpowiedziami w pobranych dokumentach.

Zagadnienia dotyczące wybierania przypadku użycia

Zachęcamy klientów do używania klasyfikatora semantycznego w swoich innowacyjnych rozwiązaniach lub aplikacjach. Poniżej przedstawiono jednak niektóre zagadnienia dotyczące wybierania przypadku użycia:

• Informacje poufne : modele uczenia maszynowego, które umożliwiają semantyczny ranker przetwarzają dane pobierane w zapytaniu wyszukiwania, w tym informacje poufne, takie jak dane osobowe i informacje finansowe. Przed wdrożeniem semantycznego klasyfikatora semantycznego w takich przypadkach użycia należy wziąć pod uwagę wszelkie implikacje dotyczące prywatności i zabezpieczeń.
• Stronniczość i sprawiedliwość : semantyczny ranker jest obsługiwany przez modele uczenia głębokiego. Te modele uczenia głębokiego zostały wytrenowane przy użyciu publicznej zawartości. Dane klientów są oceniane przez modele klasyfikatora semantycznego. Oceń dane wyjściowe rankera semantycznego podczas wybierania przypadków użycia, zwłaszcza takich, które mają wpływ na sprawiedliwość i równość, na przykład w kontekście zatrudniania i rekrutacji.
• Zgodność z przepisami: Niektóre branże, takie jak opieka zdrowotna i finanse, są wysoce regulowane i mogą mieć ograniczenia dotyczące korzystania ze sztucznej inteligencji i uczenia maszynowego. Przed użyciem semantycznego klasyfikatora w takich branżach upewnij się, że rozwiązanie jest zgodne z odpowiednimi przepisami i wytycznymi.

Ponowne zapisywanie zapytań

Zachowanie systemu

Oryginalne zapytanie jest wysyłane do dostosowanego modelu małego języka (SLM) hostowanego przez usługę Azure AI Search. Ten model został przeszkolony przy użyciu zawartości publicznej. SlM przekształca oryginalne zapytanie w zestaw zapytań syntetycznych. Te syntetyczne zapytania są semantycznie zbliżone do zamierzenia oryginalnego zapytania, ale zawierają inny zestaw terminów, aby poprawić wyszukiwanie w wyszukiwarce.

Zapytania syntetyczne są następnie łączone z oryginalnym zapytaniem i wysyłane do wyszukiwarki. Gdy wykonuje klasyfikację BM25, kluczowe terminy z zapytań syntetycznych są łączone z oryginalnym zapytaniem. Podczas wykonywania wyszukiwania wektorowego oryginalne zapytanie jest łączone z syntetycznymi zapytaniami przed krokiem osadzania wektora .

Przypadki użycia

Przykładowe przypadki użycia

Ponowne zapisywanie zapytań może być używane w wielu scenariuszach. Ponowne zapisywanie zapytań wymaga użycia klasyfikatora semantycznego.

• Interakcja czatu z danymi: ponowne zapisywanie zapytań umożliwia uziemienie odpowiedzi z wygenerowanych aplikacji sztucznej inteligencji w odpowiednich wynikach wyszukiwania, które spełniają zdefiniowany próg oceny istotności. Na przykład, usługa Azure OpenAI Na Twoich danych używa usługi Azure AI Search do rozszerzania modeli Azure OpenAI przy użyciu twoich danych. Możesz użyć ponownego zapisywania zapytań w tej usłudze, aby poprawić trafność wyników informacji podawanych do modelu Azure OpenAI.
• Pytania konwersacyjne i odpowiedzi (QnA): usługa Azure AI Search umożliwia organizacjom udostępnianie użytkownikom konwersacji, odpowiadając na pytania oparte na informacjach dostępnych w bazach danych. Na przykład producent może używać semantycznego rangatora do rozszerzania informacji dostępnych dla czatbota. Inżynierowie mogą używać tego czatbota do zadawania pytań i pobierania wysoce odpowiednich dokumentów wewnętrznych związanych z zapytaniami i błyskawicznymi odpowiedziami w pobranych dokumentach.

Zagadnienia dotyczące wybierania przypadku użycia

Zachęcamy klientów do ponownego pisania zapytań w swoich innowacyjnych rozwiązaniach lub aplikacjach. Poniżej przedstawiono jednak niektóre zagadnienia dotyczące wybierania przypadku użycia:

• Poufne informacje i dane osobowe: dostrojony program SLM umożliwiający ponowne zapisywanie zapytań przetwarza zapytanie wyszukiwania, które może zawierać poufne informacje. Przed zaimplementowaniem ponownego zapisywania zapytań w takich przypadkach użycia należy wziąć pod uwagę wszelkie implikacje dotyczące prywatności i zabezpieczeń.
• Usuń dane osobowe, aby zmniejszyć nieświadomą stronniczość. Na przykład podczas procesu przeglądu CV firmy mogą chcieć zablokować imię, adres lub numer telefonu kandydata, aby pomóc zmniejszyć nieświadome uprzedzenia związane z płcią lub innymi cechami podczas poszukiwań.
• Zagadnienia prawne i regulacyjne. Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i regulacyjne podczas korzystania z dowolnego wyszukiwania AI, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ograniczenia mogą się różnić w zależności od regionalnych lub lokalnych wymagań prawnych. Ponadto wyszukiwanie sztucznej inteligencji nie jest przeznaczone i nie może być używane w sposób zabroniony w odpowiednich warunkach świadczenia usług i odpowiednich kodeksach postępowania.

Umiejętność tworzenia promptów w GenAI

Umiejętność GenAI Prompt umożliwia klientom przekazywanie zawartości dokumentu, istniejącej w źródłach danych i niestandardowych monitów do modelu językowego, którego jest właścicielem, hostowanego w usłudze Azure AI Foundry. Model językowy przetwarza dane wejściowe i zwraca wzbogaconą zawartość, która jest następnie pozyskiwana do indeksu wyszukiwania wraz z oryginalną zawartością dokumentu. Ten proces umożliwia rozszerzanie indeksów wyszukiwania za pomocą podsumowań generowanych przez sztuczną inteligencję, podpisów obrazów i wyodrębniania jednostek, między innymi na podstawie kryteriów zdefiniowanych przez klienta.

W poniższych przykładach pokazano, jak działa umiejętność GenAI Prompt.

Podsumowanie biletów zero-shot

Cel: Pomóż agentom szybko przeglądać wielostronicowe wątki e-maili.

Jak to działa:

• Podczas indeksowania każda długa konwersacja na temat biletów jest podzielona na logiczne segmenty (żądanie początkowe, pytania dotyczące działań następczych, dzienniki diagnostyczne itp.).
• Dla każdego segmentu model językowy jest instruowany, aby "podsumować tę sekcję w trzech zwięzłych zdaniach".
• Wynikowe abstrakcje zastępują nieprzetworzony tekst podczas pobierania, tak aby agenci (i podrzędne potoki RAG) widzieli tylko istotę destylowaną.

Dlaczego pomaga: zwięzłe podsumowania na poziomie segmentu zmniejszają rozmiar monitów, przyspieszają generowanie odpowiedzi i pomagają agentom skupić się na podstawowym problemie klienta.

Wyodrębnianie jednostek za pomocą metody few-shot

Cel: Zapytania pomocy technicznej, takie jak "Pokaż mi wszystkie bilety, w których produkt X uległ awarii z powodu błędu 500".

Jak to działa

• Pełny tekst biletu jest wysyłany do umiejętności wraz z jednym przykładem, który pokazuje żądany format danych wyjściowych (lista kluczowych elementów, takich jak nazwa produktu, kod błędu, system operacyjny i powaga).
• Model wyodrębnia każde wystąpienie 〈produktu, kodu błędu, platformy, poważności.
• Ustrukturyzowana lista jest przechowywana w dokumencie, umożliwiając natychmiastowe filtry, pozwalające na przykład wyświetlenie wszystkich awarii o dużej powadze w systemie iOS.

Dlaczego to pomaga: Wstępnie przetworzone jednostki przekształcają nieustrukturyzowane komunikaty klientów w dane z możliwością filtrowania, umożliwiając liderom wsparcia identyfikację wzorców i określanie priorytetów poprawek bez ręcznego analizowania.

Klasyfikacja routingu biletów jednorazowych

Cel: Automatycznie kieruj każdy bilet do właściwej kolejki.

Jak to działa:

• Każde zgłoszenie jest analizowane za pomocą polecenia, które zawiera pięć kategorii pomocy technicznej: Rozliczenia, Problem Techniczny, Dostęp do Konta, Żądanie Funkcji i Ogólne Opinie, oraz jeden przykład referencyjny ("Przykładowe zgłoszenie → Rozliczenia").
• Model przypisuje dokładnie jedną etykietę na podstawie pięciu powyższych kategorii do każdego biletu, który trafia do systemu wyszukiwania sztucznej inteligencji jako dane wejściowe.
• System pomocy technicznej używa etykiety do wysyłania zapytań rozliczeniowych do specjalistów finansowych, awarii technicznych do inżynierów itd.

Pomaga ponieważ: Szybkie, spójne oznaczanie zmniejsza błędnie przekierowane zgłoszenia, skraca czas rozwiązywania problemu i poprawia zadowolenie klientów.

Sugestia rozwiązania łańcucha myśli

Cel: zapewnij agentom pomocy technicznej jeden najlepszy następny krok, aby rozwiązać ten problem.

Jak to działa

• Cały bilet ( lub jego najnowszy komunikat klienta) jest przekazywany do modelu językowego.
• Komunikat użytkownika instruuje model po wyświetleniu monitu systemowego: "Rozważ kroki wewnętrznie, ale wyprowadzaj tylko zalecane następne działanie".
• Zwrócone wskazówki mogą być następujące: "Poproś klienta o wyczyszczenie pamięci podręcznej i ponowne zainstalowanie wersji 3.2.1".
• Agenci mogą skopiować sugestię bezpośrednio lub uściślić ją przed odpowiedzią.

Dlaczego pomaga: Agenci otrzymują rekomendację z możliwością działania bez prywatnego łańcucha rozumowania modelu, oszczędzając czas, zachowując zwięzłość i istotne kroki rozwiązywania problemów. W niektórych przypadkach agent wsparcia nie jest przeciążony niepotrzebnymi informacjami.

Przypadki użycia

Przykładowe przypadki użycia

Umiejętność GenAI Prompt zwiększa wzbogacanie danych w usłudze Azure AI Search, pomagając w zapewnieniu, że odpowiedzi są zgodne z intencjami i oczekiwaniami użytkownika. Dzięki zintegrowaniu zawartości wygenerowanej przez sztuczną inteligencję z indeksami wyszukiwania ta umiejętność umożliwia dokładniejsze i kontekstowe wyniki wyszukiwania. Kluczowe aplikacje obejmują:

• Generowanie zwięzłych podsumowań długich dokumentów w celu ułatwienia szybszego pobierania informacji: firma prawna przetwarza obszerne kontrakty i wykorzystuje umiejętności GenAI Prompt do tworzenia krótkich podsumowań wyróżniających kluczowe klauzule, co ułatwia prawnikom przeglądanie podstawowych informacji bez odczytywania całych dokumentów.
• Tworzenie opisów tekstowych obrazów w celu zwiększenia możliwości wyszukiwania i ułatwień dostępu: firma mediacka zarządza ogromną biblioteką obrazów. Stosując umiejętności GenAI Prompt, generują opisowe podpisy dla każdego obrazu, umożliwiając wydajne wyszukiwanie i organizację w systemie zarządzania zasobami cyfrowymi.
• Identyfikowanie i wyodrębnianie określonych jednostek lub faktów z dokumentów na podstawie kryteriów niestandardowych: Instytucja badawcza analizuje dokumenty naukowe, aby wyodrębnić wzmianki o związkach chemicznych i ich właściwościach. Umiejętności GenAI Prompt automatyzują to wyodrębnianie, wypełniając ustrukturyzowaną bazę danych, aby naukowcy szybko uzyskiwali dostęp do odpowiednich danych.
• Klasyfikowanie dokumentów do zdefiniowanych kategorii w celu uzyskania lepszej organizacji i pobierania: firma ubezpieczeniowa otrzymuje codziennie wiele typów dokumentów. Korzystając z umiejętności monitu genAI, automatycznie klasyfikują te dokumenty do kategorii, takich jak oświadczenia, aktualizacje zasad i opinie klientów. Usprawnia to proces zarządzania dokumentami i ułatwia znajdowanie określonych dokumentów w razie potrzeby.

Chociaż są to typowe aplikacje, umiejętność jest elastyczna, umożliwiając klientom definiowanie monitów dostosowanych do ich unikatowych wymagań.

Zagadnienia dotyczące wybierania przypadku użycia

Należy pamiętać, że zawartość, monity i wdrożenia modelu językowego są całkowicie zasobami zarządzanymi przez klienta. Usługa Azure AI Foundry obsługuje filtry bezpieczeństwa zawartości dla wdrożeń modeli, a klienci są odpowiedzialni za konfigurowanie tych filtrów zgodnie z potrzebami. Poza konfiguracjami dostępnymi w usłudze Azure AI Foundry usługa Azure AI Search nie stosuje dodatkowych filtrów bezpieczeństwa zawartości w ramach umiejętności monitu genAI.

Podczas implementowania umiejętności promptów GenAI należy wziąć pod uwagę następujące kwestie:

• Implementowanie procesów przeglądu zawartości wygenerowanej przez sztuczną inteligencję, zwłaszcza w przypadku stosowania przekształceń monitów, które mogą mieć wpływ na niezawodność informacji. Użyj narzędzia sesji debugowania usługi Azure AI Search, aby przetestować podpowiedzi na przykładach dokumentów przed wdrożeniem w pełnej skali.
• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może spowodować znaczne uszkodzenie fizyczne lub psychiczne osoby. Na przykład scenariusze, które diagnozują pacjentów lub przepisują leki, mogą spowodować znaczną szkodę. Włączenie znaczącego przeglądu ludzkiego i nadzoru do scenariusza może pomóc zmniejszyć ryzyko szkodliwych wyników.
• Starannie rozważ wszystkie przypadki użycia generatywnego. Scenariusze generowania zawartości mogą częściej tworzyć niezamierzone dane wyjściowe, a scenariusze te wymagają starannego rozważenia i ograniczenia ryzyka.
• Zagadnienia prawne i regulacyjne. Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i regulacyjne podczas korzystania z dowolnego wyszukiwania AI, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ograniczenia mogą się różnić w zależności od regionalnych lub lokalnych wymagań prawnych. Ponadto wyszukiwanie sztucznej inteligencji nie jest przeznaczone i nie może być używane w sposób zabroniony w odpowiednich warunkach świadczenia usług i odpowiednich kodeksach postępowania.

Przywoływanie agentowe

Zachowanie systemu

Oryginalne zapytanie konwersacji lub wyszukiwania jest wysyłane do modelu azure OpenAI należącego do klienta w celu wykonania kroków planowania zapytań. Planowanie zapytań dzieli konwersację na serię zoptymalizowanych podzapytań, które odzwierciedlają intencję użytkownika z poprawioną pisownią i rozszerzonym zakresem synonimów. Azure AI Search następnie przetwarza wszystkie podzapytania jednocześnie w całym systemie wyszukiwania i pobierania. Podzapytania są najpierw przetwarzane przez hybrydową kombinację wyszukiwania słów kluczowych i wyszukiwania wektorów. Wyszukiwanie słów kluczowych znajduje dokumenty w indeksie wyszukiwania z podobnymi słowami kluczowymi do podzapytania. Wyszukiwanie wektorowe znajduje dokumenty w indeksie wyszukiwania, które mogą mieć różne słowa kluczowe, ale podobne znaczenie bazowe do podzapytania. Wyniki tego wyszukiwania hybrydowego są następnie ponownie klasyfikowane przez semantyczny rangownik, aby znaleźć najlepiej dopasowane do intencji podzapytania dokumenty. Następnie usługa scala i usuwa duplikaty z sklasyfikowanych wyników, stosując limity odpowiedzi, takie jak maksymalna długość danych wyjściowych przed wysłaniem z powrotem ostatecznej odpowiedzi.

Przypadki użycia

Przykładowe przypadki użycia

• Zakotwiczenie danych dla niestandardowych czatbotów. Połącz czatbota z oficjalną polityką kadrową firmy i podręcznikiem pracownika, aby, kiedy ktoś pyta: "Ile dni urlopu dostaję?", czatbot pobierał odpowiedź prosto z tych dokumentów, zamiast zgadywania.
• Wyposażenie asystentów wiedzy przedsiębiorstwa w celu poszanowania kontekstu użytkownika, filtrów i historii czatów. Na przykład, gdy pracownik pyta o cele na określony okres, asystent używa swojej roli, bieżących filtrów (na przykład regionu: USA) i trwającej rozmowy (na przykład ostatnim tematem był "pipeline Q2"), aby wygenerować spersonalizowaną odpowiedź.
• Podejmowanie złożonych zadań wyszukiwania informacji, w których pojedyncze zapytanie kluczowe ma niską skuteczność. Takie zadania mogą obejmować przewodniki rozwiązywania problemów, badania medyczne lub porównania produktów. Na przykład jeśli technik po prostu wyszukuje "błąd urządzenia" i otrzymuje ogólne wyniki, agent pobierania może uwzględniać całą historię konwersacji, która może obejmować model urządzenia, wersję oprogramowania, historię konserwacji i stan sieci, aby wyświetlić dokładne, odpowiednie artykuły.
• Zapewnij pełną przejrzystość tego, co zostało pobrane, dlaczego i po jakim koszcie. Na przykład podczas podsumowania dokumentów regulacyjnych i wcześniejszych ustaleń dotyczących inspekcji ważne jest, aby znać dokładne źródła (na przykład "zgłoszenie SEC z kwartału 2023 r."), uzasadnienie wyboru (na przykład "dopasowane słowa kluczowe: ujawnienie ryzyka, pochodne") i powiązane koszty (na przykład użycie tokenu).

Zagadnienia dotyczące wybierania przypadku użycia

• Opóźnienie: dodanie drugiego wywołania LLM do planowania zapytań nieuchronnie wydłuża czas przetwarzania żądania. Nawet w przypadku szybkich modeli należy zmierzyć dodatkowe opóźnienie przy szczytowym natężeniu ruchu i sprawdzić, czy doświadczenie użytkownika pozostaje akceptowalne. Jeśli opóźnienie jest krytyczne, rozważ buforowanie częstych zapytań lub używanie mniejszych, szybszych modeli planowania.
• Koszt: opłaty są naliczane na dwóch płaszczyznach — tokeny modelu OpenAI i tokeny rankingu wyszukiwania. Wywołanie planisty zapytań jest rozliczane przez usługę Azure OpenAI za tokeny wejściowe i wyjściowe, podczas gdy każde podzapytanie jest rozliczane przez usługę Azure AI Search za tokeny, które muszą zostać sklasyfikowane. Tokeny rankingowe są bezpłatne w początkowej fazie publicznej wersji zapoznawczej. Wstępnie szacuj liczbę tokenów modelu i rankingu dla swojego obciążenia.
• Poufne dane wejściowe: Pełna historia rozmów jest przekazywana do modelu planisty, co oznacza, że wszelkie dane osobowe lub poufne dla firmy opuszczają twoją bezpośrednią strefę zaufania. Usuń, zamaskuj lub zredaguj takie dane przed wywołaniem funkcji LLM i udokumentuj te środki zaradcze w swoim nastawieniu na ochronę danych.
• Limity regionów i wersji zapoznawczej: Pobieranie agentowe jest dostępne tylko w regionach, w których dostępny jest semantyczny system rankingu. Pojedynczy agent może wskazywać tylko jeden indeks wyszukiwania. Upewnij się, że region hostujący dane i model obsługuje pobieranie agentowe, i zaplanuj osobnych agentów, jeśli potrzebujesz objąć wiele indeksów lub lokalizacji geograficznych.
• Zgodność: Upewnij się, że korzystanie z planisty zapytań opartego na usłudze LLM jest zgodne z wymaganiami specyficznymi dla sektora lub regionalnymi (na przykład miejscem przechowywania danych, prywatnością lub zautomatyzowanymi regułami podejmowania decyzji w opiece zdrowotnej lub finansach). Zapewnienie odpowiedniego nadzoru i kontroli człowieka. Rozważ uwzględnienie kontrolek ułatwiających deweloperom weryfikowanie, przeglądanie i/lub zatwierdzanie akcji w odpowiednim czasie, które mogą obejmować przeglądanie planowanych zadań lub wywołań do zewnętrznych źródeł danych.
• Zagadnienia prawne i prawne: Użytkownicy muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z usług i rozwiązań sztucznej inteligencji, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ponadto usługi sztucznej inteligencji lub rozwiązania nie są przeznaczone do użytku i mogą nie być używane w sposób zabroniony w odpowiednich warunkach świadczenia usług i odpowiednich kodeksach postępowania.

Ograniczenia

Wzbogacanie sztucznej inteligencji

Wzbogacanie AI w usłudze Azure AI Search korzysta z funkcji indeksatora i źródła danych, aby wywołać usługi Azure AI i przeprowadzić wzbogacanie zawartości. Zostaną zastosowane ograniczenia indeksatorów i źródeł danych używanych w tym procesie. Zapoznaj się z dokumentacją indeksatora i źródła danych , aby uzyskać więcej informacji na temat tych powiązanych ograniczeń. Ograniczenia każdej usługi Azure AI używanej przez potok wzbogacania AI w Azure AI Search również obowiązują. Aby uzyskać więcej informacji na temat tych ograniczeń, zobacz uwagi dotyczące przezroczystości dla każdej usługi .

Wyszukiwanie wektorowe

Ograniczenia techniczne, czynniki operacyjne i zakresy

Wszystkie wektory przekazane do usługi Azure AI Search muszą być generowane zewnętrznie z poziomu usługi przy użyciu wybranego modelu. Twoim zadaniem jest rozważenie ograniczeń technicznych i czynników operacyjnych każdego modelu oraz tego, czy utworzone przez niego osadzanie są zoptymalizowane, czy nawet odpowiednie dla danego przypadku użycia. Obejmuje to zarówno wnioskowanie znaczenia wyodrębnione z zawartości, jak i wymiarowość przestrzeni osadzania wektorów.

Model wektoryzacji tworzy przestrzeń osadzania, która definiuje wynikowe środowisko wyszukiwania użytkownika końcowego aplikacji. Mogą istnieć wady modelu, który negatywnie wpływa zarówno na funkcjonalność, jak i wydajność, jeśli model nie jest dobrze dopasowany do żądanego przypadku użycia lub wygenerowane osadzanie jest źle zoptymalizowane.

Chociaż wiele ograniczeń wyszukiwania wektorowego wynika z modelu używanego do generowania osadzonych, istnieją pewne dodatkowe opcje, które należy wziąć pod uwagę w czasie zapytania. Można wybrać spośród dwóch algorytmów, aby określić istotność wyników wyszukiwania wektorów: Wyczerpujący k-Najbliższych Sąsiadów (KNN) lub Hierarchicznie Nawigowalny Mały Świat. Wyczerpujące k najbliższych sąsiadów (KNN) wykonuje brutalne wyszukiwanie całego obszaru wektorowego dla dopasowań, które są najbardziej podobne do zapytania, obliczając odległości między wszystkimi parami punktów danych i wyszukując dokładnych k najbliższych sąsiadów punktu zapytania. Chociaż bardziej precyzyjne, ten algorytm może być powolny. Jeśli małe opóźnienie jest głównym celem, rozważ użycie algorytmu hierarchicznego nawigowalnego małego świata (HNSW). HNSW wykonuje efektywne przybliżone wyszukiwanie najbliższego sąsiada (ANN) w przestrzeniach osadzania o wysokim wymiarach. Aby uzyskać więcej informacji na temat tych opcji, zobacz dokumentację wyszukiwania wektorów .

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

• Prześwięć czas na testowanie aplikacji przy użyciu różnych typów zawartości i zapytań, których oczekujesz, że aplikacja będzie obsługiwać. Dowiedz się, które środowisko zapytań jest najlepsze dla Twoich potrzeb.
• Należy poświęcić czas na testowanie modeli z pełną gamą zawartości wejściowej, aby zrozumieć, jak działa w wielu sytuacjach. Ta zawartość może zawierać potencjalnie poufne dane wejściowe, aby zrozumieć, czy w modelu istnieje jakaś stronniczość. Omówienie odpowiedzialnej sztucznej inteligencji usługi Azure OpenAI zawiera wskazówki dotyczące odpowiedzialnego używania sztucznej inteligencji.
• Rozważ dodanie bezpieczeństwa zawartości usługi Azure AI do architektury aplikacji. Zawiera interfejs API do wykrywania szkodliwego tekstu generowanego przez użytkowników oraz tekstu lub obrazów generowanych przez sztuczną inteligencję w aplikacjach i usługach.

Ocenianie i integrowanie wyszukiwania wektorowego dla twojego użytku

Aby zapewnić optymalną wydajność, przeprowadź własne oceny rozwiązań, które planujesz wdrożyć przy użyciu wyszukiwania wektorowego. Postępuj zgodnie z procesem oceny, który: (1) wykorzystuje wewnętrznych interesariuszy do oceny wyników, (2) wykorzystuje eksperymenty A/B do wdrażania wyszukiwania wektorowego dla użytkowników, (3) uwzględnia kluczowe wskaźniki wydajności (KPI) i monitorowanie metryk podczas wprowadzenia usługi do użytku po raz pierwszy, a (4) testuje i dostosowuje konfigurację semantycznego rankera i/lub definicję indeksu, w tym otoczenie, takie jak umieszczanie interfejsu użytkownika lub procesy biznesowe.

Firma Microsoft rygorystycznie oceniła wyszukiwanie wektorów zarówno pod względem opóźnienia, jak i kompletności i istotności, używając różnych zestawów danych do mierzenia szybkości, skalowalności i dokładności zwracanych wyników. Głównym celem działań ewaluacyjnych powinno być wybranie odpowiedniego modelu dla konkretnego przypadku użycia, zrozumienie ograniczeń i uprzedzeń modelu oraz rygorystyczne testowanie kompleksowego środowiska wyszukiwania wektorowego.

Ranga semantyczna

Ograniczenia techniczne, czynniki operacyjne i zakresy

Mogą wystąpić przypadki, w których wyniki semantyczne, podpisy i odpowiedzi nie wydają się poprawne. Modele używane przez semantyczny ranking są trenowane na różnych źródłach danych, w tym open source i wyborach z korpusu Microsoft Bing. Ranga semantyczna obsługuje szeroką gamę języków i próbuje dopasować zapytania użytkowników do zawartości z wyników wyszukiwania. Ranka semantyczna jest również funkcją premium, wiążącą się z dodatkowymi kosztami, którą należy wziąć pod uwagę podczas szacowania ogólnego kosztu końcowego rozwiązania.

Ranker semantyczny najprawdopodobniej poprawi trafność zawartości, takiej jak artykuły i opisy, które są semantycznie bogate. Szuka kontekstu i powiązanych terminów, zwiększając trafność dopasowań w kontekście zapytania. Zrozumienie języka "znajduje" podsumowania, napisy lub odpowiedzi w treści, ale w przeciwieństwie do modeli generujących, takich jak modele usługi Azure OpenAI Service GPT-3.5 lub GPT-4, nie tworzy ich. W odpowiedzi znajduje się tylko tekst dosłowny z dokumentów źródłowych, który można następnie renderować na stronie wyników wyszukiwania w celu uzyskania bardziej wydajnego środowiska wyszukiwania.

Najnowocześniejsze, wstępnie wytrenowane modele są używane do podsumowywania i klasyfikowania. Aby zachować szybką wydajność, którą użytkownicy oczekują od wyszukiwania, semantyczne podsumowania i klasyfikacja są stosowane tylko do pierwszych 50 wyników, zgodnie z domyślnym algorytmem oceniania. Dane wejściowe pochodzą z zawartości w wynikach wyszukiwania. Nie może wrócić do indeksu wyszukiwania, aby uzyskać dostęp do innych pól w dokumencie wyszukiwania, które nie zostały zwrócone w odpowiedzi zapytania. Dane wejściowe podlegają dopuszczalnej długości tokenu wynoszącej 8960. Te limity są niezbędne do utrzymania czasu odpowiedzi w milisekundach.

Domyślny algorytm oceniania pochodzi z usług Bing i Microsoft Research oraz jest zintegrowany z infrastrukturą usługi Azure AI Search jako funkcją dodatku. Modele są używane wewnętrznie, nie są widoczne dla dewelopera i nie można ich konfigurować. Aby uzyskać więcej informacji na temat badań i inwestycji w sztuczną inteligencję na potrzeby semantycznego rankera, zobacz How AI from Bing is powering Azure AI Search (Microsoft Research Blog).

Semantyczna usługa rankingu oferuje również odpowiedzi, podpisy i wyróżnianie w generowanej odpowiedzi. Jeśli na przykład model klasyfikuje zapytanie jako pytanie i jest pewny odpowiedzi na poziomie 70%, model generuje semantyczną odpowiedź. Ponadto semantyczne podpisy zawierają najbardziej odpowiednią zawartość w wynikach i zawierają krótki fragment kodu wyróżniający najbardziej odpowiednie słowa lub frazy w tym fragmencie kodu.

Wyniki klasyfikacji semantycznej są oparte na danych w bazowym indeksie wyszukiwania, a modele zapewniają klasyfikację istotności, odpowiedzi i podpisy na podstawie informacji pobranych z indeksu. Przed użyciem klasyfikatora semantycznego w środowisku produkcyjnym ważne jest przeprowadzenie dalszych testów i upewnienie się, że zestaw danych jest dokładny i odpowiedni dla zamierzonego przypadku użycia. Aby uzyskać więcej informacji i przykładów, jak ocenić rankera semantycznego, zobacz zawartość i dodatek.

Wydajność systemu

W wielu systemach sztucznej inteligencji wydajność jest często definiowana w odniesieniu do dokładności — to jest to, jak często system sztucznej inteligencji oferuje prawidłowe przewidywanie lub dane wyjściowe. W przypadku modeli języka naturalnego na dużą skalę dwóch różnych użytkowników może przyjrzeć się tym samym danym wyjściowym i mieć różne opinie na temat tego, jak przydatne lub istotne jest, co oznacza, że wydajność tych systemów musi być zdefiniowana bardziej elastycznie. Tutaj szeroko rozumiemy wydajność jako spełnianie oczekiwań twoich i twoich użytkowników przez aplikację, w tym brak generowania szkodliwych danych wyjściowych.

Ranker semantyczny został wytrenowany na treściach publicznych. W związku z tym znaczenie semantyczne różni się w zależności od dokumentów w indeksie i zapytań wystawionych względem niego. Ważne jest, aby użyć własnego osądu i badań, gdy używasz tej zawartości do podejmowania decyzji.

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

• Poświęć czas na testowanie A/B swojej aplikacji z różnymi typami zapytań, takimi jak słowo kluczowe w porównaniu z hybrydowym plus semantycznym klasyfikatorem. Dowiedz się, które środowisko zapytań jest najlepsze dla Twoich potrzeb.
• Wykonaj rozsądny wysiłek, aby skonfigurować konfigurację semantyczną zgodnie z dokumentacją funkcji.
• Nie ufaj semantycznym odpowiedziom, jeśli nie masz pewności co do dokładności informacji w indeksie wyszukiwania.
• Nie zawsze ufaj podpisom semantycznym, ponieważ są wyodrębniane z treści klientów za pośrednictwem serii modeli, które przewidują najbardziej odpowiednie odpowiedzi w krótkim fragmencie.

Ocena klasyfikatora semantycznego

Metody oceny

Ranking semantyczny został oceniony za pomocą testów wewnętrznych, w tym zautomatyzowanego i ludzkiego osądu na wielu zestawach danych, a także opinii klientów wewnętrznych. Testowanie obejmuje ocenę dokumentów pod kątem ich istotności lub braku istotności oraz ich porządkowanie według priorytetu ich ważności. Podobnie funkcjonalność podpisów i odpowiedzi również została oceniona za pomocą testów wewnętrznych.

Wyniki oceny

Staramy się dostarczać wszystkie aktualizacje modelu bez regresji (czyli zaktualizowany model powinien poprawić tylko bieżący model produkcyjny). Każdy kandydat jest porównywany bezpośrednio z aktualnym modelem produkcyjnym przy użyciu metryk odpowiednich dla ocenianej funkcji (na przykład znormalizowany zdyskontowany skumulowany zysk dla klasyfikacji oraz precyzji/pełności dla odpowiedzi). Modele klasyfikatora semantycznego są trenowane, dostrojone i oceniane przy użyciu szerokiego zakresu danych treningowych, które są reprezentatywne dla dokumentów o różnych właściwościach (język, długość, formatowanie, style i odcienie), aby obsługiwać najszerszą gamę scenariuszy wyszukiwania. Nasze dane szkoleniowe i testowe pochodzą z:

Źródła dokumentów:

• Wskaźniki referencyjne dla środowisk akademickich i branżowych
• Dane klienta (tylko testy wykonywane z uprawnieniami klienta)
• Dane syntetyczne

Źródła zapytań:

• Zestawy zapytań porównawczych
• Zestawy zapytań dostarczone przez klienta (tylko testy wykonywane z uprawnieniami klienta)
• Syntetyczne zestawy zapytań
• Zestawy zapytań generowanych przez człowieka

Źródła etykiet na potrzeby oceniania par zapytań i dokumentów:

• Etykiety benchmarków akademickich i przemysłowych
• Etykiety klientów (tylko testy za zgodą klienta)
• Syntetyczne etykiety danych
• Etykiety oceniane przez człowieka

Ocenianie i integrowanie rankera semantycznego do Twoich potrzeb

Wydajność semantycznego rankera różni się w zależności od rzeczywistych zastosowań i warunków, w których ludzie go używają. Jakość trafności zapewniana przez modele uczenia głębokiego, które umożliwiają możliwości semantycznego rankingu, jest bezpośrednio skorelowana z jakością danych indeksu wyszukiwania. Na przykład modele mają obecnie ograniczenia tokenu, które uwzględniają tylko 8960 pierwszych tokenów na potrzeby odpowiedzi semantycznych. W związku z tym, jeśli semantyczna odpowiedź na zapytanie wyszukiwania zostanie znaleziona na końcu długiego dokumentu (poza limitem tokenu 8960), odpowiedź nie zostanie podana. Ta sama reguła dotyczy podpisów. Ponadto semantyczna konfiguracja wyświetla odpowiednie pola wyszukiwania w kolejności priorytetu. Możesz zmienić kolejność pól na tej liście, aby ułatwić dostosowanie istotności do Twoich potrzeb.

Aby zapewnić optymalną wydajność w swoich scenariuszach, klienci powinni przeprowadzać własne oceny rozwiązań, które wdrażają przy użyciu semantycznego rankera. Klienci powinni zazwyczaj postępować zgodnie z procesem oceny, który: (1) używa niektórych zainteresowanych stron wewnętrznych do oceny wyników, (2) używa eksperymentów A/B do wdrożenia semantycznego rankera dla użytkowników, (3) uwzględnia kluczowe wskaźniki wydajności (KPI) i monitorowanie metryk podczas wdrażania usługi w środowiskach po raz pierwszy oraz (4) testuje i dostosowuje konfigurację semantycznego rankera i/lub definicję indeksu, w tym elementy takie jak umieszczanie interfejsu użytkownika lub procesy biznesowe.

Jeśli tworzysz aplikację w domenie lub branży o wysokich stawkach, takich jak opieka zdrowotna, zasoby ludzkie, edukacja lub dziedzina prawna, oceń, jak dobrze działa aplikacja w twoim scenariuszu, zaimplementuj silny nadzór człowieka, oceń, jak dobrze użytkownicy rozumieją ograniczenia aplikacji i przestrzegają wszystkich odpowiednich przepisów. Rozważ inne środki zaradcze w zależności od scenariusza.

Ponowne zapisywanie zapytań

Ograniczenia techniczne, czynniki operacyjne i zakresy

Mogą wystąpić przypadki, w których zapytania syntetyczne są nieprawidłowe, pochodzą z zbyt wielu ograniczeń lub są zbyt drogie. Ponowne zapisywanie zapytań obsługuje szeroką gamę języków i próbuje przepisać zapytania użytkownika, aby zwiększyć liczbę trafień. Wymagane jest określenie języka zapytania jako dane wejściowe. Ponowne zapisywanie zapytań jest częścią funkcji Semantic Ranker (azure AI Search w celu poprawy istotności wyszukiwania), która jest funkcją Premium z dodatkowymi kosztami. Należy to wziąć pod uwagę podczas projekcji ogólnych wydatków na kompleksowe rozwiązanie. Ponowne zapisywanie zapytań może być używane tylko wtedy, gdy włączono semantyczny ranking.

Przed użyciem ponownego zapisywania zapytań w środowisku produkcyjnym (wersja na żywo aplikacji) ważne jest przeprowadzenie dalszych testów i upewnienie się, że zapytania syntetyczne są odpowiednie dla zamierzonego przypadku użycia. Aby uzyskać więcej informacji i przykładów oceny ponownego zapisywania zapytań, zobacz zawartość i dodatek tutaj.

Wydajność systemu

W przypadku modeli języka naturalnego na dużą skalę dwóch różnych użytkowników może przyjrzeć się tym samym danym wyjściowym i mieć różne opinie na temat tego, jak przydatne lub istotne jest, co oznacza, że wydajność tych systemów musi być zdefiniowana bardziej elastycznie. Tutaj szeroko rozumiemy wydajność jako spełnianie oczekiwań twoich i twoich użytkowników przez aplikację, w tym brak generowania szkodliwych danych wyjściowych.

Wydajność ponownego zapisywania zapytań różni się w zależności od rzeczywistych zastosowań i warunków, w których użytkownicy go używają. Jakość syntetycznych zapytań udostępnianych przez model ponownego zapisywania zapytań jest bezpośrednio skorelowana z oryginalnym zapytaniem wyszukiwania.

Aby zapewnić optymalną wydajność w swoich scenariuszach, klienci powinni przeprowadzać własne oceny rozwiązań, które implementują przy użyciu ponownego zapisywania zapytań. Klienci powinni zazwyczaj postępować zgodnie z procesem oceny, który:

1. używa niektórych wewnętrznych uczestników projektu do oceny wyników,
2. używa eksperymentów A/B, aby wdrożyć ponowne zapisywanie zapytań dla użytkowników i
3. uwzględnia kluczowe wskaźniki wydajności i monitorowanie metryk podczas wdrażania usługi w środowiskach po raz pierwszy

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

• Ukończ testowanie A/B dla aplikacji z różnymi typami zapytań (pełny tekst, wektor, hybryda lub inne typy zapytań). Dowiedz się, które środowisko zapytań jest najlepsze dla Twoich potrzeb.
• Nie zawsze zakładaj, że każde syntetyczne zapytanie wygenerowane przez ponowne zapisywanie zapytań będzie odzwierciedlać dokładną intencję oryginalnego zapytania. Zapytania syntetyczne są generowane przez dostrojony slm, który generuje zapytania semantycznie podobne do intencji oryginalnego zapytania, ale może nie odpowiadać dokładnej intencji.

Ocena ponownego zapisywania zapytań

Metody oceny

Ponowne zapisywanie zapytań zostało ocenione za pomocą testów wewnętrznych, w tym zautomatyzowanego i ludzkiego osądu w wielu zestawach danych, a także opinii klientów wewnętrznych. Testy obejmowały ocenę istotności wyników klasyfikacji semantycznej w połączeniu z ponownym zapisywaniem zapytań w porównaniu z istotnością wyników tylko z semantycznym rankingiem.

Wyniki oceny

Każdy model kandydata jest porównywany bezpośrednio z aktualnie wdrożonym modelem przy użyciu metryk odpowiednich dla ocenianej funkcji. Modele ponownego zapisywania zapytań są dostrojone i oceniane przy użyciu szerokiego zakresu danych publicznych reprezentatywnych dla zapytań, które mają różne właściwości (język, długość, formatowanie, style i odcienie), aby obsługiwać najszerszą gamę scenariuszy wyszukiwania. Nasze dane szkoleniowe i testowe pochodzą z:

Źródła dokumentów:

• Wskaźniki referencyjne dla środowisk akademickich i branżowych
• Dane klienta (tylko testy wykonywane z uprawnieniami klienta)

Źródła zapytań:

• Zestawy zapytań porównawczych
• Zestawy zapytań dostarczone przez klienta (tylko testy wykonywane z uprawnieniami klienta)
• Syntetyczne zestawy zapytań
• Zestawy zapytań generowanych przez człowieka

Źródła etykiet na potrzeby oceniania par zapytań i dokumentów:

• Etykiety benchmarków akademickich i przemysłowych
• Etykiety klientów (tylko testy za zgodą klienta)
• Syntetyczne etykiety danych
• Etykiety oceniane przez człowieka

Ocenianie i integrowanie ponownego zapisywania zapytań do użycia

Gdy proces przepisywania zapytań był trenowany na podstawie zawartości publicznej, zapytania syntetyczne będą się różnić w zależności od sformułowanych zapytań. Dlatego ważne jest, aby użyć własnego osądu i badań, gdy używasz tej zawartości do podejmowania decyzji.

Umiejętność tworzenia promptów w GenAI

Ograniczenia techniczne, czynniki operacyjne i zakresy

Chociaż umiejętności GenAI Prompt oferują zaawansowane możliwości, ważne jest, aby rozpoznać pewne ograniczenia:

• Umiejętność opiera się na filtrach zawartości skonfigurowanych przez klienta w usłudze Azure AI Foundry. Usługa Azure AI Search nie zapewnia dodatkowych mechanizmów bezpieczeństwa zawartości dla tej umiejętności.
• Jakość zawartości wygenerowanej przez sztuczną inteligencję zależy od skuteczności monitów i bazowego modelu językowego. Dokładne testowanie jest niezbędne, aby zapewnić, że dane wyjściowe spełniają wymagane standardy.
• Przetwarzanie dużych ilości danych ze złożonymi monitami może wymagać znaczących zasobów obliczeniowych i może spowodować opóźnienie. Zaplanuj i przydziel zasoby odpowiednio, aby nie tylko utrzymać wydajność i efektywność kosztową, ale także zapobiegać ewentualnym opóźnieniom przetwarzania danych.

Wydajność systemu

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

Aby zoptymalizować wydajność umiejętności promptów GenAI:

• Skorzystaj z narzędzia sesji debugowania usługi Azure AI Search, aby przetestować monity dotyczące przykładowych dokumentów, zapewniając, że zawartość wygenerowana przez sztuczną inteligencję jest zgodna z oczekiwaniami przed pełnym wdrożeniem.
• Twórz jasne i szczegółowe podpowiedzi, aby skutecznie sterować modelem językowym i zmniejszyć prawdopodobieństwo pojawienia się nieistotnych lub niedokładnych wyników.
• Monitorowanie wydajności systemu i skalowanie zasobów zgodnie z potrzebami w celu obsługi obliczeń związanych z przetwarzaniem sztucznej inteligencji.
• Zachęcaj do nadzoru nad danymi wyjściowymi przed publikacją lub rozpowszechnianiem. W przypadku generowania sztucznej inteligencji istnieje możliwość wygenerowania zawartości, która może być obraźliwa lub nieistotna dla zadania.

Ocena umiejętności promptu GenAI

Ocena i integracja umiejętności dotyczących stosowania monitów GenAI do Twoich potrzeb.

Aby zmaksymalizować korzyści wynikające z umiejętności GenAI Prompt w określonym kontekście, należy wziąć pod uwagę następujące kroki:

• Określ konkretne cele wzbogacania, takie jak generowanie zwięzłych podsumowań, wyodrębnianie kluczowych jednostek lub tworzenie metadanych opisowych, aby dopasować aplikację umiejętności do potrzeb biznesowych.
• Zacznij od podzbioru danych, aby ocenić wydajność umiejętności i wprowadzić niezbędne korekty. Takie podejście umożliwia kontrolowane eksperymentowanie i uściślenie przed wdrożeniem na pełną skalę.
• Ustanów mechanizmy monitorowania jakości i wpływu zawartości wygenerowanej przez sztuczną inteligencję. Żądaj opinii od użytkowników końcowych, aby zidentyfikować obszary poprawy i zapewnić, że wzbogacone dane spełniają oczekiwania użytkowników.

Przywoływanie agentowe

Ograniczenia techniczne, czynniki operacyjne i zakresy

Mogą wystąpić przypadki, w których podzapytania generowane przez usługę LLM są nieistotne, nadmiernie restrykcyjne lub zwiększają koszty tokenów. Mechanizm agentowy obsługuje wszystkie języki obsługiwane przez rodzinę GPT-4o, ale jakość wygenerowanego planu zapytania nadal zależy od jasności wejścia użytkownika. Ze względu na to, że pobieranie agentowe opiera się na rangerze semantycznym dla każdego podzapytania, musisz mieć włączony ranger semantyczny w indeksie. Ranga semantyczna to funkcja premium oparta na tokenach; Mimo że opłaty za klasyfikację zostaną wycofane w początkowej fazie publicznej wersji zapoznawczej, będą one stosowane później i powinny być uwzględniane w łącznym koszcie własności.

Przed przeniesieniem agentowego pobierania do środowiska produkcyjnego przeprowadź dodatkowe testy, aby potwierdzić, że podzapytania i zwrócone fragmenty są odpowiednie dla zamierzonego przypadku użycia, że opóźnienia i koszty spełniają cele poziomu usług oraz że dane podstawowe nie uwidaczniają poufnej lub niezgodnej zawartości.

Wydajność systemu

Podobnie jak w przypadku dowolnego systemu modelu językowego na dużą skalę, różni użytkownicy mogą uzyskać różne oceny dotyczące przydatności lub istotności zwracanych fragmentów, dlatego wydajność musi być zdefiniowana elastycznie. W przypadku agentowego przetwarzania uważamy, że dobra wydajność oznacza, że aplikacja typu end-to-end dostarcza oczekiwaną zawartość — bez niedopuszczalnego opóźnienia sieciowego, kosztów finansowych lub szkodliwych rezultatów.

Skuteczność przywoływania agentowego zależy od wielu rzeczywistych czynników.

• Długość monitu/historii czatu
• Liczba podzapytania generowanych przez moduł LLM
• Rozmiar i schemat indeksu (słowo kluczowe, wektor, hybryda)
• Wybór modelu planowania (GPT-4o a GPT-4o-mini)
• Konfiguracja i progi wyników wyszukiwania semantycznego

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

• Aby utrzymać niskie zużycie tokenów, podsumowuj lub przycinaj starsze wiadomości na czacie.
• Dopasuj próg rankera, aby były zwracane tylko bardzo istotne fragmenty
• Używaj filtrów tam, gdzie to możliwe

Ocena agentycznego wyszukiwania

Wyszukiwanie agentowe zostało ocenione za pomocą testów wewnętrznych, w tym oceny zautomatyzowanej i ludzkiej na wielu zestawach danych. Testy obejmowały ocenę istotności wyników wyszukiwania agentowego w porównaniu z wynikami tylko z rankingu semantycznego.

Metody oceny

Każda konfiguracja agentycznego pobierania kandydata, zdefiniowana przez wytyczne planisty, wariant modelu, liczba podzapytania i progi klasyfikacji, jest oceniana w odniesieniu do bazowego rozwiązania produkcyjnego. Stosujemy zestaw metryk istotności, bezpieczeństwa, opóźnień i kosztów wybranych specjalnie dla scenariuszy pobierania wielu zapytań. Aby zapewnić niezawodność w rzeczywistych przypadkach użycia, dostrajanie i testowanie są wykonywane na szerokiej gamie publicznych i zatwierdzonych przez klienta zestawów danych, które różnią się w zależności od języka, długości zapytań, formatowania, stylu i tonu konwersacji. Materiał testowy pochodzi z:

Źródła dokumentów:

• Wskaźniki referencyjne dla środowisk akademickich i branżowych
• Dane klienta (tylko testy wykonywane z uprawnieniami klienta)
• Źródła zapytań:
• Zestawy zapytań porównawczych
• Zestawy zapytań dostarczone przez klienta (tylko testy wykonywane z uprawnieniami klienta)
• Syntetyczne zestawy zapytań
• Zestawy zapytań generowanych przez człowieka

Źródła etykiet na potrzeby oceniania par zapytań i dokumentów:

• Etykiety benchmarków akademickich i przemysłowych
• Etykiety klientów (tylko testy za zgodą klienta)
• Syntetyczne etykiety danych
• Etykiety oceniane przez człowieka

Ocena i integracja agentowego pobierania danych do zastosowania

Ponieważ planista agentycznego pobierania jest w dużej mierze trenowany na danych publicznych, jakość i istotność wygenerowanego podzapytania będą się różnić w zależności od Twojej domeny i konkretnych zapytań użytkownika. Aby zmaksymalizować korzyści wynikające z agenturalnego wydobywania w specyficznych kontekstach, należy wziąć pod uwagę następujące kroki:

• Zweryfikuj dane wyjściowe przed użyciem ich, aby podejmować decyzje krytyczne dla działania firmy: ręcznie sprawdź próbkę wygenerowanych podzapytania i zwróconych dokumentów, aby potwierdzić, że są one zgodne z terminologią domeny, dokładnością i wymaganiami dotyczącymi zgodności.
• Podaj informacje specyficzne dla domeny planisty. Dostarcz mapy synonimów oraz pełną historię konwersacji, aby LLM mógł parafrazować i rozkładać zapytania w języku, który pasuje do twojej zawartości, poprawiając przypominanie i precyzję.
• Zaimplementuj logikę rezerwową lub zabezpieczenia: jeśli planista generuje podzapytania o niskim poziomie zaufania lub poza zakresem działania, należy skierować żądanie do prostszego wyszukiwania słów kluczowych lub wektorów albo wyświetlić użytkownikowi monit o wyjaśnienie, uniemożliwiając dalsze rozprzestrzenianie się nierzetelnych odpowiedzi.

Dowiedz się więcej na temat odpowiedzialnej sztucznej inteligencji

• Zasady sztucznej inteligencji firmy Microsoft
• Zasoby odpowiedzialnej sztucznej inteligencji firmy Microsoft
• Kursy usługi Microsoft Azure Learning dotyczące odpowiedzialnej sztucznej inteligencji

Dowiedz się więcej o usłudze Azure AI Search

• Wprowadzenie do usługi Azure AI Search
• Opisy funkcji
• Pojęcia dotyczące wzbogacania sztucznej inteligencji
• Retrieval Augmented Generation (RAG) w usłudze Azure AI Search