Magazyny wektorowe na potrzeby wyszukiwania plików

Obiekty magazynu wektorowego zapewniają narzędziu wyszukiwania plików możliwość przeszukiwania plików. Dodanie pliku do przechowalni wektorów zapewnia modelowi Foundry agenta dodatkową wiedzę dzięki wykraczaniu poza dane treningowe. Usługa analizuje, fragmenty, osadza i indeksuje plik, dzięki czemu narzędzie może uruchamiać wyszukiwanie zarówno słowa kluczowego, jak i semantycznego.

Magazyny wektorowe można dołączać zarówno do agentów, jak i konwersacji. Obecnie można przypisać maksymalnie jeden magazyn wektorów do agenta i jeden magazyn wektorów do konkretnej konwersacji. Aby zapoznać się z koncepcyjnym omówieniem konwersacji, zobacz Składniki środowiska uruchomieniowego agenta.

W obecnym doświadczeniu dewelopera agentów generowanie odpowiedzi wykorzystuje odpowiedzi i konwersacje. Niektóre zestawy SDK i starsze przykłady używają terminu run. Jeśli widzisz oba terminy, traktuj run jako generowanie odpowiedzi. Aby uzyskać wskazówki dotyczące migracji, zobacz Jak przeprowadzić migrację do nowej usługi agenta.

Aby uzyskać listę limitów wyszukiwania wektorów (takich jak maksymalne dozwolone rozmiary plików), zobacz artykuł limity i ograniczenia.

Wymagania wstępne

  • Projekt Microsoft Foundry.
  • Agent lub konwersacja korzystająca z narzędzia wyszukiwania plików .
  • Jeśli używasz standardowej konfiguracji agenta, połącz Azure Blob Storage i Wyszukiwanie AI platformy Azure podczas instalacji, aby pliki pozostały w magazynie. Zobacz Konfiguracja środowiska agenta.
  • Role i uprawnienia różnią się w zależności od zadania (na przykład tworzenia projektów, przypisywania ról do standardowej konfiguracji lub tworzenia i edytowania agentów). Zobacz tabelę wymaganych uprawnień w konfiguracji środowiska agenta.
  • Dostępność funkcji może się różnić w zależności od regionu. Aby uzyskać bieżące pokrycie, zobacz dostępność funkcji Microsoft Foundry w różnych regionach chmury.

Najważniejsze limity i wartości domyślne

Magazyny wektorów są często pierwszym miejscem, w którym procesy pobierania zawodzą w środowisku produkcyjnym, dlatego warto znać wartości domyślne i limity.

  • Pliki w magazynie wektorów: każdy magazyn wektorów może przechowywać maksymalnie 10 000 plików.
  • Dołączenia: można dołączyć do agenta maksymalnie jedno repozytorium wektorów oraz do konwersacji maksymalnie jedno repozytorium wektorów.
  • Domyślne ustawienia pobierania (wyszukiwanie plików):
    • Rozmiar fragmentu: 800 tokenów
    • Nakładanie się fragmentów: 400 tokenów
    • Model osadzania: text-embedding-3-large przy 256 wymiarach
    • Maksymalna liczba fragmentów dodanych do kontekstu: 20

Aby uzyskać informacje na temat rozmiaru pliku i limitów tokenów, zobacz przydziały i limity.

Kluczowe pojęcia

Termin Znaczenie
Magazyn wektorów Kontener na przeszukiwalne kawałki i zakodowane treści zawartości plików używane przez narzędzie wyszukiwania plików.
Spożyciu Proces asynchroniczny, który analizuje, dzieli na fragmenty, osadza i indeksuje plik w celu wyszukiwania.
Gotowość Czy pozyskiwanie zostało ukończone, a magazyn wektorów można przeszukiwać.
Zasady wygasania Zasady cyklu życia, które wygasają sklep wektorowy po określonym czasie nieaktywności.

Wyszukiwanie plików stosuje najlepsze praktyki wyszukiwania, aby ułatwić agentowi znalezienie odpowiedniej treści z plików. W zależności od zapytania i danych narzędzie może wykonywać następujące czynności:

  • Ponowne zapisywanie zapytań użytkowników w celu ulepszenia pobierania.
  • Podziel złożone zapytania na wiele wyszukiwań.
  • Uruchom wyszukiwania zarówno słów kluczowych, jak i semantyczne w wektorowych magazynach agentów i rozmów.
  • Przed dodaniem wyników do kontekstu modelu należy ponownie uporządkować wyniki.

Aby uzyskać bieżące domyślne ustawienia pobierania (rozmiar fragmentu i nakładanie się, osadzanie modelu i maksymalną liczbę fragmentów dodanych do kontekstu), zobacz Jak to działa.

Gdzie dane żyją (podstawowa a standardowa konfiguracja agenta)

Lokalizacja plików i zasobów wyszukiwania zależy od konfiguracji agenta.

  • Podstawowa konfiguracja agenta: Wyszukiwanie plików używa magazynu zarządzanego przez Microsoft i zasobów wyszukiwania.
  • Standard agent setup: wyszukiwanie plików używa zasobów Azure Blob Storage i Wyszukiwanie AI platformy Azure, które łączysz podczas konfiguracji, tak że pliki pozostają w twoim magazynie.

Aby skonfigurować środowisko, zobacz Konfiguracja środowiska agenta. Aby uzyskać więcej informacji, zobacz Zależność od konfiguracji agenta.

Przed utworzeniem odpowiedzi upewnij się, że magazyn wektorów jest gotowy

Przed utworzeniem odpowiedzi upewnij się, że wszystkie pliki w magazynie wektorów są w pełni przetwarzane. Ten krok zapewnia możliwość przeszukiwania wszystkich danych w magazynie wektorów.

Aby sprawdzić gotowość, użyj pomocników sondowania zestawu SDK (na przykład create-and-poll i upload-and-poll) lub sonduj obiekt magazynu wektorów, aż jego status będzie 'ukończony'. Przykłady kodu można znaleźć w temacie Narzędzie wyszukiwania plików dla agentów.

Podczas pozyskiwania magazyn wektorów może być w stanie „w toku”. Po zakończeniu przetwarzania stan zmienia się na ukończony.

Jako rozwiązanie awaryjne, generowanie odpowiedzi obejmuje maksymalny czas oczekiwania wynoszący 60 sekund, gdy magazyn wektorów konwersacji zawiera pliki, które są nadal przetwarzane. Ten zapasowy czas oczekiwania nie ma zastosowania do magazynu wektorów agenta.

Kompleksowa lista kontrolna przepływu pracy

Ta lista kontrolna służy do weryfikowania działającego przepływu pracy związanego z magazynowaniem wektorów od etapu pozyskiwania do zarządzania cyklem życia.

  1. Zdecyduj, czy używasz podstawowej konfiguracji agenta, czy standardowej konfiguracji agenta na podstawie miejsca, w którym mają być przechowywane pliki i zasoby wyszukiwania. Zobacz Where your data lives (podstawowa a standardowa konfiguracja agenta).
  2. Przekaż pliki i utwórz magazyn wektorów. Aby zapoznać się z przykładem krok po kroku, zobacz Przekazywanie plików i dodawanie ich do magazynu wektorów.
  3. Poczekaj na zakończenie przetwarzania przed wygenerowaniem odpowiedzi. Użyj pomocniczych narzędzi do sondowania SDK lub sprawdzaj magazyn wektorów do momentu, aż jego status zostanie ukończony i nie pozostaną pliki w in_progress. Zobacz Zapewnianie gotowości magazynu wektorów przed utworzeniem odpowiedzi.
  4. Dołącz magazyn wektorów do agenta lub konwersacji używanej do wyszukiwania plików. Pamiętaj o limitach załączników. Zobacz Magazyny wektorów.
  5. Utwórz odpowiedź korzystającą z wyszukiwania plików i sprawdź, czy narzędzie pobiera dane z oczekiwanych źródeł. Zobacz Tworzenie odpowiedzi za pomocą wyszukiwania plików i Weryfikowanie wyników.
  6. Zarządzanie cyklem życia: usuwanie plików, których już nie potrzebujesz, i planowanie zasad wygasania (zwłaszcza w przypadku magazynów wektorów utworzonych przez pomocników konwersacji). Zobacz magazyny wektorów i magazyny wektorów konwersacji mające domyślne zasady wygasania.

Dodawanie plików i zarządzanie magazynami wektorów

Dodawanie plików do magazynów wektorów jest operacją asynchroniczną. Aby zagwarantować ukończenie przetwarzania, użyj pomocników do tworzenia i sondowania w oficjalnych zestawach SDK. Jeśli nie używasz zestawu SDK, sonduj magazyn wektorów do momentu ukończenia jego stanu i żadne pliki nie pozostaną w in_progress.

Pliki można również dodawać do magazynu wektorów po jego utworzeniu, tworząc pliki magazynu wektorów. Alternatywnie można dodać kilka plików do magazynu wektorów, tworząc partie o maksymalnej liczbie 500 plików.

Gdy prześlesz plik w celu utworzenia repozytorium wektorów, system automatycznie:

  1. Fragmentuje zawartość do elementów, którymi można zarządzać.
  2. Konwertuje każdy fragment na wektory wielowymiarowe przy użyciu modeli osadzania.
  3. Przechowuje te wektory w zoptymalizowanym indeksie wyszukiwania.
  4. Tworzy skojarzenia między wektorami i oryginalną zawartością.

Usuwanie plików z magazynów wektorów

Pliki z magazynu wektorów można usunąć na dwa różne sposoby:

  • Usuń obiekt pliku magazynu wektorów.
  • Usuń obiekt pliku źródłowego. Spowoduje to usunięcie pliku ze wszystkich konfiguracji przechowywania danych wektorowych we wszystkich agentach oraz konwersacjach w organizacji.

Zarządzanie cyklem życia przy użyciu zasad wygasania

Zasady wygasania ułatwiają zarządzanie cyklem życia magazynu wektorów. Te zasady można ustawić podczas tworzenia lub aktualizowania obiektu magazynu wektorów.

Magazyny wektorów konwersacji mają domyślne zasady wygasania

Magazyny wektorowe utworzone przy użyciu pomocników konwersacji mają domyślne zasady wygasania, które wynoszą siedem dni po ich ostatnim użyciu (zdefiniowanym jako gdy magazyn wektorowy był ostatni raz użyty podczas generowania odpowiedzi).

Po wygaśnięciu magazynu wektorów nie można wygenerować odpowiedzi dla tej konwersacji. Aby rozwiązać ten problem, utwórz ponownie nowy magazyn wektorów z tymi samymi plikami i ponownie dołącz go do konwersacji. Aby uzyskać więcej szczegółów, zobacz Magazyny wektorów konwersacji mają domyślne zasady wygasania.

Obsługiwane typy plików i limity kluczy

Aby uzyskać listę obsługiwanych typów plików i wymagania dotyczące kodowania, zobacz Obsługiwane typy plików.

Kluczowe limity, o których należy pamiętać:

  • Do agenta można dołączyć co najwyżej jeden magazyn wektorów i co najwyżej jeden magazyn wektorów do konwersacji.
  • Rozmiar pliku i limity tokenów różnią się w zależności od funkcji. Zobacz Kwoty i limity.

Rozwiązywanie problemów

  • Magazyn wektorów nie można jeszcze przeszukiwać: Poczekaj na zakończenie przetwarzania. Użyj pomocników sondowania zestawu SDK lub sonduj magazyn wektorów do momentu ukończenia jego stanu.
  • Generowanie odpowiedzi kończy się niepowodzeniem po kilku dniach: Magazyn wektorów konwersacji mógł wygasnąć. Utwórz ponownie nowy magazyn wektorów z tymi samymi plikami i dołącz go ponownie.
  • Plik zniknął z wielu agentów lub konwersacji: być może usunięto obiekt pliku źródłowego, który usuwa plik ze wszystkich konfiguracji magazynu wektorów w całej organizacji.
  • Przekazywanie lub przetwarzanie nie powiodło się: sprawdź limity rozmiaru pliku i tokenów w Limity przydziałów i ograniczenia.

Treści powiązane

  • Last updated on