Pobieranie rozszerzonej generacji i indeksów
Uwaga
Usługa Azure AI Studio jest obecnie dostępna w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
W tym artykule omówiono znaczenie i potrzebę pobierania rozszerzonej generacji (RAG) i indeksu generowania sztucznej inteligencji.
Co to jest RAG?
Najpierw niektóre podstawy. Duże modele językowe (LLM), takie jak ChatGPT, są szkolone na publicznych danych internetowych, które były dostępne w momencie ich trenowania. Mogą odpowiedzieć na pytania związane z danymi, na które zostały przeszkolone. Te dane publiczne mogą nie być wystarczające do spełnienia wszystkich Twoich potrzeb. Możesz chcieć odpowiedzieć na pytania na podstawie Twoich prywatnych danych. Lub dane publiczne mogą po prostu przestać być nieaktualne. Rozwiązaniem tego problemu jest pobieranie rozszerzonej generacji (RAG), wzorzec używany w sztucznej inteligencji, który używa usługi LLM do generowania odpowiedzi z własnymi danymi.
Jak działa rag?
RAG to wzorzec, który używa danych z modułem LLM do generowania odpowiedzi specyficznych dla Twoich danych. Gdy użytkownik zadaje pytanie, magazyn danych jest przeszukiwany na podstawie danych wejściowych użytkownika. Pytanie użytkownika jest następnie łączone z pasującymi wynikami i wysyłane do usługi LLM przy użyciu monitu (jawne instrukcje dla modelu sztucznej inteligencji lub uczenia maszynowego) w celu wygenerowania żądanej odpowiedzi. Można to zilustrować w następujący sposób.
Co to jest indeks i dlaczego go potrzebuję?
Funkcja RAG używa danych do generowania odpowiedzi na pytanie użytkownika. Aby rag działało dobrze, musimy znaleźć sposób na wyszukiwanie i wysyłanie danych w łatwy i ekonomiczny sposób do LLMs. Jest to osiągane przy użyciu indeksu. Indeks to magazyn danych, który umożliwia wydajne wyszukiwanie danych. Jest to bardzo przydatne w rag. Indeks można zoptymalizować pod kątem llms, tworząc wektory (tekst/dane konwertowane na sekwencje liczbowe przy użyciu modelu osadzania). Dobry indeks ma zwykle wydajne funkcje wyszukiwania, takie jak wyszukiwania słów kluczowych, wyszukiwania semantyczne, wyszukiwania wektorowe lub kombinacja tych funkcji. Ten zoptymalizowany wzorzec RAG można zilustrować w następujący sposób.
Usługa Azure AI udostępnia zasób indeksu do użycia ze wzorcem RAG. Zasób Indeks zawiera ważne informacje, takie jak miejsce przechowywania indeksu, sposób uzyskiwania dostępu do indeksu, jakie są tryby wyszukiwania indeksu, czy indeks ma wektory, jaki jest model osadzania używany dla wektorów itp. Indeks usługi Azure AI używa usługi Azure AI Search jako podstawowego/ zalecanego magazynu indeksów. Azure AI Search to zasób platformy Azure, który obsługuje pobieranie informacji przez wektor i dane tekstowe przechowywane w indeksach wyszukiwania.
Usługa Azure AI Index obsługuje również funkcję FAISS (Facebook AI Similarity Search), która jest biblioteką typu open source, która udostępnia lokalny magazyn oparty na plikach. Interfejs FAISS obsługuje tylko funkcje wyszukiwania wektorowego i jest obsługiwany tylko za pośrednictwem zestawu SDK.