Generowanie wspomagane wyszukiwaniem (Retrieval Augmented Generation, RAG) i indeksy

W tym artykule omówiono znaczenie i potrzebę zastosowania Retrieval Augmented Generation (RAG) oraz indeksu w generatywnej sztucznej inteligencji.

Co to jest RAG?

Najpierw niektóre podstawy. Duże modele językowe (LLM), takie jak ChatGPT, trenuje się na publicznych danych internetowych, które są dostępne w momencie ich trenowania. Mogą odpowiedzieć na pytania związane z danymi, na które zostały przeszkolone. Dane publiczne mogą nie być wystarczające do spełnienia wszystkich Twoich potrzeb. Możesz chcieć odpowiedzieć na pytania na podstawie Twoich prywatnych danych. Lub dane publiczne mogą być nieaktualne. Rozwiązaniem tego problemu jest pobieranie rozszerzonej generacji (RAG), wzorzec używany w sztucznej inteligencji, który używa usługi LLM do generowania odpowiedzi z własnymi danymi.

Jak działa RAG?

RAG to wzorzec, który używa danych wraz z modułem LLM do generowania odpowiedzi dostosowanych do Twoich danych. Gdy użytkownik zadaje pytanie, magazyn danych jest przeszukiwany na podstawie danych wejściowych użytkownika. Pytanie użytkownika jest następnie łączone z pasującymi wynikami i wysyłane do usługi LLM przy użyciu monitu (jawne instrukcje dla modelu sztucznej inteligencji lub uczenia maszynowego) w celu wygenerowania żądanej odpowiedzi. Ten proces można zilustrować w następujący sposób.

Co to jest indeks i dlaczego go potrzebuję?

RAG używa Twoich danych do generowania odpowiedzi na pytanie użytkownika. Aby RAG działał dobrze, musimy znaleźć sposób na łatwe i ekonomiczne wyszukiwanie oraz przesyłanie danych do LLMs. Indeks rozwiązuje ten problem. Indeks to magazyn danych, który umożliwia wydajne wyszukiwanie danych. Ten indeks jest bardzo przydatny w narzędziu RAG. Indeks można zoptymalizować pod kątem funkcji LLM, tworząc wektory (dane tekstowe konwertowane na sekwencje liczbowe przy użyciu modelu osadzania). Dobry indeks zwykle ma wydajne funkcje wyszukiwania, takie jak wyszukiwania słów kluczowych, wyszukiwania semantyczne, wyszukiwania wektorowe lub kombinacja tych funkcji. Ten zoptymalizowany wzorzec RAG można zilustrować w następujący sposób.

Usługa Azure AI udostępnia zasób indeksu do użycia ze wzorcem RAG. Zasób indeksu zawiera ważne informacje, takie jak:

• Gdzie jest przechowywany indeks?
• Jak uzyskać dostęp do indeksu?
• Jakie są tryby wyszukiwania indeksu?
• Czy indeks ma wektory?
• Jaki jest model osadzania używany dla wektorów?

Indeks Azure AI używa Azure AI Search jako podstawowego i zalecanego magazynu indeksów. Azure AI Search to zasób platformy Azure, który obsługuje pobieranie informacji za pośrednictwem wektora i danych tekstowych przechowywanych w indeksach wyszukiwania.

Następne kroki

• Tworzenie indeksu wektorowego