Przeczytaj w języku angielskim

Udostępnij za pośrednictwem


Generowanie rozszerzonej generacji (RAG, Retrieval-Augmented Generation) zapewnia wiedzę LLM

W tym artykule opisano sposób pobierania rozszerzonej generacji pozwala llMs traktować źródła danych jako wiedzę bez konieczności trenowania.

LlMs mają obszerne baza wiedzy poprzez szkolenia. W przypadku większości scenariuszy możesz wybrać moduł LLM przeznaczony dla Twoich wymagań, ale te moduły LLM nadal wymagają dodatkowego szkolenia w celu zrozumienia określonych danych. Generowanie rozszerzonego pobierania umożliwia udostępnianie danych maszynom LLM bez ich wcześniejszego trenowania.

Jak działa rag

Aby przeprowadzić generowanie rozszerzonego pobierania, należy utworzyć osadzanie dla danych wraz z typowymi pytaniami dotyczącymi tych danych. Można to zrobić na bieżąco lub utworzyć i zapisać osadzanie przy użyciu rozwiązania wektorowej bazy danych.

Gdy użytkownik zadaje pytanie, funkcja LLM używa osadzania do porównywania pytania użytkownika z danymi i znajdowania najbardziej odpowiedniego kontekstu. Ten kontekst i pytanie użytkownika następnie przejdź do usługi LLM w wierszu polecenia, a usługa LLM udostępnia odpowiedź na podstawie Twoich danych.

Podstawowy proces RAG

Aby wykonać operację RAG, należy przetworzyć każde źródło danych, którego chcesz użyć do pobierania. Podstawowy proces jest następujący:

  1. Podziel duże dane na elementy, którymi można zarządzać.
  2. Przekonwertuj fragmenty na format możliwy do wyszukania.
  3. Przechowuj przekonwertowane dane w lokalizacji, która umożliwia wydajny dostęp. Ponadto ważne jest przechowywanie odpowiednich metadanych w przypadku cytatów lub odwołań, gdy usługa LLM udostępnia odpowiedzi.
  4. Przekaż przekonwertowane dane do usługi LLMs w monitach.

Zrzut ekranu przedstawiający diagram techniczny przeglądu kroków RAG w usłudze LLM.

  • Dane źródłowe: to miejsce, w którym istnieją twoje dane. Może to być plik/folder na maszynie, plik w magazynie w chmurze, zasób danych usługi Azure Machine Learning, repozytorium Git lub baza danych SQL.
  • Fragmentowanie danych: dane w źródle muszą zostać przekonwertowane na zwykły tekst. Na przykład dokumenty programu Word lub pliki PDF muszą być otwierane i konwertowane na tekst. Tekst jest następnie podzielony na mniejsze fragmenty.
  • Konwertowanie tekstu na wektory: są to osadzanie. Wektory to liczbowe reprezentacje pojęć konwertowanych na sekwencje liczbowe, co ułatwia komputerom zrozumienie relacji między tymi pojęciami.
  • Linki między danymi źródłowymi i osadzaniem: te informacje są przechowywane jako metadane we utworzonych fragmentach, które są następnie używane do pomocy llms generować cytaty podczas generowania odpowiedzi.