Поделиться через

Получение дополненного поколения (RAG) предоставляет знания LLM

  • Статья

В этой статье описывается, как получение дополненного поколения позволяет LLM обрабатывать источники данных как знания без необходимости обучения.

LLM имеют обширные база знаний через обучение. Для большинства сценариев можно выбрать LLM, предназначенный для ваших требований, но эти LLM по-прежнему требуют дополнительного обучения для понимания конкретных данных. Получение дополненного поколения позволяет сделать данные доступными для LLM, не обучая их в первую очередь.

Как работает RAG

Для выполнения получения дополненного поколения вы создадите внедренные данные вместе с общими вопросами об этом. Это можно сделать на лету или создать и сохранить внедрения с помощью решения векторной базы данных.

Когда пользователь задает вопрос, LLM использует внедренные модули для сравнения вопроса пользователя с данными и поиска наиболее релевантного контекста. Этот контекст и вопрос пользователя затем перейдите в LLM в запросе, и LLM предоставляет ответ на основе ваших данных.

Базовый процесс RAG

Для выполнения RAG необходимо обработать каждый источник данных, который требуется использовать для извлечения. Базовый процесс выглядит следующим образом:

  1. Блокируют большие данные в управляемые части.
  2. Преобразуйте блоки в формат, доступный для поиска.
  3. Сохраните преобразованные данные в расположении, позволяющем эффективному доступу. Кроме того, важно хранить соответствующие метаданные для ссылок или ссылок, когда LLM предоставляет ответы.
  4. Переведите преобразованные данные в LLMs в запросах.

Снимок экрана: схема технического обзора llM, который проходит по шагам RAG.

  • Исходные данные: это место, где существуют данные. Это может быть файл или папка на компьютере, файл в облачном хранилище, Машинное обучение Azure ресурс данных, репозиторий Git или база данных SQL.
  • Блокирование данных: данные в источнике необходимо преобразовать в обычный текст. Например, документы word или PDF-файлы должны быть открыты и преобразованы в текст. Затем текст фрагментируется на меньшие части.
  • Преобразование текста в векторы: это внедрение. Векторы — это числовые представления концепций, преобразованные в числовые последовательности. Такое преобразование упрощает понимание компьютером связей между понятиями.
  • Связи между исходными данными и внедрением. Эти сведения хранятся в виде метаданных созданных блоков, которые затем используются для создания ссылок при создании ответов.

Связанный контент