Используйте Agent Bricks: Custom LLM для создания генеративного ИИ-агента для работы с текстом.

Это важно

Эта функция доступна в бета-версии.

В этой статье описывается, как создать генеративный агент ИИ для выполнения пользовательских текстовых задач с помощью Agent Bricks: Custom LLM.

Agent Bricks предоставляет простой подход без кода для создания и оптимизации систем агентов ИИ для распространенных вариантов использования ИИ.

Что можно сделать с настраиваемым LLM?

Используйте агент Bricks: Custom LLM для создания высококачественных результатов для любой задачи, относящаяся к домену, например суммирование, классификация, преобразование текста и создание контента.

Агентские модули: Настраиваемый LLM идеально подходит для следующих применений.

• Сводные сведения о проблеме и разрешении вызовов клиентов.
• Анализ тональности отзывов клиентов.
• Классификация научных статей по темам.
• Создание пресс-релизов о новых возможностях.

Учитывая высокоуровневые инструкции и примеры, Агент Bricks: Custom LLM оптимизирует запросы от имени пользователей, автоматически выводит критерии оценки, оценивает систему из предоставленных данных и развертывает модель как рабочую конечную точку.

Agent Bricks: Настраиваемый LLM использует автоматизированные возможности оценки, включая MLflow и оценку агента, чтобы обеспечить быструю оценку компромисса между стоимостью и качеством для вашей конкретной задачи извлечения. Эта оценка позволяет принимать обоснованные решения о балансе точности и инвестиций в ресурсы.

Требования

• Рабочая область, которая включает в себя следующее:
  • Включён предварительный доступ к Mosaic AI Agent Bricks (бета-версия). См. статью "Управление предварительными версиями Azure Databricks".
  • Бессерверные вычисления включены. См. раздел "Включить бессерверные вычисления".
  • Каталог Unity включен. См. Включение рабочей области для каталога Unity.
  • Функции ИИ с поддержкой партнеров активированы.
  • Рабочая область в одном из поддерживаемых регионов: eastus, , eastus2westusили centralusnorthcentralus.
  • Доступ к обслуживанию моделей мозаичного ИИ.
  • Доступ к базовым моделям в каталоге system.ai Unity с помощью схемы.
  • Доступ к бессерверной политике бюджета с ненулевой бюджетом.
• Возможность использовать функциюai_query SQL.
• Необходимо иметь входные данные, готовые к использованию. Вы можете указать любой из следующих вариантов:
  • Таблица каталога Unity. Имя таблицы не может содержать специальные символы (например -, ).
    • Если вы хотите использовать PDF-файлы, преобразуйте их в таблицу каталога Unity. См. Использование PDF-файлов в Agent Bricks.
  • По крайней мере 3 примера входных и выходных данных. Если вы выберете этот параметр, необходимо указать путь назначения схемы каталога Unity для агента, и у вас должны быть разрешения "CREATE REGISTERED MODEL" и CREATE TABLE на эту схему.
• Если вы хотите оптимизировать агент, вам потребуется по крайней мере 100 входных данных (либо 100 строк в таблице каталога Unity, либо 100 примеров вручную).

Создание пользовательского агента LLM

Перейдите к В левой навигационной панели вашей рабочей области выберите "Агенты" и щелкните "Настраиваемый LLM".

Шаг 1. Настройка агента

На вкладке "Настройка" нажмите "Показать пример">, чтобы развернуть пример входных данных и ответа модели для настраиваемого агента LLM.

Внизу на панели настройте вашего агента:

1. В разделе "Описание задачи" введите четкое и подробное описание задачи специализации, включая ее назначение и желаемый результат.

2. Предоставьте помеченный набор данных, непомеченный набор данных или несколько примеров для использования в создании вашего агента.

   Если вы хотите использовать PDF-файлы, сначала преобразуйте их в таблицу каталога Unity. См. Использование PDF-файлов в Agent Bricks.

   Поддерживаются следующие типы данных: stringи intdouble.

   Помеченный набор данных

   Если выбрать помеченный набор данных:

   

   1. В разделе "Выбор набора данных в качестве таблицы UC" нажмите кнопку "Обзор ", чтобы выбрать таблицу в каталоге Unity, которую вы хотите использовать. Имя таблицы не может содержать специальные символы (например -, ).

      Ниже приведен пример:

      main.model_specialization.customer_call_transcripts

   2. В поле входного столбца выберите столбец, который вы хотите использовать в качестве входного текста. Раскрывающееся меню автоматически заполняется столбцами из выбранной таблицы.

   3. В столбце выходных данных (необязательно) выберите столбец, который необходимо указать в качестве примера выходных данных для ожидаемого преобразования. Предоставление этих данных помогает настроить агент для более точной адаптации к потребностям конкретного домена.

   Неразмеченный набор данных

   Если выбрать неподписанный набор данных, выполните следующие действия.

   1. В разделе "Выбор набора данных в качестве таблицы UC" нажмите кнопку "Обзор ", чтобы выбрать таблицу в каталоге Unity, которую вы хотите использовать. Имя таблицы не может содержать специальные символы (например -, ).

   2. В поле входного столбца выберите столбец, который вы хотите использовать в качестве входного текста. Раскрывающееся меню автоматически заполняется столбцами из выбранной таблицы.

   Несколько примеров

   Если выбрать несколько примеров:

   1. Укажите по крайней мере 3 примера входных данных и ожидаемых выходных данных для вашей задачи специализации. Предоставление высококачественных примеров помогает настроить агент специализации для лучшего понимания ваших требований.
   2. Чтобы добавить дополнительные примеры, нажмите кнопку +Добавить.
   3. В разделе "Назначение агента" выберите схему каталога Unity, в которой вы хотите, чтобы Agent Bricks помог создать таблицу с данными оценки. Для этой схемы требуется иметь разрешения CREATE REGISTERED MODEL и CREATE TABLE.

3. Присвойте агенту имя.

4. Нажмите кнопку "Создать агент".

Шаг 2. Создание и улучшение агента

На вкладке "Сборка" можно просмотреть рекомендации по улучшению вашего агента, ознакомиться с результатами примерной модели и настроить инструкции по задачам и критерии оценки.

В панели рекомендаций Databricks предоставляет рекомендации, которые помогут вам определить метрики оценки для агента и оценить примеры ответов как хорошие или плохие.

1. Ознакомьтесь с рекомендациями Databricks по оптимизации производительности агента.

2. Просмотрите предлагаемые критерии оценки. Эти рекомендуемые критерии оценки автоматически определяются, чтобы помогать вам оптимизировать вашего агента.

   

   Для каждой рекомендации:

   • Чтобы принять рекомендацию, нажмите кнопку "Да". Это добавляет критерии оценки в области конфигурации агента .
   • Чтобы отклонить критерии, нажмите кнопку "Нет".
   • Вы также можете закрыть рекомендацию.

3. В разделе "Просмотр результатов" просмотрите примеры входных и выходных данных модели и предоставьте необязательную обратную связь от людей. Эта оценка помогает улучшить ответы модели.

   

   Для каждого примера выберите, был ли он хорошим ответом. Если нет, предоставьте необязательный отзыв по ответу и нажмите кнопку "Сохранить ", чтобы перейти к следующей.

4. После завершения проверки рекомендаций просмотрите область конфигурации агента .

   1. Вы можете настроить инструкции по задачам, чтобы повысить производительность модели.
   2. Просмотрите критерии оценки, добавленные из рекомендаций. Критерии можно удалить, щелкнув X.
   3. Если вы хотите добавить дополнительные критерии оценки, нажмите кнопку +Добавить , чтобы добавить свой собственный.

5. Нажмите кнопку "Обновить агент" , чтобы сохранить эти изменения в агенте. Примеры под результатами проверки обновляются для отображения новых выходных данных модели.

Шаг 3: Попробуйте и оптимизируйте вашего агента

Попробуйте использовать агент в рабочих процессах в Databricks.

На вкладке "Использование "

1. Нажмите кнопку "Попробовать в SQL ", чтобы открыть редактор SQL и использовать ai_query для отправки запросов в новый настраиваемый агент LLM.

2. (Необязательно) Нажмите "Оптимизировать", если вы хотите снизить расходы агента.

   • Для оптимизации требуется не менее 100 входных данных. Если вы предоставили набор данных каталога Unity, таблица должна содержать не менее 100 строк. Если набор данных не указан, необходимо указать по крайней мере 100 примеров.
   • Оптимизация может занять около часа.
   • Внесение изменений в текущий активный агент блокируется при выполнении оптимизации.

Когда оптимизация завершится, вы направляетесь на вкладку Проверка, чтобы просмотреть сравнение вашего текущего активного агента и агента, оптимизированного по затратам. См . (необязательно) шаг 4. Проверка и развертывание оптимизированного агента.

1. (Необязательно) Выберите Создать конвейер, чтобы развернуть конвейер, который выполняется с запланированными интервалами, чтобы использовать агент на новых данных. Дополнительные сведения о конвейерах см. в декларативных конвейерах Lakeflow .

(Необязательно) Шаг 4. Проверка и развертывание оптимизированного агента

Databricks рекомендует по крайней мере 100 входных данных (100 строк в таблице каталога Unity или 100 примеров вручную) для оптимизации агента. При добавлении дополнительных входных данных увеличивается база знаний, из которой агент может учиться, что улучшает качество агента и точность его откликов.

При выборе "Оптимизация" на вкладке "Использование " Databricks сравнивает несколько различных стратегий оптимизации для создания и развертывания оптимизированного агента. Эти стратегии включают в себя настройку модели Foundation, которая использует Databricks Geos.

На вкладке "Рецензирование "

1. В результатах оценки можно просмотреть метрики оценки для оптимизированного агента. Для выполнения оценивания Databricks использует метрики на основе критериев оценки, определенных на вкладке "Сборка"
2. Нажмите на запрос, чтобы открыть дополнительные сведения. Здесь можно увидеть подробную оценку каждой метрики оценки, включая обоснование того, почему она прошла или завершилась сбоем. В этом случае используются встроенные ИИ-оценщики Databricks. Вы также можете проверить входные и ответные данные.
3. После просмотра этих результатов выберите лучшую модель в разделе "Развертывание лучшей модели" в конечной точке и нажмите кнопку "Развернуть".

Использование PDF-файлов в Agent Bricks

PDF-файлы пока не поддерживаются в Agent Bricks: извлечение сведений и настраиваемая языковая модель. Однако рабочий процесс пользовательского интерфейса агента Brick можно использовать для преобразования папки PDF-файлов в markdown, а затем использовать полученную таблицу каталога Unity в качестве входных данных при создании агента. Этот рабочий процесс использует ai_parse_document для преобразования. Выполните следующие действия.

1. Щелкните "Агенты" в левой панели навигации, чтобы открыть Agent Bricks в Databricks.

2. В верхнем правом углу щелкните Используйте PDF-файлы в модулях агента.

3. На открывающейся панели введите следующие поля, чтобы создать новый рабочий процесс для преобразования PDF-файлов:

   1. Выберите папку с PDF-файлами: выберите папку каталога Unity, содержащую PDF-файлы, которые вы хотите использовать.
   2. Выберите целевую таблицу: выберите целевую схему для преобразованной таблицы Markdown и, при необходимости, измените имя таблицы в поле ниже.
   3. Выберите активное хранилище SQL: выберите хранилище SQL для запуска рабочего процесса.

   Настройте рабочий процесс для использования PDF-файлов в Agent Bricks.

4. Нажмите кнопку "Пуск импорта".

5. Вы будете перенаправлены на вкладку "Все рабочие процессы" , в которой перечислены все рабочие процессы PDF. Эта вкладка используется для отслеживания состояния заданий.

   

   Если рабочий процесс завершается ошибкой, щелкните имя задания, чтобы открыть его и просмотреть сообщения об ошибках, чтобы помочь вам выполнить отладку.

6. После успешного завершения рабочего процесса щелкните имя задания, чтобы открыть таблицу в обозревателе каталогов, чтобы изучить и понять столбцы.

7. Используйте таблицу каталога Unity в качестве входных данных в Agent Bricks при настройке агента.

Ограничения

• Databricks рекомендует по крайней мере 100 входных данных (либо 100 строк в таблице каталога Unity, либо 100 предоставленных вручную образцов) для оптимизации агента. При добавлении дополнительных входных данных увеличивается база знаний, из которой агент может учиться, что улучшает качество агента и точность его откликов.
• Если вы предоставляете таблицу каталога Unity, имя таблицы не может содержать специальные символы (например -, ).
• В качестве входных данных поддерживаются только следующие типы данных: stringи intdouble.
• Емкость использования в настоящее время ограничена до 100k входных и выходных маркеров в минуту.
• Рабочие области, использующие Приватный канал Azure, включая хранилище за приватным каналом Azure, не поддерживаются.