Поделиться через

Внедрение итеративного процесса для улучшения агента данных

Настройка агента данных не является однократной настройкой— это непрерывный итеративный процесс, который включает экспериментирование, наблюдение и уточнение.

В этой статье описаны рекомендации, которые помогут вам приступить к улучшению агента данных, но важно признать, что каждая среда данных и вариант использования уникальны. Вы можете найти, что некоторые типы инструкций, примеров или форматирования работают лучше для определенных наборов данных или что дополнительный контекст необходим для более точного интерпретации пользовательских вопросов агентом. При оценке ответов ожидается прохождение циклов проб и ошибок— изменение инструкций агента, расширение набора тестов или настройка примеров запросов для устранения путаницы или повышения точности. С течением времени этот процесс поможет выявить пробелы в логике, выравнивании схемы или фразы запросов, которые могут быть не сразу очевидны. Ключ заключается в том, чтобы рассматривать агент данных как развивающуюся систему, которая улучшается с помощью регулярного тестирования, обратной связи и итерации, а не статического набора конфигурации один раз и забыл.

Шаг 1. Начало работы с набором тестов

Начните с начального эталонного набора примеров, чтобы настроить конфигурацию агента и оценить производительность. Используйте следующий формат:

Вопрос Ожидаемый запрос Ожидаемый ответ
Сколько сотрудников работает в команде отдела кадров? SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'HR' двадцать пять
Что такое средняя зарплата в маркетинге? SELECT AVG(Зарплата) FROM Сотрудники WHERE Отдел = 'Маркетинг' $85,000
Какие продукты продавались в прошлом месяце? SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' [Product A, Product B]

Дополнительные сведения об оценке вашего агента данных см. в статье Как оценить вашего агента данных

Вы можете продолжать расширять набор тестов с течением времени, чтобы увеличить охват типов вопросов пользователей, которые вы ожидаете, что агент будет обрабатывать.

Шаг 2. Диагностика неправильных ответов

Когда агент данных возвращает неправильный или неоптимальный результат, необходимо время для анализа причины. Определение правильной точки сбоя поможет вам внести целевые улучшения в инструкции, примеры или логику запроса.

Задайте следующие вопросы в рамках проверки:

  • Отсутствует ли необходимое объяснение или инструкция?
  • Слишком ли инструкции слишком расплывчатые, неясные или вводящие в заблуждение?
  • Является ли пример запроса неточным или не репрезентативным вопросом пользователя?
  • Является ли вопрос пользователя неоднозначным с учетом структуры или именования в схеме?
  • Являются ли значения несогласованно отформатированы (например, "ca" vs. "CA" vs. "Ca"), что затрудняет агенту правильное применение фильтров?

Каждая из этих проблем может повлиять на способность агента интерпретировать намерение и создавать точные запросы. Раннее определение их помогает более эффективно направлять улучшения на последующих этапах.

Шаг 3: Улучшите логическое мышление с помощью более четких инструкций для агента

Если агент последовательно выбирает неправильные источники данных, неправильно интерпретирует намерение пользователя или возвращает плохо отформатированные ответы, это признак того, что инструкции на уровне агента нуждаются в уточнении. Используйте эти инструкции, чтобы управлять тем, как агент размышляет над вопросами, выбирает источники данных и форматирует свои ответы.

При итерации по инструкциям агента:

  • Уточнение использования источника данных: Укажите, какие источники данных следует использовать для определенных типов вопросов и в каком порядке приоритета. Если некоторые источники должны использоваться только в определенных контекстах, сделайте это ясно.
  • Определите ожидаемое поведение ответа: Задайте ожидания для тона, структуры и уровня детализации. Укажите, должны ли ответы быть краткими, включать табличные выходные данные или предоставлять сведения на уровне строк.
  • Направляйте шаги рассуждений агента: Предоставьте логическую структуру, которой агент должен следовать при интерпретации вопроса, например, перефразирование, определение соответствующих терминов или выбор инструментов на основе темы.
  • Объясните терминологию: Включите определения или сопоставления для неоднозначных, бизнес-конкретных или часто недоумеченных терминов, чтобы агент могли более точно интерпретировать вопросы пользователей.

Улучшение этих инструкций с течением времени помогает агенту принимать лучшие решения на каждом шаге — от интерпретации вопросов до выполнения запросов и окончательного форматирования ответа.

Шаг 4. Улучшение понимания схемы с помощью более эффективной инструкции по источнику данных

Используйте аналитические сведения из анализа сбоев для непрерывного улучшения инструкций по источнику данных. Найдите шаблоны в нескольких неправильных ответах, чтобы определить, где агент может быть неправильно интерпретирует намерение, борется с пониманием схемы или не применяет правильную логику запроса.

Обновите конфигурацию, сосредоточив внимание на следующих областях:

  • Уточнение использования фильтра: Явным образом описывается, когда и как следует применять фильтры в инструкциях. Например, укажите, должны ли фильтры использовать точные совпадения, диапазоны или сопоставление шаблонов.
  • Добавьте типичные примеры значений: Помогите агенту понять, как правильно фильтровать, предоставляя примеры значений и ожидаемые форматы (например, "CA""MA""NY" для сокращенных состояний или "Q1 FY25" для финансовых кварталов).
  • Усиление согласованности: Убедитесь, что терминология, форматирование и фразы применяются последовательно в инструкциях и примерах. Избегайте смешивания аббревиаций, изменения регистра или использования альтернативных обозначений для одного понятия.
  • Обновление на основе изменяющейся схемы или бизнес-правил: Если в источниках данных представлены новые таблицы, столбцы или логика, измените инструкции и примеры, чтобы отразить эти изменения.

Итерирование этих сведений гарантирует, что агент остается в соответствии с изменяющимися данными и бизнес-контекстом и приводит к более точным, надежным ответам с течением времени.

Шаг 5. Использование целевых примеров для точного создания запросов

Примеры запросов играют важную роль в оказании помощи агенту обобщению и созданию точных ответов, особенно для вопросов, связанных с соединениями, фильтрацией и сложной логикой. Если агент данных возвращает неверные запросы, пересмотрите и уточните ваши примеры, чтобы лучше проиллюстрировать ожидаемую структуру и логику.

Сосредоточьтесь на следующих улучшениях:

  • Уточняйте логику соединения: Если агент создает неправильные соединения, включите примеры запросов, которые явно демонстрируют, как должны быть присоединены связанные таблицы (например, ключи соединения, тип соединения).
  • Правильные шаблоны фильтров: Покажите, как фильтры должны применяться для определенных столбцов, включая любые детали форматирования (например, LIKE '%keyword%', диапазоны дат или требования к регистру).
  • Укажите ожидаемые выходные данные: Укажите, какие столбцы агент должен возвращать для различных типов вопросов. Это помогает управлять структурой и фокусом созданного запроса.
  • Уточнение расплывчатых или перегруженных примеров: Разорвать универсальные или чрезмерно широкие примеры на более целевые запросы, которые отражают конкретные намерения пользователей.
  • Убедитесь в соответствии с актуальными инструкциями и схемой: Обновляйте примеры в соответствии с последними изменениями в схеме, бизнес-правилах или форматах инструкций.

Расширяя и расширяя примеры запросов на основе наблюдаемых проблем, вы предоставляете агенту более надежные справочные точки для создания точных и контекстно-ориентированных ответов.

Шаг 6. Устранение проблем с присоединением

Логика соединения — это распространенный источник сбоя в создании запросов. Когда агент данных возвращает неверные или неполные результаты из-за ошибок соединения, необходимо предоставить более четкие структурные рекомендации и примеры, чтобы помочь агенту понять, как связаны данные.

Чтобы повысить точность соединения, выполните приведенные выше действия.

  • Четкое описание отношений объединения документов: Укажите, какие таблицы связаны, ключи, используемые для соединения (например, EmployeeID, ProductKey), и направление отношений (например, один ко многим). Включите это руководство в соответствующие инструкции по источнику данных.
  • Включите примеры соединения в запросы: Добавьте примеры запросов, которые явно демонстрируют правильное поведение соединения для наиболее распространенных или сложных связей.
  • Уточняйте обязательные столбцы между присоединенными таблицами: Укажите, какие поля следует извлечь из таблицы, особенно если аналогичные имена столбцов существуют в нескольких источниках.
  • Упрощение при необходимости: Если необходимые соединения слишком сложны или подвержены ошибкам, рассмотрите возможность выравнивания структуры в одну денормализованную таблицу, чтобы уменьшить неоднозначность и повысить надежность.

Правильное определение логики соединения (как в инструкциях, так и в примерах) помогает агенту понять, как перемещаться по структуре данных и возвращать полные, точные ответы.

Дальнейшие шаги