основные понятия агента данных Fabric

Агент данных в Microsoft Fabric — это общедоступная функция, которая позволяет создавать собственные системы вопросов и ответов с помощью генеративного ИИ. Агент данных Fabric делает аналитику данных более доступной и применимой для всех пользователей в организации. Используя агент данных Fabric, ваша команда может иметь беседы с простыми вопросами на английском языке, о данных, хранящихся в вашей организации в Fabric OneLake, а затем получать соответствующие ответы. Таким образом, даже люди без технического опыта в ИИ или глубокое понимание структуры данных могут получать точные и контекстные ответы. В более широких архитектурах агентских приложений в Microsoft Fabric агенты данных служат компонентом разговорной аналитики, подключаясь к управляемым данным в OneLake через lakehouses, хранилища, семантические модели и базы данных KQL в многоагентных решениях.

Вы также можете добавить инструкции для конкретной организации, примеры и рекомендации для точной настройки агента данных Fabric. Этот подход гарантирует, что ответы соответствуют потребностям и целям вашей организации, что позволяет всем эффективно взаимодействовать с данными. Fabric агент данных способствует культуре принятия решений на основе данных, так как снижает барьеры для доступности инсайтов, упрощает совместную работу и помогает вашей организации извлекать больше ценности из своих данных.

Предпосылки

Предварительные требования для управления

Если ваш клиент или рабочая область управляются политиками Microsoft Purview, агенты обязаны работать в рамках этих политик. Следующие политики Purview могут ограничить доступ к агенту и результаты, возвращаемые агентами, на основе конфиденциальности и конфигурации политики:

  • Политики Purview DLP в Fabric Data Warehouse (общедоступны): политики защиты от потери данных могут обнаруживать и ограничивать доступ к конфиденциальным данным в ресурсах хранилища, которые запрашивает агент.
  • Политики ограничения доступа (предварительная версия) для Fabric KQL Database, Fabric SQL Database и Fabric Data Warehouse. Эти политики могут запретить агенту доступ или возвращение результатов из ресурсов, которые относятся к конфиденциальным.

Как работает агент данных Fabric

Агент данных Fabric использует большие языковые модели (LLM), чтобы помочь пользователям взаимодействовать с данными естественным образом. Агент данных Fabric применяет Azure API-интерфейсы Помощника OpenAI и ведет себя как агент. Он обрабатывает вопросы пользователей, определяет наиболее релевантный источник данных (Lakehouse, Warehouse, Power BI набор данных, базы данных KQL, ontology или Microsoft Graph) и вызывает соответствующее средство для создания, проверки и выполнения запросов. Затем пользователи могут задавать вопросы на простом языке и получать структурированные, доступные для чтения ответы. Такой подход устраняет необходимость написания сложных запросов и обеспечивает точный и безопасный доступ к данным.

Вот как это работает подробно:

Разбор и проверка вопросов: Агент данных Fabric использует интерфейсы API Azure OpenAI Assistant в качестве базового средства для обработки вопросов пользователей. Этот подход гарантирует, что вопрос соответствует протоколам безопасности, политикам ответственного ИИ (RAI) и разрешениям пользователей. Агент данных Fabric также учитывает элементы управления Microsoft Purview, применяемые к базовым источникам данных Fabric, включая политики защиты от потери данных (DLP) и политики ограничений доступа. Принудительное применение политик может предотвратить выполнение определенных запросов или отображение определенных данных в ответах. Агент данных Fabric строго применяет доступ только для чтения, сохраняя подключения только для чтения к всем источникам данных.

Механизмы обеспечения: агент данных Fabric применяет несколько уровней защиты во время обработки. Он использует учетные данные и разрешения запрашивающего пользователя для принудительного доступа с минимальными привилегиями, гарантируя, что каждое взаимодействие достигает только данных, которые пользователь может просматривать. Агент оценивает запросы в соответствии с параметрами политики арендатора и рабочей области перед выполнением любого действия. Guardrails ограничивают вызов и выходные данные средства ограниченными по области действия источниками данных, не давая запросам достигать ресурсов за пределами конфигурируемой области. При необходимости можно интегрировать Azure AI Content Safety для применения элементов управления рисками содержимого, которые помогают снизить вредную или внеполиционную реакцию.

Идентификация источника данных : агент Fabric данных использует учетные данные пользователя для доступа к схеме источника данных. Этот подход гарантирует, что система получает сведения о структуре данных, которые у пользователя есть разрешение на просмотр. Затем агент оценивает вопрос пользователя по всем доступным источникам данных, включая реляционные базы данных (Lakehouse и Warehouse), Power BI наборы данных (семантические модели), базы данных KQL, онтологии и Microsoft Graph. Он также может ссылаться на инструкции агента данных, предоставленные пользователем, чтобы определить наиболее релевантный источник данных. Для Power BI семантических моделей агент использует разрешение пользователя на чтение модели для получения схемы и метаданных для создания запросов; Разрешение на сборку не требуется для запросов на основе агента.

Вызов инструмента и создание запросов: после идентификации правильного источника данных или источников агент данных Fabric перефразирует вопрос для ясности и структуры, а затем вызывает соответствующий инструмент для создания структурированного запроса.

  • Естественный язык для SQL (NL2SQL) для реляционных баз данных (Lakehouse/Warehouse).
  • Естественный язык в DAX (NL2DAX) для наборов данных Power BI (семантические модели).
  • Преобразование естественного языка в KQL (NL2KQL) для баз данных KQL. NL2KQL может использовать определяемые пользователем функции KQL ,когда они доступны в выбранных базах данных.
  • Запросы Microsoft Graph к данным организации, доступным через Microsoft Graph.

Выбранное средство создает запрос на основе предоставленной схемы, метаданных и контекста, который затем передается агентом данных Fabric.

Проверка запроса. Средство выполняет проверку, чтобы убедиться, что запрос правильно сформирован и соответствует собственным протоколам безопасности и политикам RAI.

Заверяние и ответ: после проверки агент данных Fabric выполняет запрос к выбранному источнику данных. Результаты форматируются в удобочитаемый пользователем ответ, который может включать структурированные данные, такие как таблицы, сводки или ключевые аналитические сведения.

С помощью этого подхода пользователи могут взаимодействовать с данными с помощью естественного языка. Агент данных Fabric обрабатывает сложности создания запросов, проверки и выполнения. Пользователям не нужно самостоятельно писать SQL, DAX или KQL.

Безопасность и управление с помощью Microsoft Purview

Microsoft Purview предоставляет средства управления и контроля рисками для агентов данных Fabric. Эти функции в настоящее время находятся в предварительной версии и помогают организациям поддерживать соответствие при использовании агентов для доступа к данным Fabric. Ключевые возможности:

  • Обнаружение рисков и аудит: Запросы и ответы от агентов данных Fabric могут быть подвержены обнаружению рисков и аудиту Purview, предоставляя командам безопасности представление о том, как агенты взаимодействуют с данными организации.
  • Оценки рисков данных DSPM: Оценки рисков безопасности данных (DSPM) могут выявлять риски конфиденциальной информации в источниках данных, которые используют агенты, что помогает вам выявлять и устранять потенциальную уязвимость.
  • Управление внутренними рисками: Purview Insider Risk Management может обнаруживать рискованные шаблоны использования ИИ с участием агентов, таких как необычные тома запросов или доступ к конфиденциальным данным.
  • Проверка, eDiscovery и хранение: политики проверки, обнаружения электронных данных eDiscovery и хранения Purview применяются к взаимодействию агентов и выходным данным в поддерживаемых рабочих нагрузках Fabric. Обнаружение несоответствующего использования также может пометить действие агента, которое нарушает политики организации.

Дополнительные сведения об интеграции Microsoft Purview с Fabric см. в разделе Use Microsoft Purview для управления Microsoft Fabric.

конфигурация агента данных Fabric

Настройка агента данных Fabric аналогична созданию отчета Power BI— сначала вы разрабатываете и уточняете его, чтобы обеспечить соответствие вашим потребностям, а затем опубликовать и поделиться ими с коллегами, чтобы они могли взаимодействовать с данными. Настройка агента данных Fabric включает:

Выбор источников данных: агент данных Fabric поддерживает до пяти источников данных в любом сочетании, включая lakehouses, хранилища, базы данных KQL, семантические модели Power BI, онтологии и Microsoft Graph. Например, настроенный агент данных Fabric может включать пять Power BI семантических моделей. Она может включать в себя сочетание двух семантических моделей Power BI, одного Lakehouse и одной базы данных KQL. У вас есть множество доступных вариантов.

Выбор релевантных таблиц: После выбора источников данных добавляйте их поочередно и определяйте конкретные таблицы из каждого источника, которые использует агент данных Fabric. Этот шаг гарантирует, что агент данных Fabric получает точные результаты, фокусируясь только на релевантных данных. Для озёрных хранилищ этот шаг означает выбор таблиц озёрного хранилища (а не отдельных файлов озёрного хранилища). Если данные начинаются как файлы (например, CSV или JSON), сделайте его доступным агенту путем приема в таблицы или иным образом предоставления их через таблицы.

Adding Context. Чтобы повысить точность агента данных Fabric, укажите больше контекста с помощью инструкций агента данных Fabric и примеров запросов. В качестве основного агента для агента данных Fabric контекст помогает API Azure OpenAI Assistant принимать более обоснованные решения при обработке вопросов пользователей, и определить, какой источник данных лучше всего подходит для ответа.

  • инструкции агента данных: Добавьте инструкции, чтобы помочь агенту, который является частью основы агента данных Fabric, определить оптимальный источник данных для ответа на конкретные типы вопросов. Вы также можете указать пользовательские правила или определения, которые уточняют терминологию организации или конкретные требования. Эти инструкции могут предоставлять больше контекста или предпочтений, влияющих на выбор и запросы источников данных агентом. Например, направляйте прямые вопросы о финансовых показателях в семантическую модель Power BI, назначайте запросы, связанные с исследованием необработанных данных, в lakehouse, а также направляйте вопросы, требующие анализа логов, в базу данных KQL.

  • Примеры запросов: добавьте примеры пар вопрос-запрос, чтобы продемонстрировать, как агент данных Fabric реагирует на распространенные запросы. Эти примеры служат руководством для агента, который помогает понять, как интерпретировать аналогичные вопросы и создавать точные ответы.

Примечание.

Добавление примеров пар запросов и вопросов в настоящее время не поддерживается для Power BI источников данных семантической модели.

Объединяя четкие инструкции ИИ и соответствующие примеры запросов, вы можете лучше выровнять агент данных Fabric с потребностями данных вашей организации, обеспечивая более точные и контекстные ответы.

Это важно

Инструкции агента данных, предоставляемые разработчиком, и примеры запросов должны работать в пределах ограничений на основе ролей и организации. Если инструкции или подсказки конфликтуют с политикой (например, пытаются обойти поведение только для чтения или получить доступ к источникам вне области действия), агент отказывается или перенаправляет запрос в соответствии с моделью приоритетов, описанной в следующем разделе.

Уровни управления и намерения

При настройке агента данных Fabric несколько слоев намерений могут повлиять на поведение агента. Эти слои, перечисленные от самого высокого до самого низкого приоритета, определяют, что разрешено сделать агенту:

  1. Намерение организации: политики, распространяющиеся на всех арендаторов, и требования к соблюдению, установленные администраторами вашей организации. Эти ограничения имеют наивысший приоритет и не могут быть переопределены любым другим слоем.
  2. Намерение на основе ролей: параметры управления рабочей областью и границы разрешений, которые применяются к определенным ролям или группам. Эти параметры применяют элементы управления доступом и ограничения области данных.
  3. Намерение разработчика: пользовательские инструкции, примеры запросов и конфигурации источников данных, предоставляемые при создании агента данных.
  4. Намерение пользователя: вопросы и запросы, которые конечные пользователи могут отправлять во время бесед с агентом.

Когда между слоями возникают конфликты, слои с более высоким приоритетом имеют преимущество над слоями с более низким. Например, политики организации и параметры управления рабочей областью всегда переопределяют инструкции разработчика и запросы пользователей. Модель приоритета гарантирует, что агент работает в утвержденных операционных границах, независимо от способа его настройки или запроса.

Разница между агентом данных Fabric и копилотом

Несмотря на то, что агенты данных Fabric и копилоты Fabric используют разработанный ИИ для обработки данных и анализа, ключевые различия имеются в их функциональных возможностях и вариантах использования.

Гибкость настройки: Вы можете в значительной степени настроить агентов данных Fabric. Вы можете предоставить пользовательские инструкции и примеры, чтобы адаптировать их поведение к определенным сценариям. Сопилоты Fabric, с другой стороны, предварительно настроены и не предлагают этот уровень кастомизации.

Область применения и вариант использования: Ассистенты Fabric помогают в выполнении задач в Microsoft Fabric, например, генерировать код ноутбука или запросы к хранилищу данных. Fabric агенты данных, напротив, являются настраиваемыми автономными артефактами, которые могут запрашивать данные по OneLake и семантическим моделям. Агенты данных Fabric также могут интегрироваться с Microsoft 365 Copilot для обеспечения представления аналитики естественного языка непосредственно в приложениях Microsoft 365. Когда агенты получают доступ через Microsoft 365 Copilot, Microsoft Purview политики управления по-прежнему применяются к базовым источникам данных. Кроме того, Fabric агенты данных могут подключаться к внешним системам, таким как Microsoft Copilot Studio, Azure AI Foundry, Microsoft Teams или другие средства за пределами Fabric. Внешние оркестраторы и среды выполнения с несколькими агентами могут вызывать агенты данных Fabric для поддержки сквозных агентских рабочих процессов, а агенты данных остаются сосредоточенными на доступе только для чтения и в управляемом доступе к данным.

Оценка агента данных Fabric

Команда по продуктам тщательно оценила качество и безопасность ответов агента данных Fabric:

Benchmark Testing: команда продуктов тестировала агенты данных Fabric в различных общедоступных и частных наборах данных, чтобы обеспечить высокое качество и точные ответы.

Улучшенные методы уменьшения вреда: команда разработчиков продуктов реализовала меры защиты, чтобы выходные данные агента данных Fabric оставались сфокусированы на контексте выбранных источников данных, что снижает риск возникновения неуместных или вводящих в заблуждение ответов.

Управление и безопасность

интеграция Microsoft Purview предоставляет средства управления для агентов данных Fabric. При настройке агента данных политики управления Purview применяются к базовым источникам данных, к которые агент может получить доступ. Эта интеграция помогает гарантировать, что доступ к данным через агенты соответствует тем же правилам соответствия и классификации, что и прямой доступ.

политики Microsoft Purview: политики Purview, такие как элементы управления доступом к данным и метки конфиденциальности, применяются к источникам данных, запрашивающим агенты. Если политика Purview ограничивает доступ к *lakehouse* или складу, агент учитывает это ограничение при обработке пользовательских запросов.

Защита исходящего доступа: агенты данных Fabric работают в границах защиты исходящего доступа рабочей области. Администраторы рабочей области могут управлять разрешенными исходящими подключениями с помощью параметров рабочей области, чтобы контролировать, какие внешние конечные точки агент данных может достичь.

интеграция Microsoft 365 Copilot: Когда агенты данных Fabric отображаются через Microsoft 365 Copilot, политики управления Purview по-прежнему действуют. Пользователи могут получать доступ только к данным, которые их учетные данные и политики Purview разрешают независимо от точки входа.

ALM и DevOps для агентов данных

Агенты данных Fabric поддерживают возможности управления жизненным циклом приложений (ALM), которые помогают управлять конфигурациями агентов в средах разработки, тестирования и продуктивной среды.

Диагностика. Используйте встроенную диагностику для мониторинга поведения агента, выявления проблем создания запросов и устранения неполадок с качеством ответа. Диагностика обеспечивает представление о том, как агент обрабатывает вопросы и выбирает источники данных.

Интеграция Git. Вы можете управлять конфигурациями агента с помощью интеграции с Git. Подключите рабочую область Fabric к репозиторию Git для отслеживания изменений в инструкциях агента, примерах запросов и выборе источника данных с течением времени.

Конвейеры развертывания: Используйте конвейеры развертывания Fabric для продвижения агентов данных в пространствах работы (например, от разработки до рабочей среды). Эта поддержка позволяет протестировать изменения в промежуточной среде перед тем, как сделать их доступными для конечных пользователей.

Операционный надзор

Чтобы обеспечить постоянное выравнивание качества и политики, рассмотрите следующие операционные методики для агента данных Fabric:

  • Ведение журнала и аудит. Мониторинг взаимодействия агента с помощью доступных возможностей ведения журнала и аудита. Просмотр шаблонов запросов и качества ответа помогает определить неожиданное поведение на ранних этапах.
  • Эскалация с участием человека: установление путей эскалации для конфиденциальных или важных запросов. В сценариях, когда автоматизированные ответы недостаточно, определите процессы, которые направляют вопросы к квалифицированным рецензентам.
  • Периодический обзор: регулярно просматривайте инструкции агента данных и примеры запросов, чтобы обеспечить соответствие текущим политикам организации и структурам данных. По мере изменения источников данных или бизнес-требований обновите конфигурацию агента соответствующим образом.

Ограничения

  • Агент данных Fabric создает запросы SQL, DAX и KQL "read". Он не создает запросы SQL, DAX или KQL, которые создают, обновляют или удаляют данные.
  • Агент данных Fabric не поддерживает неструктурированные данные, такие как .pdf, .docxили файлы .txt. Не удается использовать агент данных Fabric для доступа к неструктурированным ресурсам данных.
  • Для источников данных озера данных агент Fabric дает ответы на вопросы с помощью выбранных вами таблиц озера данных. Он не считывает автономные файлы lakehouse (например, CSV или JSON файлы), если они не обработаны или представлены в виде таблиц.
  • Агент данных Fabric в настоящее время не поддерживает языки, отличные от английского языка. Для оптимальной производительности укажите вопросы, инструкции и примеры запросов на английском языке.
  • Вы не можете изменить LLM, который использует Fabric агент данных.
  • Журнал бесед в агенте данных Fabric может не всегда сохраняться. В некоторых случаях, таких как изменения серверной инфраструктуры, обновления служб или обновления модели, журнал общения в прошлом может быть сброшен или потерян.
  • Агент данных Fabric не может выполнять запросы, если емкость рабочей области источника данных находится в другом регионе, отличном от емкости рабочей области агента данных. Например, хранилище данных с емкостью в Северной Европе дает сбой, если емкость агента данных находится в Центральной Франции.
  • Пользователи могут предоставлять до 100 примеров запросов на источник данных в агенте данных.
  • Агенты данных Fabric в настоящее время предназначены для получения информации из диалогов, а не для предоставления полных наборов данных. Чтобы обеспечить краткие и эффективные ответы, система чата автоматически ограничивает и/или суммирует исходные данные. В настоящее время ответы ограничиваются максимум 25 строками и 25 столбцами. Обратите внимание, что предыдущая история чата может повлиять на последующие ответы. Например, если вы попросите "показать все строки за текущий год", агент всё равно вернёт максимум 25 строк. Последующие вопросы могут быть даны на основе уже ограниченного контекста, что может повлиять на результат. В таких случаях рекомендуется запустить новый сеанс чата.
  • Ответы агента могут быть усечены или заблокированы, если применяются политики Microsoft Purview, касающиеся DLP или ограничения доступа, к базовым источникам данных. Конкретное поведение зависит от конфигурации политики вашей организации.
  • Ресурсы, помеченные как конфиденциальные политиками Purview, могут быть недоступны для агента, что может привести к неполным ответам или невозможности запрашивать определенные источники данных.
  • Взаимодействия с агентами можно регистрировать и обнаруживать с помощью Microsoft Purview Audit и eDiscovery. Организации должны учитывать эти элементы управления при развертывании агентов для конфиденциальных рабочих нагрузок.
  • Доступ к семантическим моделям Power BI с помощью агента данных регулируется правами на чтение модели и не требует доступа на уровне рабочей области. Row-Level Security (RLS) и Column-Level Security (CLS) по-прежнему применяются.

Связанный контент

  • Last updated on