Наблюдаемость шлюза Unity

Наблюдаемость Unity Gateway позволяет отслеживать стоимость, использование, производительность и доступ к каждому AI-сервису с одной управляющей плоскости, поддерживаемой системными таблицами Unity Catalog. По мере того как команды внедряют агентов для написания кода, копилотов и пользовательских агентов во всей организации, становится всё труднее понять, кто имеет доступ к каким моделям или инструментам, во сколько обходится их использование и корректно ли работают конечные точки. Поскольку каждый запрос проходит через Unity Gateway, вы можете ответить на эти вопросы в одном месте.

Note

Доступ к этим системным таблицам по умолчанию требует как ролей администратора аккаунта, так и метамагазина. Администраторы могут управлять доступом к системным таблицам или публиковать панель использования AI Gateway для обмена анализом использования без предоставления доступа к таблицам.

Требования

Мониторинг затрат

В интерфейсе рабочего пространства перейдите в AI Gateway > Govern > Usage Dashboard > Cost Analysis, чтобы отслеживать расходы в долларах по конечной точке, базовым моделям, предоставляемым Azure Databricks, или пользователю с течением времени. Встроенная панель управления использует таблицы использования и выставления счетов:

Note

Расходы внешней модели рассчитываются на основе опубликованных цен каждого поставщика и являются исключительно информационными. См. внешние модели.

Чтобы распределить расходы по настраиваемым параметрам, используйте теги запросов или сервисов, чтобы группировать затраты по бизнес-подразделению, проекту или любому другому параметру, важному для вашей организации (см. Отслеживание расходов на базовую модель по пользователю, команде или проекту).

См. Анализ стоимости Unity Gateway.

Отслеживайте использование и производительность

Панель использования Unity Gateway (AI Gateway > Govern > Usage Dashboard) отслеживает объём запросов, потребление токенов и задержку для всех конечных точек, управляемых через шлюз. Каждая модель или сервис MCP также имеет встроенную вкладку метрик для мониторинга состояния без выхода из интерфейса Catalog Explorer. Для более глубокого анализа выполните запрос к system.ai_gateway.usage таблице для анализа метрик использования, таких как количество токенов, задержка, теги запросчика и запроса для каждого запроса, проезжаемого через шлюз (см. схему таблицы использования).

Note

Конечные точки шлюза Unity записывают журналы в system.ai_gateway.usage, тогда как конечные точки обслуживания моделей (устаревшие) записывают журналы в system.serving.endpoint_usage.

Распространённые применения:

  • Отслеживайте и оптимизируйте все ваши AI-сервисы в одном месте, по всему вашему AI-стеку
  • Отслеживайте внедрение агентов кодирования и популярность моделей в командах
  • Определите наиболее активных пользователей, сервисы и модели, чтобы выявить возможности для оптимизации

См. Использование моделей трека.

Проверка запросов и ответов

Включите таблицы вывода на сервисе модели для логирования полезных нагрузок запросов и ответов в таблицу Unity Catalog. Используйте таблицы вывода для:

  • Устранение неполадок, связанных с ошибочными или непредвиденными ответами
  • Убедитесь, что защитные механизмы работают, например такие как маскирование персональных данных
  • Проверьте раскрытие конфиденциальных данных

См. запросы журнала и ответы на таблицы выводов.

Доступ к аудиту

Запросите таблицу system.access.audit , чтобы доказать, кто и когда получил доступ к какому сервису ИИ. Чтобы отличить человека, совершающего вызов, от агента, действующего от его имени, используйте поля run_by и run_as в identity_metadata.

Распространённые применения:

  • Создать журнал доступа для отчётности по соблюдению нормативных требований
  • Отличите человека-звонящего от агента, действующего от его имени
  • Поддерживайте централизованный аудит среди агентов кодирования, которыми пользуются ваши команды

См. ссылку на системную таблицу журнала аудита .

Отслеживание зависимостей

Lineage отслеживает зависимости между базовыми моделями и Модельными сервисами, а также их последующим потребителями. Используйте Lineage, чтобы охватить последствия устарения или изменения Модельного сервиса и уведомлять её владельцев.

См. раздел "Происхождение" в каталоге Unity.

Дополнительные ресурсы

  • Last updated on