Поделиться через

Мониторинг затрат на обслуживание модели

  • Статья

В этой статье приведены примеры использования системных таблиц для отслеживания стоимости конечных точек службы модели ИИ Мозаики в учетной записи Azure Databricks.

Требования

  • Чтобы получить доступ к системным таблицам, рабочая область должна быть включена для каталога Unity. Дополнительные сведения см. в разделе "Включение схем системной таблицы".

Номер SKU системной таблицы использования выставления счетов

Вы можете отслеживать затраты на обслуживание моделей в Azure Databricks с помощью оплачиваемой системной таблицы. После включения системной таблицы использования выставления счетов таблица автоматически заполняется последней версией использования в учетной записи Databricks. Затраты отображаются в system.billing.usage таблице со столбцом sku_name как одно из следующих:

sku_name Description
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Этот номер SKU включает все базы данных, полученные при запуске конечной точки после масштабирования до нуля.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Все остальные затраты на обслуживание модели группируются по этому номеру SKU. Где tier соответствует уровню платформы Azure Databricks и region соответствует облачному региону развертывания Azure Databricks.

Запрос и визуализация использования

Вы можете запросить таблицу system.billing.usage , чтобы агрегировать все субД (единицы Databricks), связанные с мозаичной моделью ИИ. Ниже приведен пример запроса, который объединяет модели, обслуживающие базы данных в день за последние 30 дней с помощью SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Панель мониторинга наблюдаемости затрат

Чтобы приступить к мониторингу затрат на обслуживание моделей, скачайте пример панели мониторинга по присвоению затрат с GitHub. См . панель мониторинга атрибуции затрат на обслуживание моделей.

После скачивания JSON-файла импортируйте панель мониторинга в рабочую область. Инструкции по импорту панелей мониторинга см. в разделе "Импорт файла панели мониторинга".

Как использовать эту панель мониторинга

Эта панель мониторинга работает с помощью ИИ/BI и должна иметь доступ к системным таблицам. Она предоставляет аналитические сведения о затратах и использовании конечной точки обслуживания на уровне рабочей области.

Следующие действия по началу работы:

  1. Введите идентификатор рабочей области.
  2. Выберите дату начала и дату окончания.
  3. Отфильтруйте панель мониторинга, выбрав имя конкретной конечной точки в раскрывающемся списке (если вы заинтересованы в конкретной конечной точке).
  4. Введите ключ тега отдельно, если для конечной точки используются пользовательские теги.

Примечание.

Служба моделей применяет ограничения по умолчанию для рабочей области, чтобы гарантировать отсутствие расходов. См . ограничения и регионы обслуживания моделей.

Диаграммы, которые можно использовать

На этой панели мониторинга включены следующие диаграммы. Они должны быть отправной точкой для создания собственной настраиваемой версии модели, обслуживающей панель мониторинга затрат.

  • Последние 7 дней основного потребления конечных точек
  • Ежедневное $DBU использования
  • Затраты на обслуживание модели по типу конечной точки
    • Оплата за токен
    • ЦП и GPU
    • Базовая модель
  • Ежедневное потребление на тип обслуживания модели
  • Топ-10 наиболее дорогостоящих конечных точек
  • Первые 10 наиболее дорогостоящих конечных точек с оплатой за токен
  • LlM Fine configuration Last 7 days Spend
  • LlM Fine configuration Spend Per Email

Использование тегов для мониторинга затрат

Изначально агрегированные затраты могут быть достаточно для наблюдения за общими затратами на обслуживание моделей. Однако по мере увеличения числа конечных точек может потребоваться разорвать затраты на основе варианта использования, бизнес-единицы или других пользовательских идентификаторов. Служба моделей поддерживает создание пользовательских тегов, которые можно применить к конечным точкам обслуживания модели.

Все настраиваемые теги, применяемые к конечным точкам обслуживания модели, распространяются в system.billing.usage таблицу в столбце custom_tags и могут использоваться для статистической обработки и визуализации затрат. Databricks рекомендует добавлять описательные теги в каждую конечную точку для точного отслеживания затрат.

Примеры запросов

Основные конечные точки по затратам:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Затраты с тегами ("business_unit": "обработка данных") со временем:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Дополнительные ресурсы

Примеры отслеживания затрат на задания в вашей учетной записи см. в разделе "Мониторинг затрат на задания" с помощью системных таблиц.