Мониторинг затрат на обслуживание модели

В этой статье приведены примеры использования системных таблиц для отслеживания стоимости конечных точек службы модели ИИ Мозаики в учетной записи Azure Databricks.

Требования

  • Чтобы получить доступ к системным таблицам, рабочая область должна быть настроена для каталога Unity. Дополнительные сведения см. в разделе "Включение системных таблиц".

Номер SKU системной таблицы использования выставления счетов

Вы можете отслеживать затраты на обслуживание моделей с помощью системной таблицы учёта платных ресурсов в Azure Databricks. После активации системной таблицы использования выставления счетов она автоматически заполняется самыми последними данными об использовании в учетной записи Databricks. Затраты отображаются в system.billing.usage таблице со столбцом sku_name как одно из следующих:

sku_name Описание
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Этот SKU включает все накопленные DBU при запуске конечной точки после масштабирования до нуля.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Все остальные затраты на обслуживание модели группируются по этому номеру SKU. Где tier соответствует уровню платформы Azure Databricks и region соответствует облачному региону развертывания Azure Databricks.

Запрос и визуализация использования

Вы можете запросить таблицу system.billing.usage, чтобы агрегировать все DBU (единицы Databricks), связанные с обслуживанием моделей Mosaic AI. Ниже приведен пример запроса, который объединяет модели, обслуживающие базы данных в день за последние 30 дней с помощью SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Использование задач пакетного инференса

Вы можете запросить таблицу system.billing.usage, чтобы изолировать единицы Databricks, которые использовались для рабочих нагрузок пакетной инференции.


SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE"

Для списка всех конечных точек обслуживания моделей, имеющих рабочие нагрузки пакетного вывода, используйте следующее:


SELECT DISTINCT(usage_metadata.endpoint_name)
FROM system.billing.usage
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

См. дополнительные примеры в разделе "Просмотр затрат для рабочих нагрузок пакетного прогнозирования".

Панель мониторинга наблюдаемости затрат

Чтобы приступить к мониторингу затрат на обслуживание моделей, скачайте пример панели мониторинга по присвоению затрат с GitHub. См . панель мониторинга атрибуции затрат на обслуживание моделей.

После скачивания JSON-файла импортируйте панель мониторинга в рабочую область. Инструкции по импорту панелей мониторинга см. в разделе "Импорт файла панели мониторинга".

Как использовать эту панель мониторинга

Эта панель мониторинга работает с помощью ИИ/BI и должна иметь доступ к системным таблицам. Предоставляет данные о затратах и использовании служебных конечных точек на уровне рабочей области.

Начните с следующих шагов:

  1. Введите идентификатор рабочей области.
  2. Выберите дату начала и дату окончания.
  3. Отфильтруйте панель мониторинга, выбрав имя конкретной конечной точки в раскрывающемся списке (если вы заинтересованы в конкретной конечной точке).
  4. Введите ключ тега отдельно, если для конечной точки используются пользовательские теги.

Примечание.

Служба моделей применяет ограничения по умолчанию для рабочей области, чтобы гарантировать отсутствие неконтролируемых расходов. См. ограничения на обслуживание моделей и регионы.

Диаграммы, которые можно использовать

На этой панели мониторинга включены следующие диаграммы. Они должны быть отправной точкой для создания собственной настраиваемой версии модели, обслуживающей панель мониторинга затрат.

  • Последние 7 дней основного потребления конечных точек
  • Ежедневное общее использование $DBU
  • Затраты на обслуживание модели по типу конечной точки
    • Оплата за токен
    • ЦП и GPU
    • Базовая модель
  • Ежедневное потребление на тип обслуживания модели
  • Десятка наиболее дорогостоящих служебных конечных точек
  • Первые 10 наиболее дорогостоящих конечных точек с оплатой за токен
  • LLM тонкая настройка расходы за последние 7 дней
  • Тонкая настройка LLM Затраты на одно электронное письмо

Использование тегов для мониторинга затрат

Изначально агрегированные затраты могут быть достаточно для наблюдения за общими затратами на обслуживание моделей. Однако по мере увеличения числа конечных точек может потребоваться распределить затраты на основе варианта использования, бизнес-подразделения или других пользовательских идентификаторов. Служба моделей поддерживает создание пользовательских тегов, которые можно применить к конечным точкам обслуживания модели.

Все настраиваемые теги, применяемые к конечным точкам обслуживания модели, распространяются в system.billing.usage таблицу в столбце custom_tags и могут использоваться для статистической обработки и визуализации затрат. Databricks рекомендует добавлять описательные теги в каждую конечную точку для точного отслеживания затрат.

Примеры запросов

Основные конечные точки по затратам:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Затраты с тегами ("business_unit": "обработка данных") со временем:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Дополнительные ресурсы

Примеры отслеживания затрат на задания в учетной записи см. в статье Мониторинг затрат на задания & производительности с помощью системных таблиц.

  • Last updated on