Планирование управления затратами на Службу Azure OpenAI

В этой статье описывается, как спланировать затраты и управлять ими для Службы OpenAI Azure. Перед развертыванием службы используйте калькулятор цен Azure для оценки затрат на Azure OpenAI. Позже при развертывании ресурсов Azure просмотрите предполагаемые затраты. После начала использования ресурсов Azure OpenAI используйте функции управления затратами, чтобы задать бюджеты и отслеживать затраты.

Вы также можете просмотреть прогнозируемые затраты и определить тенденции расходов, чтобы определить области, в которых может потребоваться действовать. Затраты на службу Azure OpenAI являются лишь частью ежемесячных расходов в счете Azure. Хотя эта статья посвящена планированию затрат на Azure OpenAI и управлению ими, вы оплачиваете все службы и ресурсы Azure, используемые в подписке Azure, включая сторонние службы.

Необходимые компоненты

Анализ затрат в службе управления затратами поддерживает большинство типов учетных записей Azure, но не все. Полный список поддерживаемых типов учетных записей см. в статье Understand Cost Management data (Интерпретация данных службы "Управление затратами"). Чтобы просмотреть данные о затратах, для учетной записи Azure нужен как минимум доступ на чтение. Дополнительные сведения о назначении доступа к данным службы "Управление затратами" Azure см. в этой статье.

Оценка затрат перед использованием Azure OpenAI

Используйте калькулятор цен Azure для оценки затрат на использование Azure OpenAI.

Общие сведения о полной модели выставления счетов Azure OpenAI

Служба Azure OpenAI выполняется в инфраструктуре Azure, которая взимает затраты при развертывании новых ресурсов. Могут возникнуть другие затраты на инфраструктуру, которые могут начисляться. В следующих разделах описано, как взимается плата за службу Azure OpenAI.

Модели базовых серий и серий Codex

Плата за модели Azure OpenAI базовой серии и серии Codex взимается за 1000 лексем. Затраты зависят от выбранной серии моделей: Ada, Babbage, Curie, Davinci или Code-Cushman.

Модели Azure OpenAI понимают и обрабатывают текст, разбивая его на маркеры. Каждая типичная лексема на английском языке содержит примерно четыре символа.

Плата за использование лексем взимается как за входные, так и за выходные данные. Например, предположим, что у вас есть 1000 пример кода JavaScript маркера, который вы запрашиваете модель Azure OpenAI для преобразования в Python. Вы будете взиматься примерно 1000 маркеров для первоначального запроса ввода, а 1000 дополнительных маркеров для выходных данных, полученных в ответ на общей сложности 2000 маркеров.

На практике для этого типа вызова завершения входные и выходные данные маркера не будут идеально 1:1. Преобразование из одного языка программирования в другой может привести к более длительным или коротким выходным данным в зависимости от многих факторов. Одним из таких факторов является значение, назначенное параметру max_tokens .

Модели с точной настройкой серии Base Series и Codex

Плата за модели Azure OpenAI с точной настройкой зависит от трех факторов:

• часы обучения;
• часы размещения;
• вывод на 1000 лексем.

Затраты на размещение важно учитывать, так как после развертывания точно настроенной модели она продолжает нести почасовую стоимость независимо от того, активно ли вы используете ее. Внимательно следите за затратами на модель с точной настройкой.

Внимание

После развертывания настраиваемой модели, если в любое время развертывание остается неактивным в течение более чем пятнадцати дней (15) развертывание удаляется. Развертывание настраиваемой модели неактивно, если модель была развернута более чем через 15 дней назад, а в течение непрерывного 15-дневного периода вызовы завершений или завершения чата не выполнялись.

Удаление неактивного развертывания не влияет на базовую настраиваемую модель, а настраиваемую модель можно повторно развернуть в любое время.

Каждая настраиваемая (настраиваемая) модель, которая развернута, несет почасовую стоимость размещения независимо от того, выполняются ли вызовы завершения или завершения чата в модель. .

Другие затраты, которые могут начисляться с помощью Службы Azure OpenAI

Включение таких возможностей, как отправка данных в журналы Azure Monitor и оповещение, влечет за собой дополнительные затраты на эти службы. Такие затраты отображаются на уровне этих служб и на уровне подписки, но не на уровне ресурса Azure OpenAI.

Использование предварительной оплаты Azure с azure OpenAI Service

Вы можете оплатить расходы на службу Azure OpenAI с помощью кредита на предоплату Azure. Однако вы не можете использовать кредит на предоплату Azure для оплаты за сторонние продукты и услуги, включая эти продукты и службы, найденные в Azure Marketplace.

Код ответа на ошибки HTTP и состояние выставления счетов в службе Azure OpenAI

Если служба выполняет обработку, может взиматься плата, даже если код состояния не выполнен (не 200). Например, ошибка 400 из-за фильтра содержимого или ограничения ввода или ошибки 408 из-за времени ожидания.

Если служба не выполняет обработку, плата не будет взиматься. Например, ошибка 401 из-за проверки подлинности или ошибки 429 из-за превышения предела скорости.

Мониторинг затрат

При использовании ресурсов Azure с Azure OpenAI взимается плата. Затраты на единицу использования ресурсов Azure зависят от интервалов времени, таких как секунды, минуты, часы и дни, или по единицам использования, например байтам и мегабайтам. Как только начнется использование Azure OpenAI, затраты могут возникнуть, и вы можете увидеть затраты в анализе затрат.

При использовании анализа затрат вы просматриваете затраты Azure OpenAI в графах и таблицах для разных интервалов времени. Например, можно отслеживать данные за день, текущий и предыдущий месяц и год. Вы также можете просматривать затраты по бюджету и прогнозируемые затраты. Чтобы выявить тенденции по затратам, можно выбрать представления затрат в динамике за более длительный срок. Вы можете увидеть, где произошла перерасходка. Если вы создали бюджеты, можно легко увидеть, где наблюдается перерасход по бюджетам.

Чтобы просмотреть затраты Azure OpenAI в анализе затрат:

1. Войдите на портал Azure.
2. Выберите один из ресурсов Azure OpenAI.
3. В разделе "Управление ресурсами" выберите "Анализ затрат"
4. По умолчанию анализ затрат область для отдельного ресурса Azure OpenAI.

Чтобы понять разбивку того, что составляет эти затраты, она может помочь изменить группу по счетчику и переключить тип диаграммы на Line. Теперь вы увидите, что для этого конкретного ресурса источник затрат поступает из трех различных рядов моделей с токенами Text-Davinci, которые представляют большую часть затрат.

Важно понимать, область при оценке затрат, связанных с Azure OpenAI. Если ресурсы являются частью одной группы ресурсов, вы можете область анализ затрат на этом уровне, чтобы понять влияние на затраты. Если ресурсы распределяются по нескольким группам ресурсов, вы можете область на уровне подписки.

При область более высокого уровня часто необходимо добавить дополнительные фильтры, чтобы сосредоточиться на использовании Azure OpenAI. При область на уровне подписки вы увидите множество других ресурсов, которые могут не беспокоиться в контексте управления затратами Azure OpenAI. При область на уровне подписки рекомендуется перейти к полному средству анализа затрат в службе "Управление затратами".

Ниже приведен пример использования средства анализа затрат для просмотра накопленных затрат для подписки или группы ресурсов:

1. Выполните поиск по управлению затратами в верхней строке поиска Azure, чтобы перейти к полному интерфейсу службы, который включает дополнительные варианты, такие как создание бюджетов.
2. При необходимости выберите изменение , если область : не указывает на группу ресурсов или подписку, которую вы хотите проанализировать.
3. Слева выберите "Отчеты и аналитика затрат".>
4. На вкладке "Все представления" выберите "Накопленные затраты".

На панели мониторинга анализа затрат отображаются накопленные затраты, которые анализируются в зависимости от того, что вы указали для области.

Если вы попытаетесь добавить фильтр по службе, вы обнаружите, что в списке не удается найти Azure OpenAI. Эта ситуация возникает, так как Azure OpenAI имеет общую черту с подмножеством служб ИИ Azure, где фильтр уровня обслуживания — Cognitive Services. Если вы хотите просмотреть все ресурсы Azure OpenAI в подписке без других типов ресурсов служб ИИ Azure, вместо этого область на уровень служб: Azure OpenAI:

Создание бюджетов

Вы можете создать бюджеты для управления затратами и создания оповещений , которые уведомляют заинтересованных лиц о аномалиях и избыточных рисках. Оповещения основываются на расходах по сравнению с пороговыми значениями бюджета и затрат. Вы создаете бюджеты и оповещения для подписок и групп ресурсов Azure. Они полезны в рамках общей стратегии мониторинга затрат.

Вы можете создавать бюджеты с фильтрами для определенных ресурсов или служб в Azure, если требуется более детальное представление в мониторинге. Фильтры помогают предотвратить случайное создание новых ресурсов, позволяя избежать дополнительных затрат. Дополнительные сведения о параметрах фильтра при создании бюджета см. в разделе Параметры группы и фильтра.

Внимание

Хотя OpenAI имеет возможность для жестких ограничений, которые препятствуют переходу по бюджету, Azure OpenAI в настоящее время не предоставляет эту функцию. Вы можете запустить автоматизацию из групп действий в рамках уведомлений бюджета, чтобы выполнить более сложные действия, но это требует дополнительной пользовательской разработки для вашей части.

Экспорт данных о затратах

Вы также можете экспортировать данные о затратах в учетную запись хранения, что полезно, если вам нужны другие пользователи, чтобы выполнить дополнительный анализ данных за затраты. Например, специалисты по финансам могут анализировать данные с помощью Excel или Power BI. Можно экспортировать данные о затратах ежедневно, еженедельно или ежемесячно и задать настраиваемый диапазон дат. Мы рекомендуем экспортировать данные затрат в качестве способа получения наборов данных затрат.

Следующие шаги

• Как оптимизировать инвестиции в облако с помощью службы "Управление затратами Azure".
• Ознакомьтесь с дополнительными сведениями об управлении затратами с помощью анализа затрат.
• Узнайте, как предотвратить непредвиденные затраты.
• Пройдите интерактивный курс обучения по управлению затратами.