Пропускная способность инференса по масштабной модели

Постепенно увеличивайте трафик модели через Unity Gateway при запуске рабочей нагрузки или переключении моделей. Эти рекомендации применяются к проприетарным моделям и моделям с открытыми весами, предоставляемым Azure Databricks, а также к моделям, доступным через подключенных внешних провайдеров.

Постепенно увеличивайте трафик

Доступная мощность зависит от модели, поставщика, региона и режима обработки. Запросы могут сталкиваться с временными ошибками нехватки ресурсов, даже если трафик остаётся в пределах установленных лимитов скорости. Само по себе увеличение квоты не резервирует обслуживающую мощность.

Для увеличения пропускной способности:

1. Проверьте настроенные ограничения скорости сервиса и лимиты для модели или внешнего провайдера. Оценивайте скорости входных и выходных токенов, а также одновременные запросы, включая размеры типичных запросов и ответов.
2. Начинайте с известного стабильного уровня трафика. Для новой рабочей нагрузки начинайте с небольшой репрезентативной нагрузки.
3. Увеличивайте трафик небольшими шагами. Удерживать каждый уровень на постоянном уровне, отслеживая долю успешных запросов, задержку, использование токенов, глубину очереди и ошибки троттлинга или нехватки мощности. Снова увеличивайте только тогда, когда нагрузка стабильна и соответствует рабочим целям вашего приложения.
4. Если троттлинг, ошибки пропускной способности или задержка возрастают сверх уровня, допустимого для вашего приложения, приостановите наращивание трафика и вернитесь к последнему стабильному уровню трафика. Сократите параллелизм и отложите в очередь или отложите работу с меньшим приоритетом.

Выбирайте размеры шагов и периоды наблюдений в зависимости от вашей нагрузки и рекомендаций по модели или поставщику. Повторяйте эту проверку при смене моделей, регионов или вычислительных ресурсов обслуживания.

Обрабатывайте ошибки троттлинга и нехватки ресурсов

Проверьте как статус HTTP, так и тело ошибки из вызываемого вами API. Коды ошибок и сообщения могут различаться между унифицированными и нативными API провайдера.

Response	Смысл и действие
429 Too Many Requests	Настроенное ограничение частоты запросов или ограничение на стороне нижестоящего сервиса не позволяют выполнить запрос. Некоторые провайдеры также ограничивают резкие всплески трафика. Определите лимит из тела ошибок, снижайте частоту запросов и постепенно увеличивайте трафик. Если ошибка требует изменения квоты или оплаты, устраните эту проблему перед повторной попыткой.
503 Service Unavailable	Сервис или модель временно не может обслужить запрос. Это может произойти при увеличении трафика, даже при трафике ниже настроенных ограничений скорости. Попробуйте повторить в пределах ограниченного бюджета и приостановите ramp, если ошибки сохраняются.
Другие ошибки перегрузки у провайдера	Некоторые API провайдеров используют другие ответы, например 529, при временной перегрузке. Следуйте указаниям по ошибкам для провайдера и API, который вы используете.

Одна ошибка нехватки ресурсов сама по себе не свидетельствует о том, что происходит автомасштабирование, и не указывает, когда ресурсы станут доступными.

Настройте повторные попытки

• Уважайте заголовок Retry-After , когда он есть в ответе. В противном случае повторите попытку при возникновении временных ошибок троттлинга и нехватки пропускной способности с экспоненциальной задержкой и случайным джиттером.
• Ограничите общее количество попыток и прошедшее время, чтобы соответствовать допустимой задержке вашего приложения. Если ошибки сохраняются, сокращайте трафик вместо того, чтобы добавлять повторные попытки.
• Перед добавлением повторных попыток приложения проверьте поведение SDK. Учитывайте повторные попытки на всех уровнях, чтобы нагрузка не увеличивалась.
• Обрабатывайте ошибки после начала потокового ответа в потребителе потока. Повторное воспроизведение запроса после получения вывода может дублировать вывод или работу.

При постоянных ошибках свяжитесь с командой аккаунта Databricks, предоставив идентификаторы запросов, временные метки, имена моделей и провайдеров, наблюдаемые скорости токенов, параллелизм и график роста трафика. Для подключённых внешних провайдеров также проверьте статус услуг провайдера и лимиты аккаунта.

Пакетное прогнозирование

Для больших офлайн-рабочих нагрузок с поддерживаемыми моделями используйте AI-функции, которые управляют параллелизацией, повторами и масштабированием. Следуйте их рекомендациям по пакетному инференсу, вместо того чтобы применять отдельный цикл повторных попыток для каждой строки.