Пакетное прогнозирование

Important

Эта функция доступна в общедоступной предварительной версии.

Эти ноутбуки выполняют крупномасштабный пакетный инференс на бессерверных графических процессорах AI Runtime. Они охватывают широкий спектр методов, таких как генерация текста LLM и преобразование речи в текст, используя такие фреймворки, как Ray Data, vLLM и Transformers.

Tutorial	Description
Пакетный инференс Qwen2.5-32B с помощью Ray Data и vLLM	Запустите многоязычную пакетную инференцию с восемью устойчивыми vLLM-репликами Qwen2.5-32B-Instruct на 8 графических процессорах H100 и сохраняйте результаты в Unity Catalog.
Пакетное распознавание речи с помощью Whisper	Транскрипируйте аудио пакетами с помощью OpenAI Whisper large-v3-turbo на бессерверных GPU, используя библиотеки, заранее установленные в AI Runtime.