Пакетное прогнозирование

Эти примеры выполняют крупномасштабный пакетный вывод на бессерверных GPU AI Runtime. Они охватывают широкий спектр методов, таких как генерация текста LLM и преобразование речи в текст, используя такие фреймворки, как Ray Data, vLLM и Transformers.

Example	Interface	Description
Пакетный инференс Qwen2.5-32B с помощью Ray Data и vLLM	Notebook	Запустите многоязычную пакетную инференцию с восемью устойчивыми vLLM-репликами Qwen2.5-32B-Instruct на 8 графических процессорах H100 и сохраняйте результаты в Unity Catalog.
Пакетное распознавание речи с помощью Whisper	Notebook	Транскрипируйте аудио пакетами с помощью OpenAI Whisper large-v3-turbo на бессерверных GPU, используя библиотеки, заранее установленные в AI Runtime.
Пакетная инференция с помощью Qwen2.5-7B-Instruct и vLLM	CLI	Используйте Ray Data и vLLM для генерации ответов на узле 8x H100 и записывайте результаты в томе Unity Catalog в формате Parquet.
Аудиотранскрипция и диаризация с помощью Whisper и pyannote	CLI	Используйте Ray Data для распределения транскрипции речи и диаризации говорящих по кластеру GPU и записывайте результаты в том Unity Catalog как Parquet.
Белковые эмбеддинги с BioNeMo ESM-2	CLI	Используйте Ray Data и BioNeMo ESM-2 для эмбеддинга белков на узле с 8× H100, затем обучайте и оценивайте линейный классификатор мембранных белков.
Пакетное понимание изображений с помощью Qwen3-VL-8B и vLLM	CLI	Используйте Ray Data и vLLM для генерации подписей и классификации изображений на узле с 8x H100 и записи структурированных результатов в Parquet.