Пакетное прогнозирование

Эти примеры выполняют крупномасштабный пакетный вывод на бессерверных GPU AI Runtime. Они охватывают широкий спектр методов, таких как генерация текста LLM и преобразование речи в текст, используя такие фреймворки, как Ray Data, vLLM и Transformers.

Example	Interface	Description
Пакетный инференс Qwen2.5-32B с помощью Ray Data и vLLM	Notebook	Запустите многоязычную пакетную инференцию с восемью устойчивыми vLLM-репликами Qwen2.5-32B-Instruct на 8 графических процессорах H100 и сохраняйте результаты в Unity Catalog.
Пакетное распознавание речи с помощью Whisper	Notebook	Транскрипируйте аудио пакетами с помощью OpenAI Whisper large-v3-turbo на бессерверных GPU, используя библиотеки, заранее установленные в AI Runtime.
Пакетная инференция с помощью Qwen2.5-7B-Instruct и vLLM	CLI	Используйте Ray Data и vLLM для генерации ответов на узле 8x H100 и записывайте результаты в томе Unity Catalog в формате Parquet.