Inferência em lote

Estes exemplos executam inferência em lote em grande escala em GPUs serverless de IA Runtime. Abrangem uma variedade de modalidades, como geração de texto LLM e speech-to-text, utilizando frameworks como Ray Data, vLLM e Transformers.

Example	Interface	Description
Inferência em lote com Qwen2.5-32B, Ray Data e vLLM	Notebook	Execute inferência em lote multilíngue com oito réplicas vLLM persistentes do Qwen2.5-32B-Instruct em 8 GPUs H100 e guarde os resultados no Unity Catalog.
Conversão de fala em texto em lote com Whisper	Notebook	Transcreve áudio em lotes com o OpenAI Whisper large-v3-turbo em GPUs sem servidor, usando bibliotecas pré-instaladas no AI Runtime.
Inferência em lote com Qwen2.5-7B-Instruct e vLLM	CLI	Use Ray Data e vLLM para gerar respostas num nó H100 8x e escreva os resultados num volume do Unity Catalog como Parquet.
Transcrição áudio e diarização com Whisper e pyannote	CLI	Utilize o Ray Data para distribuir a transcrição de voz e a diarização de altifalantes através de um cluster de GPU e escreva os resultados num volume do Unity Catalog como Parquet.
Embeddings de proteínas com BioNeMo ESM-2	CLI	Utilize o Ray Data e o BioNeMo ESM-2 para gerar embeddings de proteínas num nó de 8x H100, depois treine e avalie um classificador linear de proteínas de membrana.
Compreensão de imagem em lote com Qwen3-VL-8B e vLLM	CLI	Use Ray Data e vLLM para criar legendas para imagens e classificar imagens num nó H100 8x e escrever resultados estruturados em Parquet.