Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Ces exemples exécutent une inférence batch à grande échelle sur des GPU serverless IA Runtime. Ils couvrent une gamme de modalités, telles que la génération de texte LLM et la reconnaissance vocale en texte, utilisant des frameworks comme Ray Data, vLLM et Transformers.
| Example | Interface | Description |
|---|---|---|
| Inférence par lots avec Qwen2.5-32B, Ray Data et vLLM | Notebook | Exécutez une inférence batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le catalogue Unity. |
| Synthèse vocale en lots avec Whisper | Notebook | Transcrivez l’audio par lots avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime. |
| Inférence par lots avec Qwen2.5-7B-Instruct et vLLM | CLI | Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog sous forme de Parquet. |
| Transcription audio et diarisation avec Whisper et pyannote | CLI | Utilisez Ray Data pour distribuer la transcription vocale et la diarisation des haut-parleurs à travers un cluster GPU et écrivez les résultats dans un volume du catalogue Unity sous forme de Parquet. |
| Incorporations de protéines avec BioNeMo ESM-2 | CLI | Utilisez Ray Data et BioNeMo ESM-2 pour générer des embeddings de protéines sur un nœud H100 de 8x, puis entraîner et évaluer un classificateur linéaire de protéines membranaires. |
| Compréhension des images batch avec Qwen3-VL-8B et vLLM | CLI | Utilisez Ray Data et vLLM pour légender et classer les images sur un nœud H100 8x et écrire des résultats structurés sur Parquet. |
| Classification d’images par lots avec ViT et écriture parallèle | CLI | Classifiez les photos d’animaux avec ViT-Base sur un GPU A10 et enregistrez un JPEG annoté pour chaque prédiction dans un volume du catalogue Unity, en utilisant des écritures parallèles pour que le GPU n’attende pas de stockage. |
| Décodage spéculatif avec SGLang et EAGLE-3 | CLI | Comparez le débit d’inférence par lots de SGLang pour Qwen3-8B sur un GPU H100 avec et sans tête d’ébauche EAGLE-3 pour le décodage spéculatif. |