Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Cette fonctionnalité est disponible en préversion publique.
Ces exemples exécutent une inférence batch à grande échelle sur des GPU serverless IA Runtime. Ils couvrent une gamme de modalités, telles que la génération de texte LLM et la reconnaissance vocale en texte, utilisant des frameworks comme Ray Data, vLLM et Transformers.
| Example | Interface | Description |
|---|---|---|
| Inférence par lots avec Qwen2.5-32B, Ray Data et vLLM | Notebook | Exécutez une inférence batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le catalogue Unity. |
| Conversion vocale en série avec Whisper | Notebook | Transcrivez l’audio par lots avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime. |
| Inférence batch avec Qwen2.5-7B-Instruct et vLLM | CLI | Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog sous forme de Parquet. |