Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tyto příklady spouštějí rozsáhlou dávkovou inferenci na AI Runtime serverless GPU. Pokrývají řadu modalit, jako je generování textu LLM a převod řeči na text, využívající frameworky jako Ray Data, vLLM a Transformers.
| Example | Interface | Description |
|---|---|---|
| Dávková inference modelu Qwen2.5-32B pomocí Ray Data a vLLM | Notebook | Spusť vícejazyčné dávkové inferování s osmi perzistentními replikami vLLM Qwen2.5-32B-Instruct na 8 H100 GPU a ulož výsledky do Unity Catalog. |
| Dávkový převod řeči na text pomocí Whisper | Notebook | Přepisujte audio dávkově pomocí OpenAI Whisper large-v3-turbo na bezserverových GPU s knihovnami předinstalovanými v AI Runtime. |
| Dávková inference pomocí Qwen2.5-7B-Instruct a vLLM | CLI | Použijte Ray Data a vLLM k generování odpovědí na uzlu s 8× H100 a výsledky zaznamenejte do volumu Unity Catalog jako Parquet. |
| Přepis audia a diarizace pomocí Whisper a pyannote | CLI | Použijte Ray Data k distribuci přepisu řeči a diarizace mluvčích napříč GPU clusterem a výsledky zapisujte do svazku Unity Catalog jako Parquet. |
| Proteinové embeddingy s BioNeMo ESM-2 | CLI | Použijte Ray Data a BioNeMo ESM-2 pro vytváření embeddingů proteinů na uzlu s 8× H100 GPU, poté trénujte a vyhodnoťte lineární klasifikátor membránových proteinů. |
| Dávkové porozumění obrázkům pomocí Qwen3-VL-8B a vLLM | CLI | Použijte Ray Data a vLLM k popiskování a klasifikaci obrázků na 8x H100 uzlu a zapisujte strukturované výsledky do Parquet. |