Dávkové odvozování

Tyto příklady spouštějí rozsáhlou dávkovou inferenci na AI Runtime serverless GPU. Pokrývají řadu modalit, jako je generování textu LLM a převod řeči na text, využívající frameworky jako Ray Data, vLLM a Transformers.

Example Interface Description
Dávková inference modelu Qwen2.5-32B pomocí Ray Data a vLLM Notebook Spusť vícejazyčné dávkové inferování s osmi perzistentními replikami vLLM Qwen2.5-32B-Instruct na 8 H100 GPU a ulož výsledky do Unity Catalog.
Dávkový převod řeči na text pomocí Whisper Notebook Přepisujte audio dávkově pomocí OpenAI Whisper large-v3-turbo na bezserverových GPU s knihovnami předinstalovanými v AI Runtime.
Dávková inference pomocí Qwen2.5-7B-Instruct a vLLM CLI Použijte Ray Data a vLLM k generování odpovědí na uzlu s 8× H100 a výsledky zaznamenejte do volumu Unity Catalog jako Parquet.
Přepis audia a diarizace pomocí Whisper a pyannote CLI Použijte Ray Data k distribuci přepisu řeči a diarizace mluvčích napříč GPU clusterem a výsledky zapisujte do svazku Unity Catalog jako Parquet.
Proteinové embeddingy s BioNeMo ESM-2 CLI Použijte Ray Data a BioNeMo ESM-2 pro vytváření embeddingů proteinů na uzlu s 8× H100 GPU, poté trénujte a vyhodnoťte lineární klasifikátor membránových proteinů.
Dávkové porozumění obrázkům pomocí Qwen3-VL-8B a vLLM CLI Použijte Ray Data a vLLM k popiskování a klasifikaci obrázků na 8x H100 uzlu a zapisujte strukturované výsledky do Parquet.