Пакетный вывод с использованием распределенных LLM.

Это важно

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

На этой странице представлены примеры ноутбуков для пакетной инференции LLM с использованием Ray Data, масштабируемой библиотеки обработки данных для нагрузок ИИ на безсерверных вычислениях с использованием GPU.

Пакетная инференция с использованием vLLM и Ray Data

В этом ноутбуке показано, как выполнять инференцию LLM в масштабе с помощью Ray Data и vLLM на бессерверном GPU. Он использует API распределенных бессерверных GPU для автоматической подготовки и управления несколькими узлами A10 GPU для распределенного вывода.

Пакетный вывод vLLM

Получите ноутбук

Пакетная инференция с использованием SGLang и Ray Data

SGLang — это высокопроизводительная платформа обслуживания для LLM. В этой записной книжке показано, как запустить пакетное вывод LLM с помощью SGLang и Ray Data на бессерверном GPU Databricks.

Пакетный вывод SGLang

Получите ноутбук