Elosztott LLM-köteg-következtetés

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

Ezen a lapon jegyzetfüzet-példákat talál az LLM-kötegkövetkeztetéshez a Ray Data használatával, amely egy méretezhető adatfeldolgozási kódtár AI-számítási feladatokhoz, kiszolgáló nélküli GPU-számításon.

Kötegelt következtetés a vLLM és a Ray Data használatával

Ez a jegyzetfüzet bemutatja, hogyan futtathat LLM-következtetést nagy méretekben a Ray Data és a vLLM használatával kiszolgáló nélküli GPU-n. Az elosztott kiszolgáló nélküli GPU API használatával automatikusan kiépít és kezel többcsomópontos A10 GPU-kat az elosztott következtetéshez.

vLLM Batch-következtetés

Jegyzetfüzet szerezz

Kötegelt következtetés a SGLang és a Ray Data használatával

Az SGLang az LLM-ek nagy teljesítményű kiszolgálói keretrendszere. Ez a jegyzetfüzet bemutatja, hogyan futtathat LLM-kötegkövetkeztetést SGLang és Ray Data használatával a Databricks kiszolgáló nélküli GPU-n.

SGLang Batch-következtetés

Jegyzetfüzet szerezz