Ray o czasie rzeczywistym AI

Ważna

Ta funkcja jest dostępna w publicznej wersji testowej.

Uwaga / Notatka

Ta strona opisuje Raya na temat AI Runtime. Jeśli używasz Ray na klasycznym obliczeniu Databricks z Databricks Runtime ML, zobacz Ray on Databricks.

Ray to open source framework do skalowania obciążeń Python. Możesz tworzyć klastry Ray i uruchamiać aplikacje Ray na AI Runtime, korzystając z procesorów GPU bez serwera, które automatycznie zarządza infrastrukturą.

AI Runtime CLI obsługuje Ray w konfiguracjach pojedynczych i wielowęzłowych. Umieść skrypt bootstrap pod obciążeniem command, który uruchamia klaster Ray i koordynuje węzły głowy i pracownika podczas uruchamiania obciążenia. Przykłady Raya Hello World przechodzą przez ten schemat.

AI Runtime obsługuje podstawowe biblioteki Ray, w tym Ray Core, Ray Data, Ray Train oraz Ray Tune. Zainstaluj bibliotekę ray lub odpowiedni dodatek Ray (ray[data], ray[train], ray[tune]) jako zależność dla swojego obciążenia na standardowym środowisku Databricks. Jeśli korzystasz ze środowiska AI Databricks, jest to preinstalowane, ray ale dodatkowe elementy muszą być zainstalowane osobno.

Examples

Example	Opis
Przykłady Ray hello world (CLI)	Minimalne przykłady pojedynczych i wielowęzłowych dla Ray Core, Ray Train, Ray Data i Ray Tune, w tym wzorzec bootstrap klastra.
Szkolenie rozproszone z Ray Train (CLI)	Dopracuj duży model językowy na wielu węzłach za pomocą Ray Train i PyTorch.
Wnioskowanie wsadowe z użyciem danych Ray i vLLM (CLI)	Uruchamianie wnioskowania wsadowego na dużą skalę, wykorzystując Ray Data do rozproszonego ładowania danych oraz vLLM dla efektywnego serwowania modeli.