Migrujte klasické úlohy GPU do serverless prostředí

Pokud přesouváte existující úlohu hloubkového učení z klasického clusteru Databricks (s Modulem Databricks Runtime ML) do bezserverového prostředí (s využitím AI Runtime), postupujte takto:

1. Nahraďte kód závislý na clusteru. Odstraňte všechny odkazy na distribuované trénování založené na Sparku (například TorchDistributor) a nahraďte je dekorátorem @distributed z Databricks AI Runtime SDK (databricks.air).
2. Aktualizujte načítání dat. Nahraďte přímé cesty DBFS cestami ke svazkům katalogu Unity (/Volumes/...). Nahraďte místní operace datového rámce Sparku službou Spark Connect. Pro streamování souborových dat ze svazků použijte UCVolumeDataset z databricks.air.data. Viz též Načtení dat v AI Runtime.
3. Nastavte prostředí. Některé předinstalované knihovny Databricks Runtime ML nejsou v AI Runtime dostupné. Nastavte bezserverové prostředí GPU a nainstalujte balíčky, které vaše úloha potřebuje, pomocí %pip install. Viz Nastavení prostředí.
4. Aktualizujte cesty kontrolních bodů. Přesun kontrolních bodů ze systému souborů DBFS nebo místního úložiště do svazků katalogu Unity (/Volumes/<catalog>/<schema>/<volume>/...). Pro distribuované ukládání kontrolních bodů použijte UCVolumeWriter a UCVolumeReader z databricks.air.data, které směrují vstupně-výstupní operace přes místní NVMe. Viz Checkpoint s funkcí Distributed Checkpoint (DCP).
5. Zkontrolujte svou konfiguraci MLflow. V prostředí AI Runtime rozhraní .distributed() API automaticky vytváří běhy MLflow. Pro přizpůsobení experimentu nastavte absolutní cestu. Pro obnovení přerušených běhů nastavte název běhu. Podívejte se na to, co MLflow poskytuje.
6. Nejprve interaktivně testujte. Před naplánováním pracovní zátěže jako úlohy ji ověřte v interaktivním poznámkovém bloku.