Sdílet prostřednictvím

AI a Machine Learning v Databricks

  • Článek

Tento článek popisuje nástroje, které Poskytuje Azure Databricks, které vám pomůžou sestavovat a monitorovat pracovní postupy AI a ML. Diagram znázorňuje, jak tyto komponenty spolupracují, abyste mohli implementovat proces vývoje a nasazení modelu.

Diagram strojového učení: Vývoj a nasazení modelů v Databricks

Proč používat Databricks pro strojové učení a hluboké učení?

S Databricks obsluhuje jedna platforma každý krok procesu vývoje a nasazení modelu, od nezpracovaných dat až po tabulky odvozování, které ukládají všechny požadavky a odpovědi na obsluhovaný model. Datoví vědci, datoví inženýři, technici ML a DevOps můžou své úlohy provádět pomocí stejné sady nástrojů a jediného zdroje pravdy pro data.

S platformou datové inteligence je platforma ML a zásobník dat stejný systém. Platforma ML je postavená na datové vrstvě. Všechny datové prostředky a artefakty, jako jsou modely a funkce, jsou zjistitelné a řízené v jednom katalogu. Použití jedné platformy pro data a modely umožňuje sledovat rodokmen z nezpracovaných dat do produkčního modelu. Integrované monitorování dat a modelů ukládá metriky kvality do tabulek, které jsou také uložené na platformě, což usnadňuje identifikaci původní příčiny problémů s výkonem modelu. Další informace o tom, jak Databricks podporuje celý životní cyklus ML a MLOps, najdete v pracovních postupech MLOps v Azure Databricks a co je MLOps Stacks?

Mezi klíčové komponenty platformy datové inteligence patří:

Úlohy Komponenta
Řízení a správa dat, funkcí, modelů a funkcí Také zjišťování, správa verzí a rodokmen. Katalog Unity
Sledování změn dat, kvality dat a kvality předpovědi modelu Lakehouse Monitoring, odvozovací tabulky
Vývoj a správa funkcí Příprava funkcí
Trénování modelů Databricks AutoML, poznámkové bloky Databricks
Sledování vývoje modelů Sledování MLflow
Obsluha vlastních modelů Obsluha modelu AI s architekturou AI.
Nasazení LLM Rozhraní API základního modelu, externí modely
Vytváření automatizovaných pracovních postupů a kanálů ETL připravených pro produkční prostředí Pracovní postupy Databricks
Integrace Gitu Složky Gitu pro Databricks

Hluboké učení v Databricks

Konfigurace infrastruktury pro aplikace hlubokého učení může být obtížná.

Databricks Runtime pro Machine Learning se o to postará za vás. Clustery s integrovanými kompatibilními verzemi nejběžnějších knihoven hlubokého učení, jako jsou TensorFlow, PyTorch a Keras, a podpůrné knihovny, jako jsou Petastorm, Hyperopt a Horovod. Clustery Databricks Runtime ML také zahrnují předem nakonfigurovanou podporu GPU s ovladači a podpůrnými knihovnami. Podporuje také knihovny, jako je Ray , aby paralelizoval výpočetní zpracování pro škálování pracovních postupů ML a aplikací umělé inteligence.

Clustery Databricks Runtime ML také zahrnují předem nakonfigurovanou podporu GPU s ovladači a podpůrnými knihovnami. Rozhraní AI Model Serving umožňuje vytvářet škálovatelné koncové body GPU pro modely hlubokého učení bez další konfigurace.

Pro aplikace strojového učení doporučuje Databricks používat cluster se spuštěným Modulem Databricks Runtime pro Machine Learning. Viz Vytvoření clusteru pomocí Databricks Runtime ML.

Pokud chcete začít s hloubkovým učením v Databricks, přečtěte si:

Velké jazykové modely (LLM) a generování umělé inteligence v Databricks

Databricks Runtime pro Machine Learning zahrnuje knihovny, jako je Hugging Face Transformers a LangChain , které umožňují integrovat existující předem natrénované modely nebo jiné opensourcové knihovny do pracovního postupu. Integrace Databricks MLflow usnadňuje používání služby sledování MLflow s transformátorovými kanály, modely a komponentami zpracování. Kromě toho můžete integrovat modely OpenAI nebo řešení od partnerů, jako je John Snow Labs , do pracovních postupů Azure Databricks.

Pomocí Azure Databricks můžete přizpůsobit LLM pro vaše data pro konkrétní úlohu. Díky podpoře opensourcových nástrojů, jako je Hugging Face a DeepSpeed, můžete efektivně využít základní LLM a vytrénovat je vlastními daty, abyste zlepšili jeho přesnost pro vaši konkrétní doménu a úlohu. Pak můžete využít vlastní LLM v generovaných aplikacích AI.

Kromě toho Databricks poskytuje rozhraní API pro základní modely a externí modely , které umožňují přístup k špičkovým otevřeným modelům a dotazování na nich z obslužného koncového bodu. Vývojáři můžou pomocí rozhraní API pro základní modely rychle a snadno vytvářet aplikace, které využívají vysoce kvalitní model generující AI, aniž by si zachovali vlastní nasazení modelu.

Pro uživatele SQL databricks poskytuje funkce AI, které můžou datoví analytici SQL použít pro přístup k modelům LLM, včetně openAI, přímo v rámci svých datových kanálů a pracovních postupů. Viz funkce AI v Azure Databricks.

Databricks Runtime pro Machine Learning

Databricks Runtime pro Machine Learning (Databricks Runtime ML) automatizuje vytváření clusteru s předem vytvořenou infrastrukturou strojového učení a hlubokého učení, včetně nejběžnějších knihoven ML a DL. Úplný seznam knihoven v každé verzi Databricks Runtime ML najdete v poznámkách k verzi.

Pokud chcete získat přístup k datům v katalogu Unity pro pracovní postupy strojového učení, musí být režim přístupu clusteru jeden uživatel (přiřazený). Sdílené clustery nejsou kompatibilní s modulem Databricks Runtime pro Machine Learning. Kromě toho databricks Runtime ML není podporován v clusterech nebo clusterech TableACLs s nastaveným spark.databricks.pyspark.enableProcessIsolation config nastavením true.

Vytvoření clusteru pomocí Databricks Runtime ML

Při vytváření clusteru vyberte v rozevírací nabídce verze Modulu runtime Databricks verzi databricks RUNTIME ML. K dispozici jsou moduly runtime ML s podporou procesoru i GPU.

Výběr databricks Runtime ML

Pokud v poznámkovém bloku vyberete cluster z rozevírací nabídky, zobrazí se v pravé části názvu clusteru verze Databricks Runtime:

Zobrazení verze ml modulu runtime Databricks

Pokud vyberete modul runtime ML s podporou GPU, zobrazí se výzva k výběru kompatibilního typu ovladače a typu pracovního procesu. Nekompatibilní typy instancí se v rozevírací nabídce zobrazují šedě. Typy instancí s podporou GPU jsou uvedeny pod popiskem akcelerovaných GPU.

Poznámka:

Pokud chcete získat přístup k datům v katalogu Unity pro pracovní postupy strojového učení, musí být režim přístupu clusteru jeden uživatel (přiřazený). Sdílené clustery nejsou kompatibilní s modulem Databricks Runtime pro Machine Learning. Podrobnosti o tom, jak vytvořit cluster, najdete v referenčních informacích ke konfiguraci výpočetních prostředků.

Photon a Databricks Runtime ML

Když vytvoříte cluster procesoru s modulem Databricks Runtime 15.2 ML nebo novějším, můžete povolit Photon. Photon zlepšuje výkon pro aplikace využívající Spark SQL, Spark DataFrames, vytváření funkcí, GraphFrames a xgboost4j. Neočekává se, že by se zlepšil výkon aplikací využívajících sady RDD Sparku, uživatelem definované soubory Pandas a jiné jazyky než JVM, jako je Python. Balíčky Pythonu, jako jsou XGBoost, PyTorch a TensorFlow, proto neuvidí vylepšení s Photon.

Rozhraní API Spark RDD a Spark MLlib mají omezenou kompatibilitu s Photon. Při zpracování velkých datových sad pomocí sady Spark RDD nebo Spark MLlib může docházet k problémům s pamětí Sparku. Viz problémy s pamětí Sparku.

Knihovny zahrnuté v databricks Runtime ML

Databricks Runtime ML zahrnuje celou řadu oblíbených knihoven ML. Knihovny se aktualizují s každou verzí, aby zahrnovaly nové funkce a opravy.

Databricks určila podmnožinu podporovaných knihoven jako knihovny nejvyšší úrovně. Pro tyto knihovny poskytuje Databricks rychlejší tempo aktualizace a aktualizaci na nejnovější verze balíčků s každou verzí modulu runtime (blokování konfliktů závislostí). Databricks také poskytuje pokročilou podporu, testování a vložené optimalizace pro knihovny nejvyšší úrovně.

Úplný seznam nejvyšších a dalších poskytovaných knihoven najdete v poznámkách k verzi pro Databricks Runtime ML.

Další kroky

Pokud chcete začít, přečtěte si:

Doporučený pracovní postup MLOps ve službě Databricks Machine Learning najdete tady:

Informace o klíčových funkcích služby Databricks Machine Learning najdete tady: