Použití XGBoost v Azure Databricks

Tento článek obsahuje příklady trénování modelů strojového učení pomocí XGBoost v Azure Databricks. Databricks Runtime pro Machine Learning obsahuje knihovny XGBoost pro Python i Scala. Modely XGBoost můžete trénovat na jednotlivých počítačích nebo distribuovaným způsobem.

Trénování modelů XGBoost na jednom uzlu

Modely můžete trénovat pomocí balíčku Pythonu xgboost . Tento balíček podporuje pouze úlohy s jedním uzlem. Informace o trénování pipeline PySpark ML a možnostech využití distribuovaného trénování najdete v tématu Distribuované trénování modelů XGBoost.

Python notebook pro XGBoost

Pořiďte si notebook

Distribuované trénování modelů XGBoost

Pro distribuované trénování modelů XGBoost zahrnuje Databricks estimátory PySpark založené na xgboost balíčku. Ve verzích Databricks Runtime 16.4 LTS ML a starších Databricks také aktivně zahrnuje balíček xgboost-4j Scala. Podrobnosti a ukázkové poznámkové bloky najdete v následujících tématech:

• Distribuované trénování modelů XGBoost pomocí xgboost.spark (Databricks Runtime 12.0 ML a novější)
• Distribuované trénování modelů XGBoost pomocí sparkdl.xgboost (zastaralé od Databricks Runtime 12.0 ML)
• Distribuované trénování modelů XGBoost pomocí Scala

Instalace XGBoost na Azure Databricks

Pokud potřebujete nainstalovat XGBoost do Databricks Runtime nebo použít jinou verzi než ta, která je předinstalovaná v Databricks Runtime ML, postupujte podle těchto pokynů.

Nainstalujte XGBoost na Databricks Runtime ML

XGBoost je součástí modulu Databricks Runtime ML. Tyto knihovny můžete v modulu Databricks Runtime ML používat bez nutnosti instalovat jakékoli balíčky.

Informace o verzi knihovny XGBoost nainstalované ve vaší verzi modulu Databricks Runtime ML najdete v poznámkách k verzím. Pokud chcete v modulu Databricks Runtime ML nainstalovat jinou verzi Pythonu, nainstalujte XGBoost jako knihovnu Databricks PyPI. Zadejte ji následujícím způsobem a nahraďte <xgboost version> požadovanou verzí.

xgboost==<xgboost version>

Instalace knihovny XGBoost v modulu Databricks Runtime

• Balíček Pythonu: V buňce poznámkového bloku spusťte následující příkaz:

  %pip install xgboost
  

Pokud chcete nainstalovat konkrétní verzi, nahraďte <xgboost version> požadovanou verzí:

  %pip install xgboost==<xgboost version>

• Balíčky Scala/Java: Nainstalujte jako knihovnu Databricks s názvem balíčku Spark xgboost-linux64.