Kurz: Spuštění kódu z PyCharm na klasických výpočetních prostředcích

Poznámka:

Tento článek se týká Databricks Connect pro Databricks Runtime 13.3 LTS a vyšší.

Databricks Connect umožňuje připojit oblíbená vývojová prostředí IDE, jako je PyCharm, servery poznámkových bloků a další vlastní aplikace k výpočetním prostředkům Azure Databricks. Viz Databricks Connect.

Tento článek ukazuje, jak rychle začít používat Službu Databricks Connect pro Python pomocí PyCharm. Vytvoříte projekt v PyCharm, nainstalujete Databricks Connect pro Databricks Runtime 13.3 LTS a novější a spustíte jednoduchý kód na klasických výpočetních prostředcích v pracovním prostoru Databricks z PyCharm.

Požadavky

K dokončení tohoto kurzu musíte splnit následující požadavky:

  • Váš pracovní prostor, místní prostředí a výpočetní prostředí splňují požadavky služby Databricks Connect pro Python. Viz požadavky na využití Databricks Connect.
  • Máte nainstalovaný PyCharm . Tento kurz byl testován s PyCharm Community Edition 2023.3.5. Pokud používáte jinou verzi nebo edici PyCharm, můžou se následující pokyny lišit.
  • Pokud používáte klasické výpočetní prostředky, budete potřebovat ID clusteru. Pokud chcete získat ID clusteru, klikněte v pracovním prostoru na bočním panelu na Compute a potom na název clusteru. V adresní řádku webového prohlížeče zkopírujte řetězec znaků mezi clusters adresou URL a configuration do adresy URL.

Krok 1: Konfigurace ověřování Azure Databricks

V tomto kurzu se používá ověřování Azure Databricks pomocí OAuth uživatel-stroj (U2M) a konfiguračního profilu Azure Databricks pro autentizaci k vašemu pracovnímu prostoru Azure Databricks. Pokud chcete použít jiný typ ověřování, přečtěte si téma Konfigurace vlastností připojení.

Konfigurace ověřování OAuth U2M vyžaduje rozhraní příkazového řádku Databricks. Informace o instalaci rozhraní příkazového řádku Databricks najdete v tématu Instalace nebo aktualizace rozhraní příkazového řádku Databricks.

Následujícím způsobem zahajte ověřování OAuth U2M:

  1. Pomocí Databricks CLI spusťte místní správu tokenů OAuth tak, že pro každý cílový pracovní prostor použijete následující příkaz.

    V následujícím příkazu nahraďte <workspace-url> adresou URL Azure Databricks per-workspace, například https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Tip

    Pokud chcete s Databricks Connect používat bezserverové výpočetní prostředky, přečtěte si téma Konfigurace připojení k bezserverovým výpočetním prostředkům.

  2. Rozhraní příkazového řádku Databricks vás vyzve k uložení informací, které jste zadali jako profil konfigurace Azure Databricks . Stisknutím klávesy Enter potvrďte navrhovaný název profilu nebo zadejte název nového nebo existujícího profilu. Všechny existující profily se stejným názvem se přepíšou informacemi, které jste zadali. Profily můžete použít k rychlému přepnutí kontextu ověřování napříč několika pracovními prostory.

    Seznam existujících profilů získáte tak, že v samostatném terminálu nebo příkazovém řádku použijete rozhraní příkazového řádku Databricks ke spuštění příkazu databricks auth profiles. Pokud chcete zobrazit existující nastavení konkrétního profilu, spusťte příkaz databricks auth env --profile <profile-name>.

  3. Ve webovém prohlížeči dokončete pokyny na obrazovce, abyste se přihlásili ke svému Azure Databricks pracovnímu prostoru.

  4. V seznamu dostupných clusterů, které se zobrazí v terminálu nebo příkazovém řádku, vyberte cílový Azure Databricks clusteru v pracovním prostoru pomocí šipky nahoru a dolů a stiskněte Enter. Pokud chcete filtrovat seznam dostupných clusterů, můžete také zadat libovolnou část zobrazovaného názvu clusteru.

  5. Pokud chcete zobrazit aktuální hodnotu tokenu OAuth profilu a nadcházející časové razítko vypršení platnosti tokenu, spusťte jeden z následujících příkazů:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Pokud máte více profilů se stejnou --host hodnotou, možná budete muset zadat možnosti --host a -p společně, aby rozhraní příkazového řádku Databricks mohlo najít správné odpovídající informace o tokenu OAuth.

Krok 2: Vytvoření projektu

  1. Spusťte PyCharm.
  2. V hlavní nabídce klikněte na Soubor > Nový Projekt.
  3. V dialogovém okně Nový Project klikněte na Pure Python.
  4. Pro Lokace klikněte na ikonu složky a dokončete pokyny na obrazovce a zadejte cestu k novému projektu Python.
  5. Ponechte vybranou možnost Vytvořit main.py uvítací skript.
  6. Pro typ Interpreter klikněte na Project venv.
  7. Rozbalte Python verzi a pomocí ikony složky nebo rozevíracího seznamu určete cestu k interpretu Python z předchozích požadavků.
  8. Klikněte na Vytvořit.

Vytvoření projektu PyCharm

Krok 3: Přidání balíčku Databricks Connect

  1. V hlavní nabídce PyCharm klikněte na View > Tool Windows > Python Packages.
  2. Do vyhledávacího pole zadejte databricks-connect.
  3. V seznamu úložiště PyPI klikněte na databricks-connect.
  4. V nejnovějším rozevíracím seznamu podokna výsledků vyberte verzi, která odpovídá verzi Databricks Runtime vašeho clusteru. Pokud má váš cluster například nainstalovaný Databricks Runtime 14.3, vyberte 14.3.1.
  5. Klikněte na Instalovat balíček.
  6. Po instalaci balíčku můžete okno Python Packages zavřít.

Instalace balíčku Databricks Connect

Krok 4: Přidání kódu

  1. V okně nástroje Project klikněte pravým tlačítkem na kořenovou složku project a klikněte na Nový > Python Soubor.

  2. Zadejte main.py a dvakrát klikněte na Python soubor.

  3. Do souboru zadejte následující kód a v závislosti na názvu konfiguračního profilu ho uložte.

    Pokud má váš konfigurační profil z kroku 1 název DEFAULT, zadejte do souboru následující kód a pak soubor uložte:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Pokud váš konfigurační profil z kroku 1 není pojmenovaný DEFAULT, zadejte do souboru následující kód. Zástupný symbol <profile-name> nahraďte názvem konfiguračního profilu z kroku 1 a pak soubor uložte:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Krok 5: Spuštění kódu

  1. Spusťte cílový cluster ve vzdáleném pracovním prostoru Azure Databricks.
  2. Po spuštění clusteru v hlavní nabídce klikněte na Spustit 'main'>.
  3. V okně nástroje Run (View > Tool Windows > Run), v hlavním panelu na kartě Run se zobrazí prvních 5 řádků .

Krok 6: Ladění kódu

  1. Pokud je cluster stále spuštěný, klikněte v předchozím kódu na okraj vedle df.show(5) a nastavte zarážku.
  2. V hlavní nabídce klikněte na Spustit ladění 'main'>.
  3. V okně nástroje Debug (View > Tool Windows > Debug), na kartě Debugger v panelu Variables rozbalte uzly proměnných df a spark, abyste mohli procházet informace o df a spark proměnných.
  4. Na bočním panelu okna nástroje Ladění klikněte na zelenou šipku (Resume Program).
  5. V podokně Konzola na kartě Ladicí program se zobrazí prvních 5 řádkůsamples.nyctaxi.trips.

Ladění projektu PyCharm

  • Last updated on