Dela via

Använda Eclipse med PyDev och Databricks Connect för Python

  • Artikel

Kommentar

Den här artikeln beskriver Databricks Connect för Databricks Runtime 13.3 LTS och senare.

Den här artikeln beskriver hur du använder Databricks Connect för Scala och Eclipse med PyDev. Med Databricks Connect kan du ansluta populära IDE:er, notebook-servrar och andra anpassade program till Azure Databricks-kluster. Se Vad är Databricks Connect?.

Kommentar

Innan du börjar använda Databricks Connect måste du konfigurera Databricks Connect-klienten.

Följ dessa instruktioner om du vill använda Databricks Connect och Eclipse med PyDev.

  1. Starta Eclipse.
  2. Skapa ett projekt: klicka på Arkiv Nytt projekt PyDev > PyDev-projekt och klicka sedan på Nästa.> > >
  3. Ange ett projektnamn.
  4. För Project-innehåll anger du sökvägen till din virtuella Python-miljö.
  5. Klicka på Konfigurera en tolk innan du förökar dig.
  6. Klicka på Manuell konfiguration.
  7. Klicka på Ny > bläddra efter python/pypy exe.
  8. Bläddra till och välj den fullständiga sökvägen till Python-tolken som refereras från den virtuella miljön och klicka sedan på Öppna.
  9. I dialogrutan Välj tolk klickar du på OK.
  10. Klicka på OK i dialogrutan Markering som behövs.
  11. I dialogrutan Inställningar klickar du på Tillämpa och stäng.
  12. I dialogrutan PyDev-projekt klickar du på Slutför.
  13. Klicka på Öppna perspektiv.
  14. Lägg till en Python-kodfil (.py) i projektet som innehåller antingen exempelkoden eller din egen kod. Om du använder din egen kod måste du åtminstone initiera DatabricksSession enligt exempelkoden.
  15. När Python-kodfilen är öppen anger du eventuella brytpunkter där du vill att koden ska pausas när den körs.
  16. Om du vill köra koden klickar du på Kör > kör. All Python-kod körs lokalt, medan all PySpark-kod som involverar DataFrame-åtgärder körs på klustret på den fjärranslutna Azure Databricks-arbetsytan och körningssvar skickas tillbaka till den lokala anroparen.
  17. Om du vill felsöka koden klickar du på Kör > felsökning. All Python-kod debuggas lokalt, medan all PySpark-kod fortsätter att köras på klustret på den fjärranslutna Azure Databricks-arbetsytan. Spark-motorns kärnkod kan inte kopplas direkt från klienten.

Mer specifika instruktioner för körning och felsökning finns i Köra ett program.