Použití dbx k synchronizaci místních souborů se vzdálenými pracovními prostory v reálném čase

Důležitý

Tato dokumentace byla vyřazena a nemusí být aktualizována.

Databricks doporučuje, abyste místo dbx syncpoužili rozhraní příkazového řádku Databricks verze 0.205 nebo vyšší, která zahrnuje funkce podobné dbx sync prostřednictvím příkazu databricks sync.

Rozšíření Databricks pro Visual Studio Code také zahrnuje funkce podobné dbx sync integrované do integrovaného vývojového prostředí (IDE) editoru Visual Studio Code. Všimněte si, že dbx sync může synchronizovat změny souborů z místního vývojového počítače na DBFS, umístění pracovních prostorů a složky Databricks Git v pracovních prostorech Azure Databricks. Rozšíření Databricks pro Visual Studio Code podporuje synchronizaci změn souborů pouze u souborů uživatele pracovního prostoru (/Users) a složek Databricks Git (/Repos).

Poznámka

Tento článek se zabývá dbx službou Databricks Labs, která je poskytována as-is a není podporována Databricks prostřednictvím kanálů zákaznické technické podpory. Dotazy a žádosti o funkce je možné sdělit na stránce Problémy na úložišti databrickslabs/dbx na GitHubu.

Synchronizaci změn souborů na vašem místním vývojovém počítači s odpovídajícími soubory v pracovních prostorech Azure Databricks můžete provádět v reálném čase pomocí dbx od Databricks Labs. Tyto soubory pracovního prostoru můžou být v DBFS nebo ve složkách Git Databricks.

Synchronizace souborů v reálném čase s dbx (označovanými také jako dbx sync) je užitečná ve scénářích rychlého vývoje kódu. Můžete například použít místní integrované vývojové prostředí (IDE) pro funkce produktivity, jako je zvýrazňování syntaxe, dokončování inteligentního kódu, lintování kódu a testování a ladění. Pak můžete přejít okamžitě do svého pracovního prostoru a spustit aktualizovaný kód.

Můžete použít dbx sync samostatně, s automatizovanými úlohaminebo sIDE .

dbx sync pracovní postupy vývoje

Existují dva vývojové pracovní postupy pro dbx sync, jeden s DBFS a druhý se složkami Databricks Git.

Typický vývojový pracovní postup s dbx sync a DBFS je:

  1. Identifikujte místní adresář obsahující soubory, které chcete synchronizovat s DBFS.
  2. Určete cestu v systému souborů DBFS, se kterou se má místní adresář synchronizovat (nebo nechte dbx sync vytvořit výchozí cestu DBFS za vás).
  3. Spuštěním dbx sync dbfs synchronizujte místní adresář s cestou DBFS. dbx sync začne sledovat změny souborů v místním adresáři.
  4. Podle potřeby proveďte změny souborů v místním adresáři. dbx sync tyto změny použije na odpovídající soubory v cestě DBFS v reálném čase.

Typický pracovní postup vývoje se složkami dbx sync a složkami Gitu Databricks je:

  1. Vytvořte úložiště s poskytovatelem Git, které podporují složky Databricks Git, pokud ještě úložiště nemáte k dispozici.
  2. Naklonujte úložiště do pracovního prostoru Azure Databricks.
  3. Naklonujte úložiště do místního vývojového počítače.
  4. Spuštěním dbx sync repo přidružte místní klonované úložiště k naklonovanému úložišti pracovního prostoru. dbx sync začne sledovat změny souborů v místním adresáři.
  5. Podle potřeby proveďte změny souborů v místním naklonovaném úložišti. dbx sync tyto změny použije v odpovídajících souborech ve složkách Databricks Git v reálném čase.
  6. Pravidelně odsílejte aktualizované soubory z klonovaného úložiště ve vašem pracovním prostoru poskytovateli Gitu, aby úložiště zůstalo aktuální u vašeho poskytovatele Gitu.

Důležitý

dbx sync provádí jednosměrnou synchronizaci změn souborů v reálném čase z místního vývojového počítače do vzdáleného pracovního prostoru. Proto Databricks nedoporučuje provádět změny v pracovním prostoru Azure Databricks na souborech, které jsou monitorovány dbx sync. Pokud musíte provést takové změny souboru iniciovaného pracovním prostorem, musíte také provést následující akce:

  • U změn souborů v DBFS proveďte odpovídající změny místních souborů ručně.
  • U změn souborů ve složkách Databricks Git přesuňte změny souboru z vašeho pracovního prostoru k poskytovateli Gitu. Potom na místním vývojovém počítači stáhněte tyto změny souboru od svého poskytovatele Gitu.

Požadavky

Pokud chcete používat dbx sync se složkami Databricks Git, váš pracovní prostor Azure Databricks musí splňovat následující požadavek:

  • I když není klonování vašeho úložiště u poskytovatele Gitu nutné, doporučuje se.

Na místním počítači pro vývoj musíte mít nainstalovanou následující:

  • Python verze 3.8 nebo novější. Pokud chcete zkontrolovat, jestli je Python nainstalovaný a jestli chcete zkontrolovat nainstalovanou verzi Pythonu, spusťte python --version v terminálu nebo PowerShellu.

    python --version

    Poznámka

    Některé instalace python mohou vyžadovat, abyste místo python3používali python . Pokud ano, nahraďte pythonpython3 v tomto článku.

  • pip. Pokud chcete zkontrolovat, jestli je nainstalovaná pip a jestli chcete zkontrolovat nainstalovanou pip verzi, spusťte pip --version nebo python -m pip --version.

    pip --version

# Or...

python -m pip --version

    Poznámka

    Některé instalace pip mohou vyžadovat, abyste místo pip3používali pip . Pokud ano, nahraďte pippip3 v tomto článku.

  • dbx verze 0.8.0 nebo vyšší. Pokud chcete zkontrolovat, jestli je nainstalovaná dbx a jestli chcete zkontrolovat nainstalovanou dbx verzi, spusťte dbx --version. Pokud chcete nainstalovat dbx z indexu balíčků Pythonu (PyPI), spusťte pip install dbx nebo python -m pip install dbx. (dbx zahrnuje dbx sync.)

    # Check whether dbx is installed, and check its version.
dbx --version

# Install dbx.
pip install dbx

# Or...
python -m pip install dbx

    Poznámka

    Další informace o dbxnajdete v dbx od Databricks Labs a v dokumentaci dbx.

  • Rozhraní příkazového řádku Databricks verze 0.18 nebo nižší, nastavte ověřování. Původní Rozhraní příkazového řádku Databricks (Databricks CLI verze 0.17) se při instalaci dbxautomaticky nainstaluje. Toto ověřování můžete nastavit na místním vývojovém počítači v jednom nebo obou následujících umístěních:

    • V rámci proměnných prostředí DATABRICKS_HOST a DATABRICKS_TOKEN (počínaje starší verzí Databricks CLI verze 0.8.0).
    • V konfiguračním profilu Azure Databricks ve vašem souboru .databrickscfg.

    dbx hledá přihlašovací údaje pro ověřování v těchto dvou umístěních. dbx používá pouze první sadu odpovídajících přihlašovacích údajů, které najde.

    Poznámka

    Pokud používáte soubor .databrickscfg, dbx sync v tomto souboru vyhledá konfigurační profil s názvem DEFAULT ve výchozím nastavení. Pokud chcete zadat jiný profil, použijte možnost --profile při spuštění příkazu dbx sync, jak je uvedeno dále v tomto článku.

    dbx nepodporuje použití souboru .netrc k ověřování.

  • Pokud chcete používat dbx sync se složkami Git Databricks, doporučujeme mít místní klon vašeho úložiště u vašeho poskytovatele Gitu, i když to není vyžadováno. Pokud chcete provést místní klon, projděte si dokumentaci poskytovatele Gitu.

Použití DBFS s dbx sync

  1. V terminálu nebo PowerShellu na místním vývojovém počítači přejděte do adresáře, který obsahuje soubory, které chcete synchronizovat do DBFS v pracovním prostoru Azure Databricks.

  2. Spuštěním příkazu dbx sync synchronizujte místní adresář s DBFS v pracovním prostoru následujícím způsobem. (Nezapomeňte na tečku (.) na konci, což představuje váš aktuální adresář.)

    dbx sync dbfs --source .

    Spropitné

    Pokud chcete zadat jiný zdrojový adresář, nahraďte tečku (.) jinou cestou.

    Poznámka

    Pokud se zobrazí chyba Error: No such command 'sync', instalace dbx pravděpodobně není aktuální. Pokud chcete tento problém vyřešit, spusťte pip install --upgrade dbx==<version> nebo python -m pip install --upgrade dbx==version, kde <version> je nejnovější verze dbx. Toto číslo verze najdete na webové stránce PyPI pro dbx.

    pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  3. dbx sync začne synchronizovat soubory v aktuálním místním adresáři se soubory v následující cestě DBFS ve vašem pracovním prostoru. dbx sync to potvrdí vytištěním Target base path, následovaný cestou DBFS, například:

    /tmp/users/<your-Databricks-username>/<local-directory-name>

    Spropitné

    Pokud chcete zadat jiné uživatelské jméno nebo cestu DBFS, zadejte --user a --dest možnosti při spuštění dbx sync.

  4. Podle potřeby proveďte změny místních souborů.

    Důležitý

    Pokud chcete pokračovat v synchronizaci, musíte mít terminál nebo PowerShell otevřený pro dbx sync. Pokud terminál nebo PowerShell zavřete, dbx sync přestane sledovat změny souborů a přestane se synchronizovat. Pokud chcete obnovit synchronizaci změn souborů, opakujte tento postup od začátku.

  5. Podle potřeby ověřte změny souboru v předchozí cestě v DBFS ve vašem pracovním prostoru.

Používat složky Git Databricks s dbx sync

  1. V terminálu nebo PowerShellu na místním vývojovém počítači přejděte do kořenového adresáře, který obsahuje klon úložiště s vaším poskytovatelem Gitu.

  2. V pracovním prostoru Azure Databricks identifikujte název složky Databricks Git, do které chcete synchronizovat místní klonované úložiště. Název tohoto úložiště najdete kliknutím na složky Gitu na bočním panelu pracovního prostoru.

  3. Na místním vývojovém počítači spusťte příkaz dbx sync, který synchronizuje místní naklonované úložiště do složek Git Databricks ve vašem pracovním prostoru následujícím způsobem a nahradí <your-repo-name> názvem úložiště ve složkách Databricks Git. (Nezapomeňte na tečku (.) na konci, což představuje váš aktuální adresář.)

    dbx sync repo -d <your-repo-name> --source .

    Spropitné

    Pokud chcete zadat jiný zdrojový adresář, nahraďte tečku (.) jinou cestou.

    Poznámka

    Pokud se zobrazí chyba Error: No such command 'sync', instalace dbx pravděpodobně není aktuální. Pokud chcete tento problém vyřešit, spusťte pip install --upgrade dbx==<version> nebo python -m pip install --upgrade dbx==version, kde <version> je nejnovější verze dbx. Toto číslo verze najdete na webové stránce PyPI pro dbx.

    pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  4. dbx sync začne synchronizovat soubory v místním naklonovaném úložišti se soubory ve složkách Databricks Git ve vašem pracovním prostoru. dbx sync to potvrdí vytištěním Target base path následované cestou ke složkám Git na Databricks, například:

    /Repos/<your-Databricks-username>/<your-repo-name>

    Spropitné

    Pokud chcete zadat jiné uživatelské jméno nebo název úložiště, zadejte --user a --dest-repo možnosti při spuštění dbx sync.

  5. Podle potřeby proveďte změny místních souborů.

    Důležitý

    Pokud chcete pokračovat v synchronizaci, musíte mít terminál nebo PowerShell otevřený pro dbx sync. Pokud terminál nebo PowerShell zavřete, dbx sync přestane sledovat změny souborů a přestane se synchronizovat. Pokud chcete obnovit synchronizaci změn souborů, opakujte tento postup od začátku.

  6. Podle potřeby ověřte změny souboru ve složkách Databricks Git ve vašem pracovním prostoru.

Další zdroje informací

  • Last updated on