DBFS CLI (örökölt)

  • Cikk

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül.

Ezek az információk az örökölt Databricks CLI 0.18-s és újabb verzióira vonatkoznak. A Databricks azt javasolja, hogy helyette a Databricks CLI 0.205-ös vagy újabb verzióját használja. Lásd: Mi a Databricks parancssori felület? A Databricks parancssori felület verziójának megkereséséhez futtassa a következőt databricks -v: .

Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

A Databricks DBFS CLI-alparancsokat futtatja, és hozzáfűzi őket databricks fs (vagy az aliast dbfs) az összes DBFS-elérési út előtagjához dbfs:/. Ezek az alparancsok a DBFS API-t hívják.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

A több mint 10 ezer fájlt listázó, áthelyező vagy törölni kívánt műveletek esetében erősen elriasztjuk a DBFS parancssori felület használatát.

  • A list művelet (databricks fs ls) körülbelül 60 év után időtúllépést fog végrehajtani.
  • A move művelet (databricks fs mv) körülbelül 60 év elteltével időtúllépést eredményez, ami részben áthelyezett adatokat eredményezhet.
  • A delete művelet (databricks fs rm) növekményesen törli a fájlkötegeket.

Javasoljuk, hogy az ilyen műveleteket a fürt környezetében végezze el a Fájlrendszer segédprogram (dbutils.fs) használatával. dbutils.fs a DBFS REST API funkcionális hatókörét fedi le, de a jegyzetfüzetekből. Az ilyen műveletek jegyzetfüzetek használatával történő futtatása jobb vezérlést biztosít, például szelektív törlést, kezelhetőséget és az időszakos feladatok automatizálásának lehetőségét.

Korlátozások

A Databricks DBFS parancssori felület tűzfalbarát tárolókkal való használata nem támogatott. A Databricks a Databricks Connect vagy az az storage használatát javasolja.

Fájl tartalmának listázása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs cat --help:

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Fájl másolása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs cp --help:

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Siker esetén ez a parancs nem jelenít meg semmit.

Fájlok és könyvtárak adatainak listázása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs ls --help:

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Könyvtár létrehozása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs mkdirs --help:

databricks fs mkdirs dbfs:/tmp/new-dir

Siker esetén ez a parancs nem jelenít meg semmit.

Fájl áthelyezése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs mv --help:

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Siker esetén ez a parancs nem jelenít meg semmit.

Fájl törlése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs rm --help:

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.