DBFS CLI (örökölt)

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül.

Ezek az információk az örökölt Databricks CLI 0.18-s és újabb verzióira vonatkoznak. A Databricks azt javasolja, hogy helyette a Databricks CLI 0.205-ös vagy újabb verzióját használja. Lásd a Databricks parancssori felületét. A Databricks parancssori felület verziójának megkereséséhez futtassa a következőt databricks -v: .

Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

A Databricks DBFS CLI alparancsokat úgy futtatja, hogy azokat hozzáfűzi a databricks fs (vagy az aliast dbfs), és minden DBFS-elérési utat dbfs:/-val/-vel előtagol. Ezek az alparancsok a DBFS API-t hívják.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

A több mint 10 ezer fájlt listázó, áthelyező vagy törölni kívánt műveletek esetében erősen elriasztjuk a DBFS parancssori felület használatát.

  • A list művelet (databricks fs ls) körülbelül 60 másodperc után időtúllépést fog adni.
  • A move művelet (databricks fs mv) körülbelül 60 másodperc elteltével időtúllépést eredményez, ami részben áthelyezett adatokat eredményezhet.
  • A delete művelet (databricks fs rm) növekményesen törli a fájlkötegeket.

Javasoljuk, hogy az ilyen műveleteket egy fürtön belül végezze el a Fájlrendszer segédprogram (dbutils.fs) használatával. dbutils.fs a DBFS REST API funkcionális hatókörét fedi le, de jegyzetfüzetekből kiindulva. Az ilyen műveletek jegyzetfüzetek használatával történő futtatása jobb vezérlést biztosít, például szelektív törlést, kezelhetőséget és az időszakos feladatok automatizálásának lehetőségét.

Korlátozások

A Databricks DBFS parancssori felület tűzfalbarát tárolókkal való használata nem támogatott. A Databricks a Databricks Connect vagy az az storage használatát javasolja.

Fájl tartalmának listázása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs cat --help:

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Fájl másolása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs cp --help:

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Siker esetén ez a parancs nem jelenít meg semmit.

Fájlok és könyvtárak adatainak listázása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs ls --help:

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Címtár létrehozása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs mkdirs --help:

databricks fs mkdirs dbfs:/tmp/new-dir

Siker esetén ez a parancs nem jelenít meg semmit.

Fájl áthelyezése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs mv --help:

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Siker esetén ez a parancs nem jelenít meg semmit.

Fájl törlése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks fs rm --help:

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.
  • Last updated on