Mik azok a munkaterületfájlok?

A munkaterületfájlok a Databricks-munkaterület fájlrendszerében tárolt és kezelt fájlok. A munkaterület fájljai szinte bármilyen típusú fájl lehetnek. Gyakori példák a következők:

  • Jegyzetfüzetek (.ipynb)
  • Forrásjegyzetfüzetek (.py, .sql, .rés .scala)
  • SQL-lekérdezések (.dbquery.ipynb)
  • Irányítópultok (.lvdash.json)
  • Riasztások (.dbalert.json)
  • Python egyéni modulokban használt fájlok (.py)
  • YAML-konfiguráció (.yaml vagy .yml)
  • Markdown-(.md) fájlok, például README.md
  • Szövegfájlok (.txt) vagy más kis adatfájlok (.csv)
  • Könyvtárak (.whl, .jar)
  • Naplófájlok (.log)

Feljegyzés

A Genie-ügynökök és -kísérletek nem lehetnek munkaterületfájlok.

A fájlok használatával kapcsolatos javaslatokért tekintse meg Kötetekben és munkaterületfájlokban lévő fájlokra vonatkozó javaslatok.

A Azure Databricks munkaterület fájlfája tartalmazhat a "Databricks Git-mappák" nevű Git-adattárhoz csatolt mappákat. A Git-mappákra további fájltípus-korlátozások vonatkoznak. A Git-mappákban (korábbi nevén "Repos") támogatott fájltípusok listájáért lásd: A Git-mappákban támogatott eszköztípusok.

Fontos

A Munkaterület-fájlok alapértelmezés szerint mindenhol engedélyezve vannak a Databricks Runtime 11.2-es verziójában. Éles számítási feladatokhoz használja a Databricks Runtime 11.3 LTS vagy újabb verzióját. Ha nem fér hozzá ehhez a funkcióhoz, forduljon a munkaterület rendszergazdájához.

Mit tehet a munkaterület fájljaival?

Azure Databricks számos munkaterületi fájltípus helyi fejlesztéséhez hasonló funkciókat biztosít, beleértve a beépített fájlszerkesztőt is. Az összes fájltípushoz nem minden használati eset támogatott.

A munkaterület-fájlokhoz való hozzáférést a jegyzetfüzet-interakciók ismerős mintáival hozhatja létre, szerkesztheti és kezelheti. A könyvtárimportálásokhoz a munkaterület fájljaira relatív elérési útvonalak használhatók, hasonlóan a helyi fejlesztéshez. További információ:

A munkaterületfájlokban tárolt Init-szkriptek speciális viselkedést igényelnek. A munkaterület fájljaival bármilyen Databricks Runtime-verzióban tárolhat és hivatkozhat init-szkriptekre. Lásd Store init scripts in workspace files.

Feljegyzés

A Databricks Runtime 14.0 és annál magasabb verziókban a helyi kód alapértelmezett jelenlegi munkakönyvtára (CWD) az a könyvtár, amely tartalmazza a futtatott jegyzetfüzetet vagy szkriptet. Ez a viselkedésváltozás a Databricks Runtime 13.3 LTS és a korábbi verziók esetén következik be. Lásd : Mi az alapértelmezett aktuális munkakönyvtár?.

Szerver nélküli számítás esetén a munkakönyvtár nem garantált, ezért használj abszolút útvonalakat a referencia fájlokhoz. Lásd a kiszolgáló nélküli számítási korlátozásokat.

Korlátozások

  • Ha a munkafolyamat egy távoli Git-adattárban található forráskódot használ, nem írhat az aktuális könyvtárba, és nem írhat relatív elérési úttal. Adatok írása más helyválasztási lehetőségekhez.
  • A standard Git mappákban nem használhatsz git parancsokat, amikor workspace fájlokra mented, és könyvtárak létrehozása .git sem engedélyezett. A Git mappák Git CLI hozzáféréssel rendelkeznek, támogatják a szabványos git parancsokat. Lásd: Mikor kap Git CLI-hozzáférést egy Git-mappa?
  • A végrehajtók nem tudnak munkaterületfájlokba írni.
  • A symlinkek csak a /Workspace gyökérmappában lévő célkönyvtárak esetében támogatottak, például os.symlink("/Workspace/Users/someone@example.com/Testing", "Testing").
  • A munkaterület-fájlok nem érhetők el a felhasználó által definiált függvényekből (UDF-ekből) a standard hozzáférési móddal rendelkező fürtökön a Databricks Runtime 14.2 és az ennél régebbi verziókban.
  • A jegyzetfüzetek csak munkaterületi fájlokként támogatottak a Databricks Runtime 16.2 és újabb verziókban, valamint a szerver nélküli 2 és újabb környezetben.
  • A jegyzetfüzetek nem importálhatók Python modulként a Databricks Runtime 16.0-s vagy újabb verziója esetén. Ehelyett váltsa fel a jegyzetfüzet formátumát, vagy ha importálni szeretné a kódot, a jegyzetfüzetet újra kell bontania egy Python fájlba.
  • A lekérdezések, riasztások és irányítópultok csak munkaterületfájlokként támogatottak a Databricks Runtime 16.4-ben és újabb verziókban, valamint a kiszolgáló nélküli 2 . és újabb környezetben. Ezen kívül ezek a munkaterületfájlok nem nevezhetők át.
  • Csak a jegyzetfüzetek és fájlok támogatják a megtekintést és a szerkesztést fájlrendszerparancsokkal, például %sh ls.

Fájlméretkorlát

  • A munkaterület fájlmérete legfeljebb 500 MB lehet. A korlátnál nagyobb fájlokat letölteni vagy létrehozni próbáló műveletek sikertelenek lesznek.

Fájlhozzáférés engedélykorlátja

Az alábbi /Workspace mappákban lévő fájlok elérésére vonatkozó engedély 36 óra után lejár interaktív számítás esetén, 30 nap után a feladatok esetén. A Databricks azt javasolja, hogy a hosszú ideig futó végrehajtásokat feladatként futtassa, ha /Workspace fájlhozzáférésre van szükségük.

Az a feladat, amely 30 napnál tovább fut folyamatosan, elveszíti a hozzáférést a /Workspace alatti fájlokhoz. A hozzáférés megőrzéséhez legalább 30 naponta indítsd újra a munkát. Ez azokra a feladatokra is vonatkozik, amelyek egy távoli Git tárolóból származó forráskódot használnak, mert a feladat a kicsekkolt tárolót egy /Workspace alatti elérési útról olvassa.

Munkaterületfájlok engedélyezése

A Databricks-munkaterületen lévő nem jegyzetfüzetfájlok támogatásának engedélyezéséhez hívja meg a /api/2.0/workspace-conf REST API-t egy jegyzetfüzetből vagy más környezetből, amely hozzáfér a Databricks-munkaterülethez. A munkaterület fájljai alapértelmezés szerint engedélyezve vannak.

A Databricks-munkaterületen lévő nem jegyzetfüzetfájlok támogatásának engedélyezéséhez vagy újbóli engedélyezéséhez hívja meg a /api/2.0/workspace-conf, és kérje le a enableWorkspaceFilesystem kulcs értékét. Ha trueértékre van állítva, a nem jegyzetfüzet-fájlok már engedélyezve vannak a munkaterületen.

Az alábbi példa bemutatja, hogyan hívhatja meg ezt az API-t egy jegyzetfüzetből annak ellenőrzéséhez, hogy a munkaterület fájljai le vannak-e tiltva, és ha igen, hogyan engedélyezheti újra azokat.

Példa: Jegyzetfüzet a Databricks-munkaterület fájltámogatásának újbóli engedélyezéséhez

Jegyzetfüzet lekérése

  • Last updated on