Databricks-alkalmazás üzembe helyezése

Az Azure Databricks alkalmazás létrehozása és fejlesztése után telepítse azt, hogy elérhetővé tegye az Azure Databricks munkaterületen. Az üzembe helyezés létrehozza az alkalmazást, telepíti a függőségeket, és a projektfájlokban meghatározott konfigurációval futtatja azt. Az alkalmazásokat a Azure Databricks felhasználói felületén vagy a Databricks parancssori felületén helyezheti üzembe.

Megjegyzés:

Ha sablonból hoz létre alkalmazást, Azure Databricks automatikusan üzembe helyezi azt az első létrehozáskor. A módosítások végrehajtása után azonban később is újra üzembe helyezheti. Lásd: Databricks-alkalmazás létrehozása sablonból.

Üzembehelyezési logika

A Databricks Apps támogatja azokat az alkalmazásokat, amelyek Python, Node.jsvagy mindkettő kombinációját használják. Ez lehetővé teszi a rugalmas architektúrákat, például egy Node.js előtérrendszert Python háttérrendszerrel.

Az üzembe helyezés során a build folyamat egy package.json fájlt keres az alkalmazáskönyvtár gyökerénél annak megállapításához, hogy Node.js van-e használva. Ha van ilyen, a csomópontspecifikus buildelési lépéseket is tartalmazza Python lépések mellett. Az üzembehelyezési logika a következő mintát követi:

Ha package.json jelen van:

  1. Telepítse Node.js függőségeket. Ha pnpm-lock.yaml jelen van, futtassa pnpm install --frozen-lockfile; ellenkező esetben futtassa npm install. Lásd: Node.js függőségek definiálása.
  2. Telepítse Python függőségeket:
    • Ha requirements.txt létezik, futtassa a pip install -r requirements.txt
    • Ha requirements.txt nem létezik, és pyproject.toml és uv.lock léteznek, futtassa uv sync a függőségek telepítéséhez
  3. Futtassa a build parancsfájlt, ha az meg van határozva a(z) package.json fájlban (npm run build vagy pnpm run build).
  4. Futtassa a(z) app.yaml elemben megadott parancsot. Alkalmazások eseténnpm, ha nincs megadva parancs, Azure Databricks fut.npm run start pnpm az alkalmazásoknak meg kell adniuk egy parancsot a következőben app.yaml: .

Megjegyzés:

A npm alkalmazások esetében, ha a app.yaml elemben nincs megadva parancs, az Azure Databricks a npm run start elemet hajtja végre, akkor is, ha az alkalmazás Python-kódot tartalmaz. A Python és Node.js folyamatok futtatásához definiáljon egy egyéni start szkriptet, amely a concurrently eszközhöz hasonló eszközt használ mindkettő elindításához. Például: concurrently "npm run start:node" "python my_app.py".

Ha package.json nincs jelen:

  1. Telepítse Python függőségeket:
    • Ha requirements.txt létezik, futtassa a pip install -r requirements.txt
    • Ha requirements.txt nem létezik, és pyproject.toml és uv.lock léteznek, futtassa uv sync a függőségek telepítéséhez
  2. Futtassa a megadott app.yamlparancsot, vagy python <my-app>.py ha nincs megadva parancs

Felkészülés az üzembe helyezésre

Az alkalmazás üzembe helyezése előtt ellenőrizze, hogy a projekt tartalmazza-e a szükséges összetevőket:

Emellett győződjön meg arról, hogy az alkalmazás szolgáltatásprincipális hozzáfér a forráskód mappához.

Telepítési forrás kiválasztása

A Databricks-alkalmazásokat a következő forrásokból helyezheti üzembe:

  • Munkaterületi mappa – Alkalmazásfájlok feltöltése munkaterületi mappába, és onnan üzembe helyezés. Ez a szabványos üzembe helyezési módszer. Lásd: Üzembe helyezés munkaterületi mappából.
  • Git-adattár – Git-adattár konfigurálása egy alkalmazáshoz, és közvetlen üzembe helyezés anélkül, hogy fájlokat töltenének fel a munkaterületre. Az alkalmazás minden üzembe helyezéskor beolvassa a kódot a konfigurált Git-referenciaból (ág, címke vagy véglegesítés). Lásd: Üzembe helyezés Git-adattárból.

Ugyanahhoz az alkalmazáshoz bármikor válthat a munkaterület és a Git-források között. Lásd az alkalmazás frissítését vagy ismételt üzembe helyezését.

Az alkalmazás üzembe helyezése

A következő szakaszok leírják, hogyan lehet üzembe helyezni munkahelyi mappából vagy közvetlenül Git-adattárból.

Üzembe helyezés munkaterületi mappából

Databricks felhasználói felület

Alkalmazás üzembe helyezése a Azure Databricks felhasználói felületén:

  1. Töltse fel az alkalmazásfájlokat a Azure Databricks munkaterületre. Útmutatásért lásd : Fájl importálása.
  2. A Databricks-munkaterületen kattintson az Alkalmazás ikonra, válassza a Databricks alkalmazások közül a Databricks Apps lehetőséget.
  3. Válassza ki az alkalmazást a Név oszlopban.
  4. Kattintson az Üzembe helyezés gombra , és válassza ki azt a mappát a munkaterületen, ahová feltöltötte az alkalmazásfájlokat.
  5. Kattintson a Kiválasztás, majd az Üzembe helyezés gombra.

A Databricks parancssori felülete

Alkalmazás üzembe helyezése a parancssori felület használatával:

  1. Nyisson meg egy terminált, és keresse meg az alkalmazásfájlokat tartalmazó könyvtárat.

  2. Töltse fel az alkalmazásfájlokat a Azure Databricks munkaterületre a sync paranccsal. Cserélje le az elérési utat arra a munkaterületre, ahová fel szeretné tölteni a fájlokat.

    databricks sync --watch . /Workspace/Users/my-email@org.com/my-app
    

    A --watch jelölő folyamatosan futtatja a szinkronizálási folyamatot, és automatikusan feltölti a módosításokat a fájlok helyi módosításakor. Ha bizonyos fájlokat vagy könyvtárakat ki szeretne zárni a szinkronizálásból, vegye fel őket egy .gitignore fájlba a helyi alkalmazáskönyvtárban. A kizárandó gyakori fájlok a következők: node_modules/, .env, __pycache__/, .DS_Store, valamint minden nagy adatfájl vagy build-artefaktum.

  3. Ellenőrizze a feltöltést a munkaterület fájljainak megtekintésével. Kattintson az Alkalmazás ikonra. alkalmazásváltóban az >Analytics and AI elemre, majd a Munkaterület ikonMunkaterület elemre, és navigáljon az alkalmazáshoz létrehozott könyvtárhoz.

  4. Telepítse az alkalmazást az alábbi parancs futtatásával. Cserélje le az alkalmazás nevét és a forráskód elérési útját az értékekre.

    databricks apps deploy my-app-name \
       --source-code-path /Workspace/Users/my-email@org.com/my-app
    

    A parancssori felület megjeleníti az üzembe helyezés előrehaladását, és megerősíti az alkalmazás futását.

Üzembe helyezés Git-adattárból

Ha git-adattárból szeretne üzembe helyezni egy alkalmazást, adja hozzá az adattárat az alkalmazás szintjén, majd az üzembe helyezéskor adja meg a Git-referenciát. A Git-adattárnak tartalmaznia kell az alkalmazásfájlokat, beleértve app.yamla függőségeket és a belépési pontot. Minden fő Git-szolgáltató támogatott, beleértve a GitHub, a GitLab és a Bitbucket szolgáltatást. A Git által támogatott alkalmazásokat a felhasználói felület, a parancssori felület, az API vagy a Deklaratív automatizálási csomagok használatával is üzembe helyezheti.

Databricks felhasználói felület

Alkalmazás konfigurálása és üzembe helyezése a Gitből:

  1. Töltse fel az alkalmazásfájlokat egy Git-adattárba.
  2. A Databricks-munkaterületen kattintson az Alkalmazás ikonra, válassza a Databricks alkalmazások közül a Databricks Apps lehetőséget.
  3. Jelöljön ki egy szerkeszteni kívánt meglévő alkalmazást, vagy kattintson az + Alkalmazás létrehozása elemre, majd hozzon létre egy egyéni alkalmazást. Lásd : Egyéni Databricks-alkalmazás létrehozása.
  4. A Git konfigurálása lépésben adja meg a Git-adattár URL-címét (például https://github.com/org/repo) és válasszon ki egy Git-szolgáltatót.
  5. Új alkalmazás esetén adja meg a Git-referenciát (ág, címke vagy véglegesítés). Az GitHub vagy Azure DevOps adattárak esetében, ha ki van jelölve egy ág, opcionálisan engedélyezze az automatikus üzembe helyezést leküldéses eseményeken. Lásd: Az automatikus Git-telepítések engedélyezése.
  6. Az alkalmazás áttekintési lapjára való visszatéréshez kattintson az Alkalmazás létrehozása vagy a Mentés gombra.
  7. Magánadattárak esetén az alkalmazás szolgáltatásnévének konfigurálnia kell egy Git-hitelesítő adatot. Az alkalmazás áttekintési lapján kattintson a Git-hitelesítő adatok konfigurálása elemre. Git-hitelesítő adatok hozzáadásához engedélyekkel kell rendelkeznie CAN MANAGE az alkalmazáshoz. A nyilvános adattárakhoz nincs szükség Git-hitelesítő adatokra. Az egyes szolgáltatókkal kapcsolatos utasításokért lásd: A Git-szolgáltató csatlakoztatása a Databrickshez.

Ezután telepítse az alkalmazást:

  1. Az alkalmazás áttekintési oldalán kattintson az Üzembe helyezés gombra.
  2. Válassza a Gitből lehetőséget.
  3. Git-referenciaként adja meg az ág nevét, címkéjét vagy véglegesítési SHA-ját (például main, vagy v1.0.0egy véglegesítési kivonatot).
  4. Referenciatípus esetén adja meg a hivatkozás típusát, például ágat, címkét vagy véglegesítést.
  5. (Nem kötelező) A forráskód elérési útjaként adja meg az adattár egy adott könyvtárának elérési útját. Az alkalmazás ezt a könyvtárat a legfelső szintű könyvtárként kezeli, és nem fér hozzá a rajta kívüli fájlokhoz. Ha nem ad meg elérési utat, a Databricks az adattár gyökerét használja.
  6. (Opcionális) Ha az ág minden commitja után automatikusan szeretne üzembe helyezni, engedélyezze a Automatikus üzembe helyezés push eseményekre beállítást. Meg kell adnia egy Figyelendő ágat. Igény szerint megadhat egy Forráskód elérési útja mezőt is, hogy az adattár gyökérkönyvtára helyett másik elérési utat állítson be. Lásd: Az automatikus Git-telepítések engedélyezése.
  7. Kattintson az Üzembe helyezés gombra.

A Databricks parancssori felülete

Alkalmazás üzembe helyezése a Gitből a parancssori felület használatával:

  1. Töltse fel az alkalmazásfájlokat egy Git-adattárba.

  2. Konfigurálja az alkalmazás Git-adattárát az alkalmazás létrehozásakor, vagy vegye fel egy meglévő alkalmazásba. A támogatott szolgáltatók közé tartoznak: gitHub, gitHubEnterprise, gitLab, gitLabEnterpriseEdition, bitbucketCloud, bitbucketServer, azureDevOpsServices, és awsCodeCommit.

    Ha egy git-adattárral konfigurált új alkalmazást szeretne létrehozni, használja a létrehozási parancsot:

    databricks apps create my-app \
       --json '{"git_repository": {"url": "https://github.com/org/repo", "provider": "gitHub"}}'
    

    Git-adattár meglévő alkalmazáshoz való hozzáadásához vagy frissítéséhez használja a create-update parancsot:

    databricks apps create-update my-app \
       --json '{"update_mask": "git_repository", "git_repository": {"url": "https://github.com/org/repo", "provider": "gitHub"}}'
    
  3. Privát adattárak esetén konfiguráljon egy Git-hitelesítő adatot az alkalmazás szolgáltatásnévéhez. Git-hitelesítő adatok hozzáadásához engedélyekkel kell rendelkeznie CAN MANAGE az alkalmazáshoz. A nyilvános adattárakhoz nincs szükség Git-hitelesítő adatokra.

    Ha Git-hitelesítő adatokat szeretne hozzáadni az alkalmazás szolgáltatásnévéhez a parancssori felület használatával, futtassa a következőt:

    databricks git-credentials create --json '{
      "git_provider": "gitHub",
      "git_email": "your-email@example.com",
      "personal_access_token": "YOUR_TOKEN",
      "principal_id": YOUR_SP_ID,
      "name": "GitHub credentials for SP"
    }'
    

    Cserélje le YOUR_SP_ID az alkalmazás szolgáltatásnév-azonosítójára. Az egyes szolgáltatókhoz tartozó személyes hozzáférési jogkivonat beszerzésére vonatkozó utasításokat a Git-szolgáltató csatlakoztatása a Databrickshez című témakörben találja.

  4. Az alkalmazás üzembe helyezése a Git-referencia megadásával. Megadhat egy branch, tagvagy commit (ezek kölcsönösen kizáró). Opcionálisan adja hozzá a source_code_path elemet, hogy az adattár egy alkönyvtárából történjen az üzembe helyezés.

    databricks apps deploy my-app \
       --json '{"git_source": {"branch": "main"}}'
    

    Egy meghatározott címke vagy kódrészlet üzembe helyezése:

    databricks apps deploy my-app \
       --json '{"git_source": {"tag": "v1.0.0"}}'
    
    databricks apps deploy my-app \
       --json '{"git_source": {"commit": "abc123def456"}}'
    

    Az adattár alkönyvtárából történő üzembe helyezés:

    databricks apps deploy my-app \
       --json '{"git_source": {"branch": "main", "source_code_path": "apps/my-app"}}'
    

    A parancssori felület megjeleníti az üzembe helyezés előrehaladását, és megerősíti az alkalmazás futását.

Ág- vagy címkehivatkozások esetén Azure Databricks üzembe helyezi a legutóbbi véglegesítést az adott ágból vagy címkéből. Commit SHA-hivatkozások esetében az Azure Databricks mindig az adott commitot helyezi üzembe. Ha a szolgáltatási főelem Git-hitelesítő adatai érvénytelenek vagy lejártak, az üzembe helyezés meghiúsul.

Megjegyzés:

Azok az alkalmazások, amelyeket a Git bevezetése előtt hoztak létre, nem biztosítanak automatikusan engedélyeket az alkotóknak CAN MANAGE hozzáférésére a szolgáltatásfelelőshöz. Ha Git-hitelesítő adatokat kell hozzáadnia egy régebbi alkalmazáshoz, kérje meg a munkaterület rendszergazdáját, hogy adjon engedélyeket a szolgáltatási fő azonosítóhoz CAN MANAGE önnek.

A szolgáltatásnevek szolgáltatónként egy Git-hitelesítő adatot támogatnak. Ha máshol, például a fiókkonzolon keresztül frissíti a hitelesítő adatokat, az lecseréli az adott szolgáltató meglévő hitelesítő adatait.

Automatikus Git-telepítések engedélyezése

Fontos

A Git automatikus üzembe helyezései bétaverzióban érhetők el. GitHub és Azure DevOps a bétaverzió támogatott szolgáltatói.

Ha engedélyezi az automatikus üzembe helyezéseket, Azure Databricks regisztrál egy webhookot (az úgynevezett szolgáltatáshookot a Azure DevOps) a Git-adattárban, és minden alkalommal újra üzembe helyezi az alkalmazást, amikor a konfigurált ág új véglegesítést kap. Az üzembe helyezett alkalmazás manuális lépések nélkül szinkronban marad az adattárral.

Az automatikus üzembe helyezéshez a következő beállítás szükséges, amely a Git-szolgáltatótól függ:

GitHub
  • Az Azure Databricks GitHub alkalmazást telepíteni kell az adattárra.
  • Az adattárnak privátnak kell lennie. A Databricks nem támogatja a nyilvános adattárak automatikus üzembe helyezését.
  • Az alkalmazás szolgáltatásnevének rendelkeznie kell a tárházhoz hozzáférést biztosító Git-hitelesítő adatokkal. Lásd : A Git-szolgáltató csatlakoztatása a Databrickshez.

A tárházak legfeljebb 20 webhookkal rendelkezhetnek (GitHub Enterprise esetén 250-nel).

Azure DevOps

Azure DevOps egy szolgáltatáshook (nem Databricks-tulajdonú alkalmazás) használatával indítja el az üzembe helyezéseket. Azure Databricks hozza létre a szolgáltatáshoomot az automatikus üzembe helyezést engedélyező felhasználó Git-hitelesítő adataival, így:

  • Az automatikus üzembe helyezést engedélyező felhasználónak rendelkeznie kell a Azure DevOps adattárhoz konfigurált Git-hitelesítő adatokkal. Lásd : A Git-szolgáltató csatlakoztatása a Databrickshez.
  • A hitelesítő adatoknak rendelkezniük kell az Előfizetések szerkesztése engedéllyel a Azure DevOps projekt szolgáltatáshookjaihoz. Az a hitelesítő adat, amely csak a projekt megtekintésére jogosult, nem hozhatja létre a szolgáltatáshookot.

Az automatikus üzembe helyezés engedélyezéséhez állítsa be a GitHubot vagy az Azure DevOpsot Git-szolgáltatóként, és engedélyezze a Automatikus üzembe helyezés push események esetén beállítást. Ezt az alábbi helyek egyikén teheti meg:

A Git-referenciának egy ág nevének kell lennie. A címkék nem kompatibilisek az automatikus telepítésekkel.

Megjegyzés:

Ha az alkalmazás egyszerű szolgáltatásnevéhez nincs a tárolóhoz tartozó Git-hitelesítő adat, az Azure Databricks arra kéri, hogy adjon hozzá egyet, amikor engedélyezi az automatikus üzembe helyezéseket. A hozzáférés engedélyezése lehetővé teszi az automatikus üzembe helyezést, de manuálisan újra kell üzembe helyeznie az alkalmazást az indításukhoz.

Az automatikus üzembe helyezés letiltásához kattintson az automatikus üzembe helyezés jelvényére egy meglévő alkalmazásban, és tiltsa le az automatikus üzembe helyezést leküldéses eseményeken. A beállításokat újrakonfigurálhatja az Alkalmazásbeállítások területen is.

Kizárólag Git-alapú telepítések engedélyezése

A munkaterület rendszergazdái megkövetelhetik, hogy a munkaterület összes alkalmazása üzembe legyen helyezve a Git-adattárakból. Lépjen a Beállítások>Fejlesztés>Alkalmazások menüpontra, majd kapcsolja be a Csak a Gitből származó alkalmazástelepítések engedélyezése beállítást. Alapesetben ez a beállítás ki van kapcsolva.

Amikor kikényszeríti a Git-alapú üzembe helyezést:

  • A felhasználóknak konfigurálnia kell egy Git-adattárat az alkalmazás létrehozása előtt.
  • A felhasználók csak a Gitből telepíthetnek, munkaterületi mappákból nem.
  • A Databricks letiltja az alkalmazássablonokat a munkaterületen.
  • A felhasználók nem távolíthatnak el Git-adattárat az olyan alkalmazásokból, amelyek rendelkeznek ilyenekkel.
  • A meglévő alkalmazások továbbra is futnak, de a felhasználók csak akkor helyezhetik üzembe vagy indíthatják újra őket, ha az alkalmazás rendelkezik Git-adattárral.

Üzembe helyezés utáni viselkedés

Az üzembe helyezés befejeződése után az Azure Databricks elindítja az alkalmazást a command fájlban megadott app.yaml alapján, vagy alapértelmezésben a python app.py futtatásával. Az alkalmazás áttekintési oldala megjeleníti az aktuális állapotot, és hozzáférést biztosít a naplókhoz, az üzembe helyezési előzményekhez és a környezeti információkhoz.

Az alkalmazás áttekintési oldalának megtekintése az alkalmazás üzembe helyezése után

Az üzembe helyezett alkalmazás kimenetének megtekintéséhez kattintson az alkalmazás hivatkozására.

Nyissa meg a Naplók lapot a hibakereséshez és a futtatókörnyezet monitorozásához. Lásd: Databricks-alkalmazások naplózása és monitorozása.

Az alkalmazás frissítése vagy ismételt üzembe helyezése

Az alkalmazás ismételt üzembe helyezése a forráskód vagy a konfiguráció módosítása után. Az újbóli üzembe helyezés az alkalmazás újbóli létrehozása nélkül alkalmazza a legújabb frissítéseket. Bármikor újra üzembe helyezheti a munkaterületről vagy a Git-adattárból.

Ismételt üzembe helyezés munkaterületi mappából

Munkaterület mappából történő ismételt üzembe helyezés:

  1. Frissítse az alkalmazásfájlokat a munkaterület mappájában.
  2. Jelölje ki az alkalmazást, és kattintson az Üzembe helyezés gombra.
  3. Ha a forráskód elérési útja megváltozott, vagy egy Git-forrásról vált, kattintson az Üzembe helyezés melletti nyílra, és válassza az Üzembe helyezés másik forrás használatával lehetőséget.

Újbóli üzembe helyezés Git-adattárból

Git-adattárból történő ismételt üzembe helyezés:

  1. Küldje el a módosításokat a Git-adattárba.
  2. A Azure Databricks munkaterületen válassza ki az alkalmazást, és kattintson a Deploy elemre. Ha a Git-referencia megváltozott, vagy munkaterület-forrásról vált, kattintson az Üzembe helyezés melletti nyílra, és válassza az Üzembe helyezés másik forrás használatával lehetőséget.

A Git-adattár parancssori felülettel vagy API-val való frissítéséhez használja a create-update parancsot. A Git-adattár alkalmazásból való eltávolítása kényszeríti az üzembe helyezést a munkaterületről.

Fontos

A Git-adattár módosítása vagy az üzembehelyezési források (Git és munkaterület) közötti váltás törli az alkalmazás szolgáltatásnévhez tartozó összes Git-hitelesítő adatot. Csak a Git-hivatkozás módosítása nem törli a hitelesítő adatokat. A Gitből való ismételt üzembe helyezés előtt újra kell konfigurálnia a hitelesítő adatokat.

Üzembehelyezési problémák elhárítása

Ha az alkalmazás üzembe helyezése sikertelen vagy nem a várt módon fut, próbálkozzon a következő hibaelhárítási lépésekkel:

  • Ellenőrizze a naplókban a hibaüzeneteket vagy a futásidejű kimenetet.
  • Szintaxis és beállítások ellenőrzése app.yaml .
  • Ellenőrizze, hogy a env szakaszban szereplő titkos kódok és környezeti változók megfelelően feloldódnak-e.
  • Győződjön meg arról, hogy az összes szükséges függőség megtalálható vagy telepítve van.
  • Ha a munkaterület Private Link vagy korlátozott kimenő hálózati házirendeket használ, ellenőrizze, hogy a szükséges tartományok engedélyezve vannak-e. A hiányzó kimenő forgalom engedélyezési lista bejegyzései gyakran okoznak üzembe helyezési hibákat Private Link környezetekben. Lásd: Alkalmazások üzembe helyezése Private Link környezetekben.

Git-adattár üzembe helyezése esetén:

  • Privát adattárak esetén ellenőrizze, hogy az alkalmazás szolgáltatásnévéhez konfigurálva van-e Git-hitelesítő adat.
  • Ellenőrizze, hogy a Git-adattár URL-címe helyes-e, és hogy a Git-hivatkozás (ág, címke vagy véglegesítés) létezik-e az adattárban.
  • Ha egy munkaterület rendszergazdája csak Git-alapú telepítéseket kényszerít ki, csak akkor helyezhet üzembe vagy indíthat el alkalmazásokat, ha konfigurálva van egy Git-adattár.
  • Ha a parancssori felületről, az API-ból vagy a deklaratív automatizálási csomagokból telepíti az alkalmazást, először hozza létre az alkalmazást, majd adja hozzá a Git-hitelesítő adatokat az alkalmazás szolgáltatásnévhez.

További erőforrások