Megosztás a következőn keresztül:

Delta Live Tables-folyamat számításának konfigurálása

  • Cikk

Ez a cikk utasításokat és szempontokat tartalmaz a Delta Live Tables-folyamatok egyéni számítási beállításainak konfigurálásakor.

A kiszolgáló nélküli folyamatok nem biztosítanak számítási konfigurációs beállításokat. Lásd: Kiszolgáló nélküli Delta Live Tables-folyamat konfigurálása.

Fürtszabályzat kiválasztása

A felhasználóknak rendelkezniük kell engedéllyel a delta live table-folyamatok konfigurálásához és frissítéséhez szükséges számítás üzembe helyezéséhez. A munkaterület-rendszergazdák fürtszabályzatokat konfigurálhatnak, hogy hozzáférést biztosítsanak a felhasználóknak a Delta Live Tables számítási erőforrásaihoz. Lásd: A Delta Live Tables-folyamat számításának korlátainak meghatározása.

Feljegyzés

  • A fürtszabályzatok nem kötelezőek. Forduljon a munkaterület rendszergazdájához, ha nem rendelkezik a Delta Live Tableshez szükséges számítási jogosultságokkal.

  • A fürtszabályzat alapértelmezett értékeinek helyes alkalmazása érdekében állítsa apply_policy_default_values true be a fürtkonfigurációkba a folyamatkonfigurációban:

    {
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

Fürtcímkék konfigurálása

A fürtcímkék segítségével nyomon követheti a csővezetékfürtök használatát. Fürtcímkék hozzáadása a Delta Live Tables felhasználói felületén folyamat létrehozásakor vagy szerkesztésekor, illetve a folyamatfürtök JSON-beállításainak szerkesztésével.

Folyamat futtatásához válassza ki a példánytípusokat

Alapértelmezés szerint a Delta Live Tables kiválasztja a folyamat illesztőprogram- és feldolgozócsomópontjaihoz tartozó példánytípusokat. Igény szerint konfigurálhatja a példánytípusokat.

Válassza ki például a példánytípusokat a folyamat teljesítményének javítása vagy a memóriaproblémák kezelése érdekében a folyamat futtatásakor. A folyamat REST API-val vagy a Delta Live Tables felhasználói felületén történő létrehozásakor vagy szerkesztésekor konfigurálhat példánytípusokat.

Példánytípusok konfigurálása folyamat létrehozásakor vagy szerkesztésekor a Delta Live Tables felhasználói felületén:

  1. Kattintson a Beállítások gombra.
  2. A folyamatbeállítások Speciális szakaszában, a Feldolgozó típusa és az Illesztőprogram típusa legördülő menüben válassza ki a folyamat példánytípusait.

Speciális számítási konfigurációk

Feljegyzés

Mivel a számítási erőforrások teljes mértékben kiszolgáló nélküli DLT-folyamatokhoz vannak felügyelve, a számítási beállítások nem érhetők el, amikor a Kiszolgáló nélküli lehetőséget választja egy folyamathoz.

Minden Delta Live Tables-folyamat két társított fürtből áll:

  • A updates fürt folyamatfrissítéseket dolgoz fel.
  • A maintenance fürt napi karbantartási feladatokat futtat.

A munkaterületi folyamat konfigurációs felhasználói felületén megadott számítási beállítások frissítési és karbantartási fürtökre is érvényesek. A beállítások egymástól függetlenül történő módosításához szerkesztenie kell a JSON-konfigurációt.

A fürtök által használt konfigurációt a clusters folyamatbeállításokban megadott attribútum határozza meg.

Fürtfeliratok használatával olyan számítási beállításokat adhat hozzá, amelyek csak egy adott fürttípusra vonatkoznak. A folyamatfürtök konfigurálásakor három címke használható:

Feljegyzés

A fürtcímke-beállítás elhagyható, ha csak egy fürtkonfigurációt határoz meg. A default címke akkor lesz alkalmazva a fürtkonfigurációkra, ha nincs megadva a címke beállítása. A fürtcímke-beállítás csak akkor szükséges, ha testre kell szabnia a különböző fürttípusok beállításait.

  • A default címke a számítási beállításokat a fürtökhöz és maintenance a updates fürtökhöz is meghatározza. Ha mindkét fürtre ugyanazokat a beállításokat alkalmazza, azzal javítja a karbantartási futtatások megbízhatóságát azáltal, hogy biztosítja a szükséges konfigurációkat, például a tárolóhely adatelérési hitelesítő adatait a karbantartási fürtre.
  • A maintenance címke olyan számítási beállításokat határoz meg, amelyek csak a maintenance fürtre vonatkoznak. A címkével felülbírálhatja a maintenance címke által default konfigurált beállításokat is.
  • A updates címke olyan beállításokat határoz meg, amelyek csak a updates fürtre vonatkoznak. Olyan beállítások konfigurálására használható, amelyeket nem szabad alkalmazni a maintenance fürtre.

A fürt végső konfigurációjának updates létrehozásához a rendszer egyesíti a címkékkel és updates a default címkékkel definiált beállításokat. Ha ugyanazt a beállítást mindkettővel default és updates címkékkel definiálja, a címkével updates definiált beállítás felülírja a default címkével definiált beállítást.

Az alábbi példa egy Spark-konfigurációs paramétert határoz meg, amely csak a fürt konfigurációjába van hozzáadva updates :

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

A Delta Live Tables a fürtbeállításokhoz hasonló lehetőségeket kínál, mint az Azure Databricks más számításai. A többi folyamatbeállításhoz hasonlóan a fürtök JSON-konfigurációját is módosíthatja úgy, hogy a felhasználói felületen nem található beállításokat adja meg. Lásd: Compute.

Feljegyzés

Mivel a Delta Live Tables futtatókörnyezet kezeli a folyamatfürtök életciklusát, és a Databricks Runtime egyéni verzióját futtatja, nem állíthat be manuálisan bizonyos fürtbeállításokat egy folyamatkonfigurációban, például a Spark-verziót vagy a fürtneveket. Lásd a nem felhasználó által beállított fürtattribútumokat.

Példánytípusok konfigurálása frissítési és karbantartási fürtökhöz

A példánytípusok a folyamat JSON-beállításaiban való konfigurálásához kattintson a JSON gombra, és adja meg a példánytípus-konfigurációkat a fürtkonfigurációban:

Feljegyzés

Annak érdekében, hogy ne rendeljen felesleges erőforrásokat a maintenance fürthöz, ez a példa a updates címke használatával állítja be csak a updates fürt példánytípusát. A példánytípusok mind a kettőhöz, maintenance mind updates a fürtökhöz való hozzárendeléséhez használja a default címkét, vagy hagyja ki a címke beállítását. A default címke akkor lesz alkalmazva a folyamatfürt-konfigurációkra, ha nincs megadva a címke beállítása. Lásd: Speciális számítási konfigurációk.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

Számítási leállítás késleltetése

A fürtleállítási viselkedés szabályozásához használhat fejlesztési vagy éles módot, vagy használhatja a pipelines.clusterShutdown.delay beállítást a folyamatkonfigurációban. Az alábbi példa 60 másodpercre állítja be a pipelines.clusterShutdown.delay értékét:

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

Ha a production mód van engedélyezve, a pipelines.clusterShutdown.delay alapértelmezett értéke 0 seconds. Ha a development mód van engedélyezve, az alapértelmezett érték 2 hours.

Feljegyzés

Mivel a Delta Live Tables-fürt automatikusan leáll, ha nincs használatban, a fürtkonfigurációban meghatározott autotermination_minutes fürtszabályzatra való hivatkozás hibát eredményez.

Egyetlen csomópontfürt létrehozása

Ha a fürt beállításai között 0 értékre van állítva num_workers , a fürt egyetlen csomópontos fürtként jön létre. Az automatikus skálázási fürt konfigurálása és a 0 és max_workers a 0 értékre való beállítás min_workers egyetlen csomópontfürtöt hoz létre.

Ha automatikus skálázási fürtöt konfigurál, és csak min_workers 0 értékre állítja be, a fürt nem egyetlen csomópontfürtként jön létre. A fürtnek folyamatosan legalább egy aktív feldolgozója lesz a leállásig.

Példa-fürtkonfiguráció egy egy csomópontos fürt létrehozásához a Delta Live Tablesben:

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}