A Delta Live Tables-folyamatok fürtkihasználtságának optimalizálása továbbfejlesztett automatikus skálázással

A Databricks továbbfejlesztett automatikus méretezése optimalizálja a fürt kihasználtságát azáltal, hogy automatikusan kiosztja a fürterőforrásokat a számítási feladatok mennyisége alapján, és minimális hatással van a folyamatok adatfeldolgozási késésére.

A továbbfejlesztett automatikus skálázás az Azure Databricks-fürt automatikus skálázási funkcióján az alábbi funkciókkal javítja a következőket :

• A továbbfejlesztett automatikus skálázás a streamelési számítási feladatok optimalizálását valósítja meg, és továbbfejleszti a kötegelt számítási feladatok teljesítményét. A továbbfejlesztett automatikus skálázás optimalizálja a költségeket azáltal, hogy gépeket ad hozzá vagy távolít el a számítási feladat változásainak megfelelően.
• A továbbfejlesztett automatikus skálázás proaktív módon leállítja a kihasználatlan csomópontokat, miközben garantálja, hogy a leállítás során nincsenek sikertelen feladatok. A meglévő fürt automatikus skálázási funkciója csak akkor méretez le csomópontokat, ha a csomópont üresjáratban van.

A továbbfejlesztett automatikus skálázás az alapértelmezett automatikus skálázási mód, amikor új folyamatot hoz létre a Delta Live Tables felhasználói felületén. A felhasználói felületen a folyamatbeállítások szerkesztésével engedélyezheti a bővített automatikus skálázást a meglévő folyamatokhoz. A továbbfejlesztett automatikus skálázást akkor is engedélyezheti, ha folyamatokat hoz létre vagy szerkeszt a Delta Live Tables API-val.

Fokozott automatikus skálázás engedélyezése

Feljegyzés

Mivel a számítási erőforrások automatikusan kiszolgáló nélküli folyamatokra vannak optimalizálva, a Databricks továbbfejlesztett automatikus skálázási beállításai nem érhetők el, ha a kiszolgáló nélküli (nyilvános előzetes verzió) lehetőséget választja egy folyamathoz.

A kiszolgáló nélküli DLT-folyamatok engedélyezésével kapcsolatos információkért forduljon az Azure Databricks-fiók csapatához.

A bővített automatikus skálázás használatához tegye az alábbiak egyikét:

• Állítsa a Fürt módot továbbfejlesztett automatikus skálázásra, amikor létrehoz egy folyamatot, vagy szerkeszt egy folyamatot a Delta Live Tables felhasználói felületén.
• Adja hozzá a autoscale beállítást a folyamatfürt konfigurációhoz, és állítsa be a mezőt a mode következőre ENHANCED: . Lásd a számítási beállítások konfigurálását.

A továbbfejlesztett automatikus skálázás éles folyamatokhoz való konfigurálásakor kövesse az alábbi irányelveket:

• Hagyja meg a Min workers beállítást az alapértelmezett értéken.
• Állítsa be a Max workers beállítást egy értékre a költségvetés és a folyamat prioritása alapján.

Az alábbi példa egy továbbfejlesztett automatikus méretezési fürtöt konfigurál legalább 5 feldolgozóval és legfeljebb 10 feldolgozóval. max_workersnagyobbnak vagy egyenlőnek kell lennie.min_workers

Feljegyzés

• A továbbfejlesztett automatikus skálázás csak fürtök esetén updates érhető el. A meglévő automatikus skálázási funkció fürtökhöz maintenance használható.
• A autoscale konfigurációnak két módja van:
  • LEGACY: Fürt automatikus skálázásának használata.
  • ENHANCED: Továbbfejlesztett automatikus skálázás használata.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

A folyamat automatikusan újraindul az automatikus skálázási konfiguráció módosítása után, ha a folyamat folyamatos végrehajtásra van konfigurálva. Újraindítás után rövid ideig nagyobb késésre számíthat. A megnövekedett késés rövid időszakát követően a fürt méretét a konfiguráció alapján autoscale frissíteni kell, és a folyamat késését vissza kell adni a korábbi késési jellemzőknek.

Fokozott automatikus skálázást engedélyező folyamatok monitorozása

A Delta Live Tables felhasználói felületén található eseménynaplóval figyelheti a továbbfejlesztett automatikus skálázási metrikákat. A továbbfejlesztett automatikus skálázási események eseménytípusa.autoscale A következő példaesemények:

Esemény	Üzenet
Fürt átméretezésére irányuló kérelem elindult	Scaling [up or down] to <y> executors from current cluster size of <x>
A fürt átméretezésére vonatkozó kérés sikeres volt	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
A fürt átméretezésére irányuló kérelem részben sikerült	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
A fürt átméretezésére vonatkozó kérés nem sikerült	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

A bővített automatikus skálázási eseményeket az eseménynapló közvetlen lekérdezésével is megtekintheti:

• Ha le szeretné kérdezni az eseménynaplót a hátralékmetrikákról, tekintse meg az adat-hátralék figyelését az eseménynapló lekérdezésével.
• Ha figyelni szeretné a fürt átméretezési kéréseit és válaszait a bővített automatikus skálázási műveletek során, tekintse meg az eseménynapló bővített automatikus skálázási eseményeinek monitorozását.