Az SQL-adattárház méretezési, skálázási és sorkezelési viselkedése

Ez a cikk bemutatja, hogyan méretezheti, méretezheti és kezelheti a Databricks SQL-raktárak lekérdezési üzenetsorait a teljesítmény és a költség optimalizálása érdekében. A Databricks a legtöbb számítási feladathoz kiszolgáló nélküli SQL Warehouse használatát javasolja. A kiszolgáló nélküli SQL-raktárak a lehető legjobb teljesítményt és hatékonyságot biztosítják a lekérdezések erőforrásainak dinamikus kezelésével.

Kiszolgáló nélküli SQL Warehouse-felügyelet

A kiszolgáló nélküli SQL-raktárak intelligens számítási feladatkezelést (IWM) használnak a lekérdezési számítási feladatok automatikus kezeléséhez. Az IWM olyan AI-alapú funkciók készlete, amelyek gyorsan és költséghatékonyan dolgozzák fel a lekérdezéseket anélkül, hogy az infrastruktúrát kellene felügyelnie.

Intelligens számítási feladatok kezelése és automatikus skálázása

Az IWM gépi tanulási modelleket használ a számítási erőforrások dinamikus kezeléséhez:

• Amikor új lekérdezés érkezik, az IWM előrejelzi az erőforrás-követelményeit, és ellenőrzi a rendelkezésre álló kapacitást.
  • Ha van kapacitás, a lekérdezés azonnal elindul.
  • Ha nem, a lekérdezés egy üzenetsorba kerül.
• Az IWM folyamatosan figyeli az üzenetsort. Ha nő a várakozási idő, az automatikus skálázó gyorsan további fürtöket helyez üzembe az üzenetsoros lekérdezések feldolgozásához.
• Ha csökken az igény, az IWM leskálázza az erőforrásokat a költségek csökkentése érdekében, miközben elegendő kapacitást tart fenn a legutóbbi csúcsterhelések kezeléséhez.

Ez a megközelítés a következő lehetőségeket nyújtja:

• Gyors skálázás az alacsony lekérdezési késés fenntartása érdekében.
• Magas átviteli sebesség a lekérdezések felvételével, amint a hardver elérhető.
• Gyors leskálázás a költségek alacsony igény esetén történő megtakarításához.

Kiszolgáló nélküli SQL Warehouse méretezése

A fürt mérete (például X-Small, Medium, Large) határozza meg az egyetlen fürthöz elérhető számítási erőforrásokat. Az automatikus skálázó szükség szerint hozzáadja vagy eltávolítja az ilyen méretű fürtöket.

A megfelelő méret kiválasztásához kövesse az alábbi irányelveket:

• Kezdje egyetlen nagyobb raktárral, és hagyja, hogy a kiszolgáló nélküli funkciók kezeljék az egyidejűséget és a teljesítményt. Általában hatékonyabb a méret leméretezése, ha szükséges, mint a kis méretű és vertikális felskálázás.
• Ha a lekérdezések a lemezre kerülnek, növelje a fürt méretét. Ellenőrizze, hogy van-e kiömlöttség a lekérdezésprofilban.
• A sok egyidejű lekérdezést tartalmazó számítási feladatokhoz konfiguráljon elegendő számú fürtöt a csúcsterhelések kezeléséhez. Figyelje a várakozási sorba állított lekérdezések csúcspontjának metrikáit a raktárfigyelési oldalon.

Feljegyzés

A kiszolgáló nélküli SQL-raktárak esetében a fürtméretek bizonyos esetekben más példánytípusokat használhatnak, mint amelyek a pro és klasszikus SQL-raktárak dokumentációjában az azonos fürtmérethez szerepelnek. A kiszolgáló nélküli SQL-raktárak fürtméreteinek ár/teljesítmény aránya általában hasonló a pro és a klasszikus SQL-raktárakéhoz.

A raktár teljesítményének monitorozása

Ezekkel az eszközökkel figyelheti és méretezheti az SQL Warehouse-t. Egy üzenetsor lekérdezéseinek maximális száma az összes raktártípus esetében 1000.

• Monitorozási oldal: Az SQL Warehouse monitorozási lapján ellenőrizze a várólistán lévő csúcsidőszakú lekérdezéseket. A 0 feletti konzisztens érték azt jelzi, hogy nagyobb fürtméretre vagy több fürtre lehet szükség.
• Lekérdezési előzmények: Tekintse át az előzménylekérdezési teljesítményt a szűk keresztmetszetek azonosításához.
• Lekérdezésprofil: Vizsgálja meg a végrehajtási terveket olyan metrikák esetében, mint a lemezre kiömlött bájtok, ami azt jelzi, hogy a raktár mérete túl kicsi lehet.

Klasszikus és profi SQL-raktárak

A klasszikus és profi raktárak manuális skálázási modellt használnak, amelyben a fürtök számát konfigurálja.

Méretezés és fürtkiépítés

Klasszikus vagy profi raktár létrehozásakor válasszon egy fürtméretet, és adja meg a fürtök minimális és maximális számát. Ezeknek az SKU-knak rögzített korlátja 10 egyidejű lekérdezésenként egy fürt.

Fürt mérete	Illesztőprogram-példány típusa	Feldolgozók száma
2X-kicsi	Standard_E8ds_v4	1 x Standard_E8ds_v4
X-kicsi	Standard_E8ds_v4	2 x Standard_E8ds_v4
Kicsi	Standard_E16ds_v4	4 x Standard_E8ds_v4
Közepes	Standard_E32ds_v4	8 x Standard_E8ds_v4
Nagy	Standard_E32ds_v4	16 x Standard_E8ds_v4
X-Nagy	Standard_E64ds_v4	32 x Standard_E8ds_v4
2x nagy	Standard_E64ds_v4	64 x Standard_E8ds_v4
3X nagy	Standard_E64ds_v4	128 x Standard_E8ds_v4
4X-Nagy	Standard_E64ds_v4	256 x Standard_E8ds_v4

Az összes feldolgozó példánymérete Standard_E8ds_v4.

Minden illesztőhöz és feldolgozóhoz egy 256 GB-os prémium szintű SSD LRS-felügyelt lemez van csatlakoztatva. A csatlakoztatott lemezek óránként kerülnek felszámításra.

Kötelező Azure vCPU-kvóta klasszikus és pro SQL-raktárakhoz

Klasszikus vagy pro SQL-raktár indításához megfelelő Azure vCPU-kvótával kell rendelkeznie az Azure-fiókban lévő Standard_E8ds_v4 példányokhoz. A szükséges vCPU-kvóta meghatározásához használja az alábbi irányelveket:

Ha csak egy vagy két SQL-raktárral rendelkezik, ellenőrizze, hogy 8 Azure vCPU érhető-e el a fürt minden magja számára. Ez biztosítja, hogy megfelelő Azure vCPU-t biztosíthasson a raktár újbóli üzembe helyezéséhez, ami körülbelül 24 óránként történik. Előfordulhat, hogy növelnie kell a szorzót, ha az SQL-raktárak automatikus skálázást vagy többfürt-alapú terheléselosztást használnak.

• Az SQL-raktárak számának növekedésével 4 és 8 közötti Azure vCPU-t engedélyez a fürt minden magja számára. A Databricks azt javasolja, hogy kezdjen nagyobb számmal, és monitorozza a stabilitást.
• Az SQL-raktárak által használt Azure-beli vCPU-k a Data Science & Engineering vagy nem Databricks számítási feladatok által használt fürtök által használt Azure vCPU-k mellett találhatók.

További Azure vCPU-kvóta kéréséhez tekintse meg a Standard kvótát: A virtuálisgép-sorozatok korlátainak növelése az Azure dokumentációjában.

Feljegyzés

A táblázatban szereplő információk a termék vagy a régió rendelkezésre állása és a munkaterület típusa alapján változhatnak.

Üzenetsor-kezelés és automatikus skálázási logika

Klasszikus és profi raktárak esetén az automatikus skálázás fürtöket ad hozzá az összes futó és várólistás lekérdezés feldolgozásának becsült ideje alapján:

• 2–6 percnyi lekérdezési terhelés: 1 fürt hozzáadása.
• 6–12 perc: 2 fürt hozzáadása.
• 12–22 perc: 3 fürt hozzáadása.
• Több mint 22 perc: További 15 percnyi terheléshez adjon hozzá 3 fürtöt és további 1-et.

További szabályok:

• Ha egy lekérdezés 5 percig várakozik az üzenetsorban, a raktár felskálázható.
• Ha a terhelés 15 egymást követő percig alacsony marad, a raktár az adott időszakból származó csúcsterhelés kezeléséhez szükséges minimálisra skálázható le.