A számítási indítás megbízhatóságának javítása rugalmas csomóponttípusok használatával

Az Azure Databricks klasszikus számítási erőforrásai rugalmas csomóponttípusokat használnak, ami lehetővé teszi, hogy a számítási erőforrás visszaessen az alternatív, kompatibilis példánytípusokra, ha a megadott példánytípus nem érhető el.

Ez a viselkedés javítja a számítási indítás megbízhatóságát azáltal, hogy csökkenti a kapacitáshibákat (készletkimaradási hibák) a számítási indítások során. A spot példányok esetében, ahol van visszaállási lehetőség, a rugalmas csomóponttípusok többször próbálkozhatnak példányok megszerzésével különböző példánytípusokon keresztül, mielőtt igény szerinti példányokra állnának át. Ez azt eredményezi, hogy az igény szerinti példányok helyett a példányok egy nagyobb százaléka fut spot példányként, csökkentve ezzel az összes számítási költséget.

A rugalmas csomóponttípusok működése

Számítási erőforrás indításakor a felhőszolgáltató néha elfogy a megadott példánytípus kapacitásából. Ez készletkimaradási hibát eredményez:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Bár ezek a hibák gyakoribbak a kapacitás szerint igényelt példányok esetében, igény szerinti példányok esetén is előfordulhatnak.

Ha engedélyezve van a rugalmas csomóponttípusok használata, az Azure Databricks automatikusan létrehozza vagy használja a kompatibilis példánytípusok megadott tartaléklistáját. Ha az előnyben részesített példánytípus nem érhető el, az Azure Databricks megpróbálja beszerezni ezeket a biztonsági mentési példánytípusokat ahelyett, hogy azonnal meghiúsult volna.

Rugalmas csomóponttípusok engedélyezése a munkaterületen

A munkaterület rendszergazdái a munkaterület rendszergazdai beállításaiban engedélyezhetik a rugalmas csomóponttípusokat. Ha engedélyezve van, az összes új klasszikus számítási erőforrás automatikusan visszaesik alternatív csomóponttípusokra. A meglévő teljes célú számítási erőforrásokra nincs hatással. Lásd : Hogyan érintik a meglévő számítási feladatokat?.

Rugalmas csomóponttípusok engedélyezése egy munkaterületen:

  1. Munkaterület-rendszergazdaként lépjen a Beállítások lapra.
  2. Kattintson a Számítás fülre.
  3. Az Automatikusan rugalmas csomóponttípusok engedélyezése beállítás váltása:
    • Engedélyezve: Minden új klasszikus számítási erőforrás automatikusan rugalmas csomóponttípusokat használ, kivéve, ha kifejezetten le van tiltva.
    • Letiltva: A klasszikus számítási erőforrások csak akkor használnak rugalmas csomóponttípusokat, ha explicit módon konfigurálja node_type_flexibility a számítási erőforrás konfigurációját.

Ha ez a beállítás le van tiltva, a felhasználók továbbra is rugalmas csomóponttípusokat konfigurálhatnak az egyes számítási erőforrásokhoz az worker_node_type_flexibility egyéni tartalék listákkal rendelkező mezők vagy driver_node_type_flexibility mezők explicit konfigurálásával. Annak érdekében, hogy a felhasználók ne konfigurálják ezeket a mezőket, a munkaterület rendszergazdái számítási szabályzatokat használhatnak. Lásd a rugalmas csomóponttípus-szabályzatra vonatkozó példákat.

Egyéni tartaléklista megadása

Ha a munkaterületen engedélyezve vannak a rugalmas csomóponttípusok, az Azure Databricks automatikusan létrehozza az új számítási erőforrások kompatibilis példánytípusainak tartaléklistáját.

Ha nem szeretné használni az automatikusan létrehozott tartaléklistát, saját tartaléklistát is megadhat helyette. Emellett ha a munkaterületen a rugalmas csomóponttípusok le vannak tiltva, akkor is megadhat egy egyéni tartaléklistát a számítási erőforráshoz. Csak bizonyos példánytípusok kompatibilisek. Lásd a tartalék példány típusának követelményeit. A kompatibilis példánytípusokra vonatkozó hivatkozásért tekintse meg a rugalmas csomóponttípus kompatibilitási hivatkozását.

Az egyéni tartaléklisták csak akkor támogatottak, ha a számítást az API használatával konfigurálják. Tekintse meg a Clusters API referenciadokumentációját.

Az alábbi konfiguráció például azt határozza meg, hogy a számítási erőforrás melyik példánytípusra fog visszaesni, ha szükséges:


  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Tartalék példány típusának követelményei

A tartalék példánytípusoknak kompatibilisnek kell lenniük a számítás előnyben részesített példánytípusával. A tartalék példánytípusok listájának meg kell felelnie a következő követelményeknek:

  • Ugyanaz a vCPU-szám és memória, mint az előnyben részesített példánytípus (a tartalék példányoknak 100% és 110% között kell lenniük az előnyben részesített példánytípus memóriájának)
  • A helyi lemezek száma és a lemezméret megegyezik az előnyben részesített példánytípussal
  • Ugyanaz a CPU-architektúra, mint az előnyben részesített példánytípus (az ÖSSZES ARM vagy az összes x86)
  • Ugyanaz az operációsrendszer-rendszerkép és a Photon-támogatás, mint az előnyben részesített példánytípus
  • Nincs GPU-példánytípus (a GPU-k nem támogatottak)
  • Legfeljebb 5 egyedi tartalékpéldány-típus
  • Minden példánytípusnak konzisztens tárolási támogatással kell rendelkeznie: vagy az összes támogatja a PREMIUM_LRS tárolót, vagy egyik sem.

Rugalmas csomóponttípusok használata készletekkel

Az erőforrás-készletek visszavonuló listáját testre is szabhatja. A Készletek API-ban állítsa be a node_type_flexibility mezőt a tartalék példánytípusok megadására. Például:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

A készletek nem támogatják a rugalmas példánytípusok használatát a minimális tétlenségi szám fenntartása érdekében. A készlet csak akkor indíthat virtuális gépeket tartalék példánytípusokkal, ha a készletből megkísérelnek virtuális gépeket indítani. A darabszám előmelegítéséhez minIdle csak az előnyben részesített példánytípust használja.

A beszerzett példánytípusok megtekintése

Rugalmas csomóponttípusok használatakor a számítási erőforrás különböző példánytípusok kombinációjából állhat. Az összes tartalékpéldány-típus kompatibilis az előnyben részesített típussal, és ugyanazzal a vCPU-számmal, memóriával, lemezelrendezéssel, processzorarchitektúrával és operációsrendszer-lemezképpel rendelkezik, hogy a számítási feladat megfelelően fusson.

Megtekintheti azt, hogy mely példánytípusok lettek beszerezve a számítási erőforráshoz.

  1. A számítás részletei lapon kattintson a Leállítás gomb melletti három pontra, és válassza a JSON megtekintése lehetőséget.
  2. Ellenőrizze az node_type_id mezőt minden végrehajtónál, hogy mely példánytípusok futnak.

Az információt programozott úton is lekérheti a Fürtök információja API lekérdezése segítségével. Emellett a rendszertáblák elérésére jogosult felhasználók lekérdezhetik a táblát node_timelines . Lásd: Csomópont idővonala táblaséma.

Rugalmas csomóponttípusok letiltása számítási erőforráson

Megjegyzés:

A Databricks azt javasolja, hogy a rugalmas csomóponttípusok engedélyezve legyenek, kivéve, ha szigorú követelmények vonatkoznak egy adott példánytípusra.

Ha azt szeretné, hogy a számítási indítás meghiúsuljon, és ne egy alternatív példánytípusra térjen vissza, letilthatja a rugalmas csomópont viselkedését az egyes számítási erőforrás szintjén. Ez csak a Clusters API használatakor támogatott. A rugalmas csomóponttípusok letiltásához állítsa üresként a rugalmas csomóponttípus-mezőket a számítási konfigurációban. Például:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}

Gyakori kérdések

Hogyan érintik a meglévő számítási feladatokat?

A meglévő teljes célú számítási erőforrások nem változnak. Az automatikus tartalékolás használatához hozzon létre egy új, teljes körű számítási erőforrást a beállítás engedélyezése után, vagy frissítse a számítási erőforrás API-specifikációt egy egyéni tartaléklistával.

A feladatszámítást használó feladatok esetében minden futtatás új számítási erőforrást hoz létre, így a meglévő feladatok későbbi futtatásai automatikusan rugalmas tartalékot használnak.

Ez működik példánykészletekkel?

Igen. A rugalmas csomóponttípusok a példánykészlet konfigurációira vonatkoznak. Néhány megjegyzés:

  • A minimális inaktivitás konzisztens marad: Az példánykészlet minimális inaktív példányait (minIdle) az elsődleges csomóponttípus használatával tartja fenn. A fürtindítási kéréssel indított új virtuális gépek kompatibilis tartalék csomóponttípusokkal teljesíthetők, ha az elsődleges típus korlátozott.
  • Példánykészlet szerkesztése: A példánykészlet létrehozása után nem szerkeszthető. Ha módosítani szeretné az egyéni tartalék beállításokat, létre kell hoznia egy új példánykészletet.
  • API láthatósága: A /api/2.0/instance-pools/get válasz nem jeleníti meg a csomóponttípus rugalmasságát, hacsak nem konfigurálta kifejezetten az egyéni visszaesési listát a poolban. A példánykészlet tartalék konfigurációjának megtekintéséhez létrehozhat egy mintafürtöt, és megtekintheti a /api/2.1/clusters/get választ.

Hogyan történik az elszámolás?

A ténylegesen beszerzett példánytípusok standard DBU-díjai alapján történik a számlázás. A felhőszolgáltatónál alkalmazott példányszintű kedvezmények automatikusan érvényesek a számítási erőforrás által használt egyező példánytípusokra.

Hogyan működik ez a munkaterület csomóponttípus-kvótáival?

Ha egy számítási indítás meghiúsul, mert az elsődleges csomóponttípus eléri a "kvóta túllépte" korlátot, a rugalmas csomóponttípusok továbbra is javíthatják az indítás megbízhatóságát azáltal, hogy automatikusan visszaesnek egy kompatibilis alternatívára. A kvótaalapú hibák esetén a Databricks azt javasolja, hogy az elsődleges javítás helyett biztonsági hálóként kezelje a tartalékot. Kérhet kvótanövelést a felhőszolgáltatótól, hogy az Azure Databricks konzisztensen beszerezhesse az előnyben részesített példánytípusokat, mielőtt alternatív megoldásokat használ, vagy kiszolgáló nélküli számítást használ.

Engedélyezhetem a rugalmas csomóponttípusokat a számítási feladatok csak egy részhalmazához?

Az automatikusan generált csomóponttípus-visszaesés csak a munkaterület szintjén konfigurálható. Egy adott számítási feladat tartalék viselkedésének szabályozására azonban két lehetősége van:

  • (Ajánlott) Engedélyezze a rugalmas csomóponttípusokat a munkaterületen, majd zárjon ki egy adott fürtöt úgy, hogy a fürt specifikációjában a alternate_node_type_ids üres listára [] állítja.
  • Tiltsa le a rugalmas csomóponttípusokat a teljes munkaterületen, majd egy adott fürtspecifikációt válasszon azáltal, hogy biztosít egy egyéni tartaléklistát, amely megfelel a alternate_node_type_ids.
  • Last updated on