A Lakeflow-adatfolyamok kiadási megjegyzései és a kiadásfrissítés folyamata

Ez a cikk ismerteti a Lakeflow-folyamatok kiadási folyamatát, a futtatókörnyezet kezelését, és hivatkozásokat tartalmaz az egyes kiadások kibocsátási megjegyzéseire.

A Databricks futtatókörnyezeti csatorna aktuális verziói

Az egyes csatornák jelenlegi Databricks Runtime-verziói a következők:

Az egyes futtatókörnyezetekben ( Python, R és Java kódtárakban) telepített csomagok listájáért tekintse meg a fent hivatkozott Databricks Runtime kiadási megjegyzéseket.

A Lakeflow-folyamatok kibocsátási megjegyzései

A kibocsátási megjegyzések hónap szerint vannak rendszerezve. Mivel a folyamatok verzió nélküliek, a munkaterület és a futtatókörnyezet módosítása is automatikusan megtörténik. Az alábbi kibocsátási megjegyzések áttekintést nyújtanak az egyes kiadások módosításairól és hibajavításairól:

Korábban a kiadási megjegyzéseket év és az év hete szerint rendszerezték.

Régebbi kibocsátási megjegyzések

Lakeflow-folyamatok futtatókörnyezeti csatornái

A folyamatfürtök a Databricks Runtime kibocsátási megjegyzéseinek verziói és kompatibilitása alapján használnak futtatókörnyezeteket. Azure Databricks automatikusan frissíti a folyamat futtatókörnyezeteit a platform fejlesztéseinek és frissítéseinek támogatásához. A folyamatbeállításokban található mezővel channel szabályozhatja a folyamatot futtató futtatókörnyezeti verziót. A támogatott értékek a következők:

  • current az aktuális futtatókörnyezeti verzió használatára.
  • preview a folyamatláncot tesztelni a futtatókörnyezet verziójának közelgő változásaival.

Alapértelmezés szerint a folyamatok a current futtatókörnyezeti verzióval futnak. A Databricks a current futtatókörnyezet használatát javasolja éles számítási feladatokhoz. Ha tudni szeretné, hogyan használhatja a preview beállítást a folyamatok következő futtatókörnyezeti verzióval való teszteléséhez, olvassa el Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval.

Important

Az általánosan elérhetőként vagy nyilvános előzetes verzióként megjelölt funkciók a current csatornán érhetők el.

A folyamatcsatornákról további információt a channelfolyamatbeállításokban található mezőben talál.

Az egyes kiadások frissítéseinek kezeléséről további információt a Lakeflow-folyamat frissítéseinek működése című témakörben talál.

Hogyan találom meg a Databricks Runtime-verziót egy folyamatfrissítéshez?

A folyamat eseménynaplóját lekérdezve megkeresheti egy adott folyamatfrissítés Databricks Runtime-verzióját. Lásd futtatókörnyezeti információkat.

Hogyan működnek a Lakeflow-folyamatok frissítései?

A Lakeflow-folyamatok verzió nélküliek, ami azt jelenti, hogy Azure Databricks automatikusan frissíti a futtatókörnyezetet a platform fejlesztéseinek és frissítéseinek támogatása érdekében. A Databricks a külső függőségek korlátozását javasolja.

A Databricks proaktívan dolgozik azon, hogy megakadályozza, hogy az automatikus frissítések hibákat vagy problémákat vezessenek be az éles folyamatokba. Lásd: Lakeflow adatfolyamok frissítési folyamata.

A Databricks különösen azoknak a felhasználóknak javasolja az adatfolyamatok proaktív tesztelését a preview csatornákkal, akik külső függőségekkel rendelkező adatfolyamatokat helyeznek üzembe. Lásd: Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval.

A Lakeflow-pipeline-ok frissítési folyamata

Azure Databricks kezeli a folyamat számítási erőforrásai által használt Databricks-futtatókörnyezetet. Automatikusan frissíti a futtatókörnyezetet a Azure Databricks munkaterületeken, és figyeli a folyamatok állapotát a frissítés után.

Ha Azure Databricks észleli, hogy egy folyamat nem indulhat el frissítés miatt, a folyamat futtatókörnyezeti verziója visszaáll az ismerten stabil korábbi verzióra, és a következő lépések automatikusan aktiválódnak:

  • A pipeline futtatókörnyezete az előző, ismerten jól működő verzióra van rögzítve.
  • A Databricks ügyfélszolgálata értesítést kap a problémáról.
    • Ha a probléma a futtatókörnyezet regressziójához kapcsolódik, a Databricks megoldja a problémát.
    • Ha a problémát a folyamat által használt egyéni kódtár vagy -csomag okozza, a Databricks felveszi Ön a kapcsolatot a probléma megoldásához.
  • A probléma megoldása után Azure Databricks újra elindítja a frissítést.

Important

Az Azure Databricks csak azokat az éles módban futó folyamatokat állítja vissza, amelyeknél a csatorna beállítása current.

Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval

Annak érdekében, hogy a következő futtatókörnyezeti verzió módosításai ne legyenek hatással a folyamatokra, használja a folyamatcsatornák funkciót:

  1. Hozzon létre egy előkészítési folyamatot, és állítsa a csatornát preview.
  2. A folyamat felhasználói felületén hozzon létre egy ütemezést a folyamat heti futtatásához, és engedélyezze a riasztások fogadását e-mailben a folyamathibákról. A Databricks javasolja a folyamatok heti tesztfuttatásainak ütemezését, különösen akkor, ha egyéni folyamatfüggőségekethasznál.
  3. Ha értesítést kap egy hibáról, és nem tudja megoldani, nyisson meg egy támogatási jegyet a Databricksben.

Note

Ha módosítja a pipeline-t az előzetes csatorna hibáinak megoldása során, a változtatásokat validálja a current csatornán, mielőtt a current futó éles környezetben üzembe helyezné. Egy módosítás, ami preview működik, eltérően viselkedhet current-en.

pipeline-függőségek

A folyamatcsatornák támogatják a külső függőségeket; például a %pip install paranccsal bármilyen Python-csomagot telepíthet. Emellett globális és fürt hatókörű init-szkriptek használatát is támogatják. Ezek a külső függőségek, különösen az init szkriptek azonban növelik a futtatókörnyezet frissítésével kapcsolatos problémák kockázatát. A kockázatok csökkentése érdekében minimalizálja az init-szkriptek használatát a folyamatokban. Ha a feldolgozás init szkripteket igényel, automatizálja a folyamat tesztelését a problémák korai észleléséhez; lásd: Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval. Init-szkriptek használata esetén a Databricks javasolja a tesztelés gyakoriságának növelését.

  • Last updated on