A Lakeflow Spark Deklaratív Pipelines kiadási megjegyzései és a kiadásfrissítési folyamat

Ez a cikk ismerteti a Lakeflow Spark Deklaratív folyamatok kiadási folyamatát, a Lakeflow Spark Deklaratív folyamatok futtatókörnyezetének kezelését, valamint hivatkozásokat tartalmaz az egyes Lakeflow Spark Deklaratív folyamatok egyes kiadásaihoz tartozó kibocsátási megjegyzésekre.

A Databricks futtatókörnyezeti csatorna aktuális verziói

Az egyes csatornák jelenlegi Databricks Runtime-verziói a következők:

Az egyes futtatókörnyezetekben ( Python, R és Java kódtárakban) telepített csomagok listájáért tekintse meg a fent hivatkozott Databricks Runtime kiadási megjegyzéseket.

A Lakeflow Spark Deklaratív folyamatok kibocsátási megjegyzései

A Lakeflow Spark Deklaratív folyamatok kibocsátási megjegyzései hónap szerint vannak rendszerezve. Mivel a Lakeflow Spark deklaratív folyamatok verzió nélküliek, a munkaterület és a futtatókörnyezet módosítása is automatikusan megtörténik. Az alábbi kibocsátási megjegyzések áttekintést nyújtanak az egyes kiadások módosításairól és hibajavításairól:

Korábban a Lakeflow Spark deklaratív csővezetékek kiadási jegyzeteit év és hét szerint rendszerezték.

Régebbi kibocsátási megjegyzések

Lakeflow Spark deklaratív folyamatok futtatókörnyezetének csatornái

A Lakeflow Spark Deklaratív folyamatok fürtöi a Databricks Runtime kibocsátási megjegyzéseinek verzióin és kompatibilitásán alapuló futtatókörnyezeteket használnak. A Databricks automatikusan frissíti a Lakeflow Spark Deklaratív folyamatok futtatókörnyezeteit, hogy támogassa a platform fejlesztéseit és frissítéseit. A Lakeflow Spark Deklaratív folyamatok beállításaiban található mezővel channel szabályozhatja a folyamatot futtató Lakeflow Spark Deklaratív folyamatok futtatókörnyezeti verzióját. A támogatott értékek a következők:

  • current az aktuális futtatókörnyezeti verzió használatára.
  • preview a folyamatláncot tesztelni a futtatókörnyezet verziójának közelgő változásaival.

Alapértelmezés szerint a folyamatok a current futtatókörnyezeti verzióval futnak. A Databricks a current futtatókörnyezet használatát javasolja éles számítási feladatokhoz. Ha tudni szeretné, hogyan használhatja a preview beállítást a folyamatok következő futtatókörnyezeti verzióval való teszteléséhez, olvassa el Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval.

Important

Az általánosan elérhetőként vagy nyilvános előzetes verzióként megjelölt funkciók a current csatornán érhetők el.

A Lakeflow Spark Deklaratív folyamatok csatornáiról további információt a channel Lakeflow Spark Deklaratív folyamatok folyamatbeállításainak mezőjében talál.

Annak megértéséhez, hogy a Lakeflow Spark Deklaratív folyamatok hogyan kezelik az egyes kiadások frissítési folyamatát, olvassa el a Lakeflow Spark Deklaratív folyamatok frissítéseinek működését ismertető témakört.

Hogyan találom meg a Databricks Runtime-verziót egy folyamatfrissítéshez?

A Lakeflow Spark Deklaratív folyamatok eseménynaplóját lekérdezve megkeresheti egy adott folyamatfrissítés Databricks Runtime-verzióját. Lásd futtatókörnyezeti információkat.

Hogyan működnek a Lakeflow Spark Deklaratív folyamatok frissítései?

A Lakeflow Spark Deklaratív folyamatok verzió nélküli terméknek minősülnek, ami azt jelenti, hogy a Databricks automatikusan frissíti a Lakeflow Spark Deklaratív folyamatok futtatókörnyezetét a platform fejlesztéseinek és frissítéseinek támogatása érdekében. A Databricks a Lakeflow Spark Deklaratív folyamatok külső függőségeinek korlátozását javasolja.

A Databricks proaktív módon dolgozik azon, hogy az automatikus frissítések ne vezessenek be hibákat vagy problémákat az éles Lakeflow Spark Deklaratív Folyamatcsomagokban. Lásd a Lakeflow Spark Deklaratív folyamatok frissítési folyamatát.

A külső függőségekkel rendelkező Lakeflow Spark Deklaratív folyamatokat üzemeltető felhasználók számára a Databricks azt javasolja, hogy a folyamatokat proaktívan teszteljék csatornákkal preview. Lásd: Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval.

A Lakeflow Spark deklaratív adatfeldolgozási folyamatok frissítése

A Databricks kezeli a Lakeflow Spark Deklaratív folyamatok számítási erőforrásai által használt Databricks-futtatókörnyezetet . A Lakeflow Spark Deklaratív folyamatok automatikusan frissítik a futtatókörnyezetet a Azure Databricks munkaterületeken, és figyelik a folyamatok állapotát a frissítés után.

Ha a Lakeflow Spark deklaratív folyamatok azt észlelik, hogy a folyamat nem indítható el frissítés miatt, a folyamat futtatókörnyezeti verziója visszaáll az ismerten stabil korábbi verzióra, és a következő lépések automatikusan aktiválódnak:

  • A folyamat Lakeflow Spark Deklaratív folyamatok futtatókörnyezete az előző ismert jó verzióhoz van rögzítve.
  • A Databricks ügyfélszolgálata értesítést kap a problémáról.
    • Ha a probléma a futtatókörnyezet regressziójához kapcsolódik, a Databricks megoldja a problémát.
    • Ha a problémát a folyamat által használt egyéni kódtár vagy -csomag okozza, a Databricks felveszi Ön a kapcsolatot a probléma megoldásához.
  • A probléma megoldása után a Databricks újra elindítja a frissítést.

Important

A Lakeflow Spark deklaratív folyamatok csak akkor állítják vissza a folyamatokat, ha azok termelési módban futnak, és a csatorna beállítása current értékű.

Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval

Annak érdekében, hogy a Következő Lakeflow Spark Deklaratív folyamatok futtatókörnyezeti verziójának változásai ne legyenek hatással a folyamatokra, használja a Lakeflow Spark Deklaratív folyamatok csatornái funkciót:

  1. Hozzon létre egy előkészítési folyamatot, és állítsa a csatornát preview.
  2. A Lakeflow Spark Deklaratív folyamatok felhasználói felületén hozzon létre egy ütemezést a folyamat heti futtatásához, és engedélyezze a riasztások számára, hogy e-mailben értesítést kapjanak a folyamathibákról. A Databricks javasolja a folyamatok heti tesztfuttatásainak ütemezését, különösen akkor, ha egyéni folyamatfüggőségekethasznál.
  3. Ha értesítést kap egy hibáról, és nem tudja megoldani, nyisson meg egy támogatási jegyet a Databricksben.

Note

Ha módosítja a pipeline-t az előzetes csatorna hibáinak megoldása során, a változtatásokat validálja a current csatornán, mielőtt a current futó éles környezetben üzembe helyezné. Egy módosítás, ami preview működik, eltérően viselkedhet current-en.

pipeline-függőségek

A Lakeflow Spark Deklaratív folyamatok támogatják a folyamatok külső függőségeit; A Python csomagokat például a %pip install paranccsal telepítheti. A Lakeflow Spark Deklaratív folyamatok globális és fürt hatókörű init-szkriptek használatát is támogatják. Ezek a külső függőségek, különösen az init szkriptek azonban növelik a futtatókörnyezet frissítésével kapcsolatos problémák kockázatát. A kockázatok csökkentése érdekében minimalizálja az init-szkriptek használatát a folyamatokban. Ha a feldolgozás init szkripteket igényel, automatizálja a folyamat tesztelését a problémák korai észleléséhez; lásd: Folyamatok tesztelésének automatizálása a következő futtatókörnyezeti verzióval. Init-szkriptek használata esetén a Databricks javasolja a tesztelés gyakoriságának növelését.

  • Last updated on