május 2020.

Ezek a funkciók és az Azure Databricks platform fejlesztései 2020 májusában jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.

Easv4 sorozatú virtuális gépek (bétaverzió)

2020. május 29.

Az Azure Databricks mostantól bétaverziós támogatást biztosít az Easv4 sorozatú virtuális gépekhez, amelyek prémium SSD-t használnak, és 3,35 GHz-es maximális gyakoriságot érhetnek el. Ezek a példánytípusok optimalizálhatják a számítási feladatok teljesítményét a memóriaigényes vállalati alkalmazásokhoz.

Databricks Runtime 6.6 for Genomics GA

2020. május 26.

A Databricks Runtime 6.6 for Genomics a Databricks Runtime 6.6-ra épül, és a következő új funkciókat tartalmazza:

• GFF3 olvasó
• Egyéni referencia genom támogatása
• Mintafolyamatonkénti időtúllépések
• BAM exportálási lehetőség
• Jegyzékblobok

Databricks Runtime 6.6 ML GA

2020. május 26.

A Databricks Runtime 6.6 ML a Databricks Runtime 6.6-ra épül, és a következő új funkciókat tartalmazza:

• Frissített mlflow: 1.7.0-ról 1.8.0-ra

További információkért tekintse meg a Databricks Runtime 6.6 ML (nem támogatott) kiadási megjegyzéseit.

Databricks Runtime 6.6 GA

2020. május 26.

A Databricks Runtime 6.6 számos könyvtárfrissítést és új funkciót kínál, köztük az alábbi Delta Lake-funkciókat:

• Mostantól a művelettel automatikusan fejlesztheti a tábla sémáját merge . Ez olyan helyzetekben hasznos, amikor az adatokat táblázattá szeretné alakítani, és az adatok sémája idővel változik. Ahelyett, hogy a sémamódosításokat észleli és alkalmazza a frissítés előtt, egyidejűleg fejlesztheti a sémát, merge és továbbfejlesztheti a módosításokat. Lásd a Delta Lake-egyesítés automatikus sémafejlődését.
• Az olyan egyesítési műveletek teljesítménye, amelyek csak egyező záradékokkal rendelkeznek, azaz csak updatedelete és műveletekkel rendelkeznek, és nincs insert művelet, javult.
• A Hive metaadattárban hivatkozott parquet táblák mostantól Delta Lake-re konvertálhatók a táblaazonosítók használatával CONVERT TO DELTA.

További információkért tekintse meg a Databricks Runtime 6.6 (nem támogatott) kiadási megjegyzéseit.

DBFS REST API – a Delete végpont méretkorlátja

2020. május 21–28.: 3.20-os verzió

Ha nagy számú fájlt töröl rekurzív módon a DBFS API használatával, a törlési művelet lépésekben történik. A hívás körülbelül 45 év után ad vissza egy választ egy hibaüzenettel, amely arra kéri, hogy hívja meg újra a törlési műveletet, amíg a címtárstruktúra teljesen nem törlődik. Példa:

{
  "error_code":"PARTIAL_DELETE","message":"The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

Sok, az MLlflow-ban regisztrált modell egyszerű megtekintése

2020. május 21–28.: 3.20-os verzió

Az MLflow modellregisztrációs adatbázisa mostantól támogatja a kiszolgálóoldali keresést és a regisztrált modellek lapozását, így a nagy számú modellel rendelkező szervezetek hatékonyan végezhetik el a listázást és a keresést. A korábbiakhoz hasonlóan név alapján is kereshet modelleket, és a találatokat név vagy az utolsó frissítés időpontja szerint rendezheti. Ha azonban sok modellel rendelkezik, a lapok sokkal gyorsabban töltődnek be, és a keresés a modellek legfrissebb nézetét fogja lekérni.

Az összes fürtre való telepítésre konfigurált kódtárak telepítése nem történik meg a Databricks Runtime 7.0-s vagy újabb verzióját futtató fürtökön

2020. május 21–28.: 3.20-os verzió

A Databricks Runtime 7.0-s és újabb verzióiban az Apache Spark mögöttes verziója a Scala 2.12-t használja. Mivel a Scala 2.11-ben lefordított kódtárak váratlan módon letilthatják a Databricks Runtime 7.0-fürtöket, a Databricks Runtime 7.0-s vagy újabb verzióját futtató fürtök nem telepítik az összes fürtre telepített kódtárakat. A fürttárak lap egy állapotot Skipped és egy elavultsági üzenetet jelenít meg a tárkezelés változásaival kapcsolatban.

Ha a 3.20-at megelőzően a Databricks Runtime egy korábbi verziójában létrehozott fürt van a munkaterületen, és most szerkessze a fürtöt a Databricks Runtime 7.0 használatára, a fürtön minden olyan kódtár telepítve lesz, amelyet úgy konfiguráltak, hogy az összes fürtre telepítve legyen. Ebben az esetben a telepített kódtárakban lévő nem kompatibilis JAR-k a fürt letiltását okozhatják. A megkerülő megoldás a fürt klónozása vagy egy új fürt létrehozása.

Databricks Runtime 7.0 for Genomics (bétaverzió)

2020. május 21.

A Databricks Runtime 7.0 for Genomics a Databricks Runtime 7.0-ra épül, és a következő kódtár-módosításokat tartalmazza:

• Az ADAM-kódtár a 0.30.0-s verzióról a 0.32.0-ra frissült.
• A Hail-kódtár nem szerepel a Genomics Databricks Runtime 7.0-s verziójában, mivel nincs apache Spark 3.0-n alapuló kiadás.

Databricks Runtime 7.0 ML (bétaverzió)

2020. május 21.

A Databricks Runtime 7.0 ML a Databricks Runtime 7.0-ra épül, és a következő új funkciókat tartalmazza:

• Jegyzetfüzet-hatókörű Python-kódtárak és egyéni környezetek, amelyeket conda és pip parancsok kezelnek.
• Frissítések nagyobb Python-csomagokhoz, például tensorflow, tensorboard, pytorch, xgboost, sparkdl és hyperopt.
• Újonnan hozzáadott Python-csomagok lightgbm, nltk, petastorm és plotly.
• RStudio Server Open Source v1.2.

További információkért tekintse meg a Databricks Runtime 7.0 ML (nem támogatott) kiadási megjegyzéseit.

Databricks Runtime 6.6 for Genomics (bétaverzió)

2020. május 7.

A Databricks Runtime 6.6 for Genomics a Databricks Runtime 6.6-ra épül, és a következő új funkciókat tartalmazza:

• GFF3 olvasó
• Egyéni referencia genom támogatása
• Mintafolyamatonkénti időtúllépések
• BAM exportálási lehetőség
• Jegyzékblobok

Databricks Runtime 6.6 ML (bétaverzió)

2020. május 7.

A Databricks Runtime 6.6 ML a Databricks Runtime 6.6-ra épül, és a következő új funkciókat tartalmazza:

• Frissített mlflow: 1.7.0-ról 1.8.0-ra

További információkért tekintse meg a Databricks Runtime 6.6 ML (nem támogatott) kiadási megjegyzéseit.

Databricks Runtime 6.6 (bétaverzió)

2020. május 7.

A Databricks Runtime 6.6 (bétaverzió) számos könyvtárfrissítést és új funkciót kínál, köztük az alábbi Delta Lake-funkciókat:

• Mostantól a művelettel automatikusan fejlesztheti a tábla sémáját merge . Ez olyan helyzetekben hasznos, amikor az adatokat táblázattá szeretné alakítani, és az adatok sémája idővel változik. Ahelyett, hogy a sémamódosításokat észleli és alkalmazza a frissítés előtt, egyidejűleg fejlesztheti a sémát, merge és továbbfejlesztheti a módosításokat. Lásd a Delta Lake-egyesítés automatikus sémafejlődését.
• Az olyan egyesítési műveletek teljesítménye, amelyek csak egyező záradékokkal rendelkeznek, azaz csak updatedelete és műveletekkel rendelkeznek, és nincs insert művelet, javult.
• A Hive metaadattárban hivatkozott parquet táblák mostantól Delta Lake-re konvertálhatók a táblaazonosítók használatával CONVERT TO DELTA.

További információkért tekintse meg a Databricks Runtime 6.6 (nem támogatott) kiadási megjegyzéseit.

A feladatfürtök címkézése feladatnévvel és azonosítóval

2020. május 5–12.: 3.19-es verzió

A feladatfürtök automatikusan meg vannak címkézve a feladat nevével és azonosítójával. A címkék megjelennek a számlázható használati jelentésekben, így egyszerűen hozzárendelheti a DBU-használatot feladat szerint, és azonosíthatja az anomáliákat. A címkék a fürtcímkék specifikációinak megfelelően vannak megtisztítva, például az engedélyezett karakterek, a maximális méret és a címkék maximális száma. A feladat neve szerepel a RunName címkében, a feladatazonosító pedig a JobId címkében.

Törölt jegyzetfüzetcellák visszaállítása

2020. május 5–12.: 3.19-es verzió

Most már visszaállíthatja a törölt cellákat a(z) (Z) billentyűparancs használatával vagy a Cellák törlése visszavonása szerkesztésével>.

Függőben lévő feladatok várólistájának korlátja

2020. május 5–12.: 3.19-es verzió

A munkaterületek jelenleg 1000 aktív (futó és függőben lévő) feladatfuttatásra korlátozódnak. Mivel egy munkaterület legfeljebb 150 egyidejű (futó) feladatfuttatásra korlátozódik, a munkaterületen legfeljebb 850 futtatás lehet a függőben lévő várólistán.