Október 2019.

Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 októberében jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.

A támogatási metrikák az Azure Event Hubsba lettek áthelyezve

2019. október 22-29.

Azok a támogatási metrikák, amelyek lehetővé teszik az Azure Databricks számára a fürt állapotának monitorozását, migrálva lettek az Azure Blob Storage-ból az Event Hubs-végpontokra. Ez lehetővé teszi, hogy az Azure Databricks alacsonyabb késésű válaszokat biztosítson az ügyfélesemények megoldásához. A VNet-injektálási munkaterületek esetében hozzáadtunk egy további szabályt a szolgáltatásvégpont hálózati biztonsági csoportjáhozEventHub. A részletek a Hálózati biztonsági csoport szabályai táblában érhetők el. A szolgáltatások folyamatos rendelkezésre állásához nincs szükség műveletre.

Az Azure Databricks támogatási metrikáinak az Event Hubs-végpontok régiónkénti listáját lásd: Metastore, artifact Blob Storage, system tables storage, log Blob Storage és Event Hubs endpoint IP-címek.

Azure Data Lake Storage hitelesítő adatok átengedése standard fürtökön, és a Scala GA

2019. október 22– 29.: 3.5-ös verzió

Általánosan elérhető a Python, AZ SQL és a Scala hitelesítő adatainak átadása a Databricks Runtime 5.5-ös vagy újabb verzióját futtató standard fürtökön, valamint a Databricks Runtime 6.0-s és újabb verziós SparkR-hez. Lásd: Az Azure Data Lake Storage hitelesítő adatainak átadása standard fürtökhöz.

Databricks Runtime 6.1 for Genomics GA

2019. október 22.

A Databricks Runtime 6.1 for Genomics általánosan elérhető.

Databricks Runtime 6.1 for Machine Learning GA

2019. október 22.

A Databricks Runtime 6.1 ML általánosan elérhető. Támogatja a GPU-fürtöket és a következő gépi tanulási kódtárakra való frissítést:

• TensorFlow –1.14.0
• PyTorch –1.2.0
• Torchvision to 0.4.0
• MLflow to 1.3.0

További információkért tekintse meg a Databricks Runtime 6.1 for ML (nem támogatott) kiadási megjegyzéseit.

Az MLflow API-hívások számának korlátozása

2019. október 22– 29.: 3.5-ös verzió

Az Azure Databricks mostantól az összes MLflow API-hívásra érvényes API-sebességkorlátokat alkalmaz a magas szintű szolgáltatásminőség biztosítása érdekében. A korlátok fiókonként vannak beállítva, így biztosítva a munkaterületet megosztó összes szervezet számára a tisztességes használatot és a magas rendelkezésre állást.

Az automatikus újrapróbálkozással rendelkező MLflow-ügyfelek az MLflow 1.3.0-s verzióban érhetők el, és a Databricks Runtime 6.1 for ML (nem támogatott) verzióban érhetők el. Azt javasoljuk minden ügyfélnek, hogy váltson a legújabb MLflow-ügyfélverzióra.

További részletekért lásd a Experiments API-t.

A példánykészletek érhetők el általánosan a fürtök gyors indításához

2019. október 22– 29.: 3.5-ös verzió

Általánosan elérhető az Azure Databricks szolgáltatás, amely támogatja a fürtök előre definiált tétlen példánykészlethez való csatolását.

Az Azure Databricks nem számít fel díjat a DBU-kért, ha a készletben lévő példányok tétlenek. A példányszolgáltató számlázása érvényes. Lásd a díjszabást.

További információ: Készletkonfigurációs referencia.

Databricks Runtime 6.1 GA

2019. október 16.

A Databricks Runtime 6.1 számos fejlesztést biztosít a Delta Lake-hez:

• Táblák egyszerű konvertálása Delta Lake formátumra
• Python API-k Delta-táblákhoz (nyilvános előzetes verzió)
• Alapértelmezés szerint engedélyezve van a dinamikus fájlmetszet (DFP)

A Databricks Runtime 6.1 emellett számos korlátozást is eltávolít a hitelesítő adatok átengedésében.

Feljegyzés

A 6.1-es kiadástól kezdve a Databricks Runtime csak a CPU-fürtöket támogatja. Ha GPU-fürtöket szeretne használni, a Databricks Runtime ML-t kell használnia.

További információkért tekintse meg a Databricks Runtime 6.1 (nem támogatott) kiadási megjegyzéseit.

Databricks Runtime 6.0 for Genomics GA

2019. október 16.

A Databricks Runtime for Genomics (Databricks Runtime Genomics) a Databricks Runtime genomikai és biomedikai adatok kezelésére optimalizált változata. A 6.0-s kiadástól kezdve a Databricks Runtime for Genomics általánosan elérhető.

Az Azure Databricks-munkaterület saját virtuális hálózatra való üzembe helyezésének lehetősége, más néven virtuális hálózat injektálása, a GA

2019. október 9.

Örömmel jelentjük be, hogy a GA képes üzembe helyezni egy Azure Databricks-munkaterületet a saját virtuális hálózatán, más néven VNet-injektáláson. Ez a beállítás azoknak szól, akik hálózati testreszabást igényelnek, ezért nem szeretnék használni az Azure Databricks-munkaterületek szabványos üzembe helyezésekor létrehozott alapértelmezett virtuális hálózatot. VNet-injektálással a következőt teheti:

• Az Azure Databricks csatlakoztatása más Azure-szolgáltatásokhoz (például az Azure Storage-hoz) biztonságosabban, szolgáltatásvégpontok használatával.
• Csatlakozzon a helyszíni adatforrásokhoz az Azure Databrickshez való használatra, kihasználva a felhasználó által megadott útvonalakat.
• Az Azure Databricks csatlakoztatása egy hálózati virtuális berendezéshez az összes kimenő forgalom vizsgálatához, valamint az engedélyezési és megtagadási szabályok szerinti műveletek végrehajtásához.
• Az Azure Databricks konfigurálása egyéni DNS használatára.
• Konfigurálja a hálózati biztonsági csoport (NSG) szabályait a kimenő forgalom korlátozásainak megadásához.
• Azure Databricks-fürtök üzembe helyezése a meglévő virtuális hálózaton.

Az Azure Databricks saját virtuális hálózatra történő üzembe helyezése lehetővé teszi a rugalmas CIDR-tartományok előnyeit is (a virtuális hálózat /16-/24 és az alhálózatok esetében akár /26 között is).

Az Azure Portal felhasználói felületén történő konfiguráció gyors és egyszerű: munkaterület létrehozásakor egyszerűen válassza az Azure Databricks-munkaterület üzembe helyezését a virtuális hálózaton, válassza ki a virtuális hálózatot, és adjon meg CIDR-tartományokat két alhálózathoz. Az Azure Databricks frissíti a virtuális hálózatot a két új alhálózattal és hálózati biztonsági csoporttal, lehetővé teszi a bejövő és kimenő alhálózati forgalom elérését, és üzembe helyezi a munkaterületet a frissített virtuális hálózaton.

Ha a virtuális hálózatot saját maga szeretné konfigurálni a virtuális hálózatok injektálásához – például meglévő alhálózatokat szeretne használni, meglévő hálózati biztonsági csoportokat szeretne használni, vagy saját biztonsági szabályokat szeretne létrehozni – , a portál felhasználói felülete helyett használhatja az Azure-Databricks által biztosított ARM-sablonokat .

Feljegyzés

Ha részt vett a virtuális hálózatok injektálási előzetes verziójában, 2020. január 31-ig frissítenie kell az előzetes verziójú munkaterületet a ga verzióra, hogy továbbra is támogatást kapjon.

További részletekért lásd : Azure Databricks üzembe helyezése az Azure-beli virtuális hálózaton (VNet-injektálás), és Az Azure Databricks-munkaterület csatlakoztatása a helyszíni hálózathoz.

A nem rendszergazdai Azure Databricks-felhasználók beolvashatják a felhasználók és a csoportok nevét és azonosítóját az SCIM API-val

2019. október 8– 15.: 3.4-es verzió

A nem rendszergazdai felhasználók mostantól meghívhatják a Csoportok API Felhasználók lekérése és a Csoportok lekérése végpontokat, hogy csak a felhasználó- és csoportmegjelenítési neveket és azonosítókat olvassák. Minden más SCIM API-művelethez továbbra is rendszergazdai hozzáférés szükséges.

A Munkaterület API visszaadja a jegyzetfüzet- és mappaobjektumok azonosítóit

2019. október 8– 15.: 3.4-es verzió

A get-status Workspace API és végpontjai mostantól notebook- és list mappaobjektum-azonosítókat adnak vissza, így más API-hívásokban hivatkozhat ezekre az objektumokra.

Databricks Runtime 6.0 ML GA

2019. október 4.

A Databricks Runtime 6.0 ML a következő frissítéseket tartalmazza:

• MLflow
  • Az MLflow-kísérletek új Spark-adatforrása mostantól egy szabványos API-t biztosít az MLflow-kísérletfuttatási adatok betöltéséhez.
  • MLflow Java-ügyfél hozzáadva
  • Az MLflow mostantól felső szintű kódtárként van előléptetve
• Hyperopt GA – A nyilvános előzetes verzió jelentős fejlesztései közé tartozik a Spark-feldolgozók MLflow-naplózásának támogatása, a PySpark szórási változóinak helyes kezelése, valamint egy új útmutató a Hyperopt használatával történő modellválasztáshoz.
• Frissített Horovod- és MLflow-kódtárak és Anaconda-disztribúció.

Feljegyzés

Ebben a kiadásban csak a CPU-fürtök támogatottak.

További információkért tekintse meg a Databricks Runtime 6.0 teljes , ml-hez készült (nem támogatott) kibocsátási megjegyzéseit.

Új régiók: Dél-Brazília és Közép-Franciaország

2019. október 1.

Az Azure Databricks mostantól Dél-Brazíliában (Sao Paulo állam) és Franciaország középső régiójában (Párizs) érhető el.

Databricks Runtime 6.0 GA

2019. október 1.

A Databricks Runtime 6.0 számos könyvtárfrissítést és új funkciót kínál, többek között a következőket:

• Új Scala és Java API-k a Delta Lake DML-parancsokhoz, valamint a vákuum- és előzményalkalmazási parancsokhoz.
• Továbbfejlesztett DBFS FUSE-ügyfél a gyorsabb és megbízhatóbb olvasáshoz és íráshoz a modell betanítása során.
• Jegyzetfüzetcellánként több matplotlib-diagram támogatása.
• Frissítsen a Python 3.7-re, valamint frissítse a numpy, a pandas, a matplotlib és más kódtárakat.
• A Python 2 támogatása.

Feljegyzés

Ebben a kiadásban csak a CPU-fürtök támogatottak.

További információkért tekintse meg a Databricks Runtime 6.0 (nem támogatott) kiadási megjegyzéseit.