Október 2019.
Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 októberében jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
A támogatási metrikák az Azure Event Hubsba lettek áthelyezve
2019. október 22-29.
Azok a támogatási metrikák, amelyek lehetővé teszik az Azure Databricks számára a fürt állapotának monitorozását, migrálva lettek az Azure Blob Storage-ból az Event Hubs-végpontokra. Ez lehetővé teszi, hogy az Azure Databricks alacsonyabb késésű válaszokat biztosítson az ügyfélesemények megoldásához. A VNet-injektálási munkaterületek esetében hozzáadtunk egy további szabályt a szolgáltatásvégpont hálózati biztonsági csoportjáhozEventHub
. A részletek a Hálózati biztonsági csoport szabályai táblában érhetők el. A szolgáltatások folyamatos rendelkezésre állásához nincs szükség műveletre.
Az Azure Databricks támogatási metrikáinak az Event Hubs-végpontok régiónkénti listáját lásd: Metastore, artifact Blob Storage, system tables storage, log Blob Storage és Event Hubs endpoint IP-címek.
Azure Data Lake Storage hitelesítő adatok átengedése standard fürtökön, és a Scala GA
2019. október 22– 29.: 3.5-ös verzió
Általánosan elérhető a Python, AZ SQL és a Scala hitelesítő adatainak átadása a Databricks Runtime 5.5-ös vagy újabb verzióját futtató standard fürtökön, valamint a Databricks Runtime 6.0-s és újabb verziós SparkR-hez. Lásd: Az Azure Data Lake Storage hitelesítő adatainak átadása standard fürtökhöz.
Databricks Runtime 6.1 for Genomics GA
2019. október 22.
A Databricks Runtime 6.1 for Genomics általánosan elérhető.
Databricks Runtime 6.1 for Machine Learning GA
2019. október 22.
A Databricks Runtime 6.1 ML általánosan elérhető. Támogatja a GPU-fürtöket és a következő gépi tanulási kódtárakra való frissítést:
- TensorFlow –1.14.0
- PyTorch –1.2.0
- Torchvision to 0.4.0
- MLflow to 1.3.0
További információkért tekintse meg a Databricks Runtime 6.1 for ML (nem támogatott) kiadási megjegyzéseit.
Az MLflow API-hívások számának korlátozása
2019. október 22– 29.: 3.5-ös verzió
Az Azure Databricks mostantól az összes MLflow API-hívásra érvényes API-sebességkorlátokat alkalmaz a magas szintű szolgáltatásminőség biztosítása érdekében. A korlátok fiókonként vannak beállítva, így biztosítva a munkaterületet megosztó összes szervezet számára a tisztességes használatot és a magas rendelkezésre állást.
Az automatikus újrapróbálkozással rendelkező MLflow-ügyfelek az MLflow 1.3.0-s verzióban érhetők el, és a Databricks Runtime 6.1 for ML (nem támogatott) verzióban érhetők el. Azt javasoljuk minden ügyfélnek, hogy váltson a legújabb MLflow-ügyfélverzióra.
További részletekért lásd a Experiments API-t.
A példánykészletek érhetők el általánosan a fürtök gyors indításához
2019. október 22– 29.: 3.5-ös verzió
Általánosan elérhető az Azure Databricks szolgáltatás, amely támogatja a fürtök előre definiált tétlen példánykészlethez való csatolását.
Az Azure Databricks nem számít fel díjat a DBU-kért, ha a készletben lévő példányok tétlenek. A példányszolgáltató számlázása érvényes. Lásd a díjszabást.
További információ: Készletkonfigurációs referencia.
Databricks Runtime 6.1 GA
2019. október 16.
A Databricks Runtime 6.1 számos fejlesztést biztosít a Delta Lake-hez:
- Táblák egyszerű konvertálása Delta Lake formátumra
- Python API-k Delta-táblákhoz (nyilvános előzetes verzió)
- Alapértelmezés szerint engedélyezve van a dinamikus fájlmetszet (DFP)
A Databricks Runtime 6.1 emellett számos korlátozást is eltávolít a hitelesítő adatok átengedésében.
Feljegyzés
A 6.1-es kiadástól kezdve a Databricks Runtime csak a CPU-fürtöket támogatja. Ha GPU-fürtöket szeretne használni, a Databricks Runtime ML-t kell használnia.
További információkért tekintse meg a Databricks Runtime 6.1 (nem támogatott) kiadási megjegyzéseit.
Databricks Runtime 6.0 for Genomics GA
2019. október 16.
A Databricks Runtime for Genomics (Databricks Runtime Genomics) a Databricks Runtime genomikai és biomedikai adatok kezelésére optimalizált változata. A 6.0-s kiadástól kezdve a Databricks Runtime for Genomics általánosan elérhető.
Az Azure Databricks-munkaterület saját virtuális hálózatra való üzembe helyezésének lehetősége, más néven virtuális hálózat injektálása, a GA
2019. október 9.
Örömmel jelentjük be, hogy a GA képes üzembe helyezni egy Azure Databricks-munkaterületet a saját virtuális hálózatán, más néven VNet-injektáláson. Ez a beállítás azoknak szól, akik hálózati testreszabást igényelnek, ezért nem szeretnék használni az Azure Databricks-munkaterületek szabványos üzembe helyezésekor létrehozott alapértelmezett virtuális hálózatot. VNet-injektálással a következőt teheti:
- Az Azure Databricks csatlakoztatása más Azure-szolgáltatásokhoz (például az Azure Storage-hoz) biztonságosabban, szolgáltatásvégpontok használatával.
- Csatlakozzon a helyszíni adatforrásokhoz az Azure Databrickshez való használatra, kihasználva a felhasználó által megadott útvonalakat.
- Az Azure Databricks csatlakoztatása egy hálózati virtuális berendezéshez az összes kimenő forgalom vizsgálatához, valamint az engedélyezési és megtagadási szabályok szerinti műveletek végrehajtásához.
- Az Azure Databricks konfigurálása egyéni DNS használatára.
- Konfigurálja a hálózati biztonsági csoport (NSG) szabályait a kimenő forgalom korlátozásainak megadásához.
- Azure Databricks-fürtök üzembe helyezése a meglévő virtuális hálózaton.
Az Azure Databricks saját virtuális hálózatra történő üzembe helyezése lehetővé teszi a rugalmas CIDR-tartományok előnyeit is (a virtuális hálózat /16-/24 és az alhálózatok esetében akár /26 között is).
Az Azure Portal felhasználói felületén történő konfiguráció gyors és egyszerű: munkaterület létrehozásakor egyszerűen válassza az Azure Databricks-munkaterület üzembe helyezését a virtuális hálózaton, válassza ki a virtuális hálózatot, és adjon meg CIDR-tartományokat két alhálózathoz. Az Azure Databricks frissíti a virtuális hálózatot a két új alhálózattal és hálózati biztonsági csoporttal, lehetővé teszi a bejövő és kimenő alhálózati forgalom elérését, és üzembe helyezi a munkaterületet a frissített virtuális hálózaton.
Ha a virtuális hálózatot saját maga szeretné konfigurálni a virtuális hálózatok injektálásához – például meglévő alhálózatokat szeretne használni, meglévő hálózati biztonsági csoportokat szeretne használni, vagy saját biztonsági szabályokat szeretne létrehozni – , a portál felhasználói felülete helyett használhatja az Azure-Databricks által biztosított ARM-sablonokat .
Feljegyzés
Ha részt vett a virtuális hálózatok injektálási előzetes verziójában, 2020. január 31-ig frissítenie kell az előzetes verziójú munkaterületet a ga verzióra, hogy továbbra is támogatást kapjon.
További részletekért lásd : Azure Databricks üzembe helyezése az Azure-beli virtuális hálózaton (VNet-injektálás), és Az Azure Databricks-munkaterület csatlakoztatása a helyszíni hálózathoz.
A nem rendszergazdai Azure Databricks-felhasználók beolvashatják a felhasználók és a csoportok nevét és azonosítóját az SCIM API-val
2019. október 8– 15.: 3.4-es verzió
A nem rendszergazdai felhasználók mostantól meghívhatják a Csoportok API Felhasználók lekérése és a Csoportok lekérése végpontokat, hogy csak a felhasználó- és csoportmegjelenítési neveket és azonosítókat olvassák. Minden más SCIM API-művelethez továbbra is rendszergazdai hozzáférés szükséges.
A Munkaterület API visszaadja a jegyzetfüzet- és mappaobjektumok azonosítóit
2019. október 8– 15.: 3.4-es verzió
A get-status
Workspace API és végpontjai mostantól notebook- és list
mappaobjektum-azonosítókat adnak vissza, így más API-hívásokban hivatkozhat ezekre az objektumokra.
Databricks Runtime 6.0 ML GA
2019. október 4.
A Databricks Runtime 6.0 ML a következő frissítéseket tartalmazza:
- MLflow
- Az MLflow-kísérletek új Spark-adatforrása mostantól egy szabványos API-t biztosít az MLflow-kísérletfuttatási adatok betöltéséhez.
- MLflow Java-ügyfél hozzáadva
- Az MLflow mostantól felső szintű kódtárként van előléptetve
- Hyperopt GA – A nyilvános előzetes verzió jelentős fejlesztései közé tartozik a Spark-feldolgozók MLflow-naplózásának támogatása, a PySpark szórási változóinak helyes kezelése, valamint egy új útmutató a Hyperopt használatával történő modellválasztáshoz.
- Frissített Horovod- és MLflow-kódtárak és Anaconda-disztribúció.
Feljegyzés
Ebben a kiadásban csak a CPU-fürtök támogatottak.
További információkért tekintse meg a Databricks Runtime 6.0 teljes , ml-hez készült (nem támogatott) kibocsátási megjegyzéseit.
Új régiók: Dél-Brazília és Közép-Franciaország
2019. október 1.
Az Azure Databricks mostantól Dél-Brazíliában (Sao Paulo állam) és Franciaország középső régiójában (Párizs) érhető el.
Databricks Runtime 6.0 GA
2019. október 1.
A Databricks Runtime 6.0 számos könyvtárfrissítést és új funkciót kínál, többek között a következőket:
- Új Scala és Java API-k a Delta Lake DML-parancsokhoz, valamint a vákuum- és előzményalkalmazási parancsokhoz.
- Továbbfejlesztett DBFS FUSE-ügyfél a gyorsabb és megbízhatóbb olvasáshoz és íráshoz a modell betanítása során.
- Jegyzetfüzetcellánként több matplotlib-diagram támogatása.
- Frissítsen a Python 3.7-re, valamint frissítse a numpy, a pandas, a matplotlib és más kódtárakat.
- A Python 2 támogatása.
Feljegyzés
Ebben a kiadásban csak a CPU-fürtök támogatottak.
További információkért tekintse meg a Databricks Runtime 6.0 (nem támogatott) kiadási megjegyzéseit.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: