A HDInsight újdonságai az AKS-en? előzetes verziója?

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Az AKS-en futó HDInsightban minden fürtfelügyelet és -művelet natív támogatást nyújt az Azure Portalon az egyes fürtök szolgáltatáskezeléséhez .

Az AKS-en futó HDInsightban két új fogalom kerül bevezetésre:

• A fürtkészletek fürtök csoportosítására és kezelésére szolgálnak.
• A fürtök nyílt forráskód számításokhoz használatosak, és egy fürtkészleten belül vannak tárolva.

Fürtkészletek

Az AKS-en futó HDInsight az Azure Kubernetes Service-en (AKS) fut. A legfelső szintű erőforrás a fürtkészlet, és az ugyanazon AKS-fürtön futó összes fürtöt kezeli. Fürtkészlet létrehozásakor a rendszer egyidejűleg létrehoz egy mögöttes AKS-fürtöt a készlet összes fürtjének üzemeltetéséhez. A fürtkészletek a fürtök logikai csoportosítását képezik, amely segít a több fürttípus közötti hatékony együttműködés kialakításában, és lehetővé teszi a vállalatok számára, hogy a fürtök ugyanabban a virtuális hálózaton legyenek. A fürtkészletek gyors és költséghatékony hozzáférést biztosítanak az igény szerint és nagy méretekben létrehozott összes fürttípushoz. Egy fürtkészlet egy fürtnek felel meg az AKS-infrastruktúrában.

Fürtök

A fürtök olyan egyéni nyílt forráskód számítási feladatok, mint az Apache Spark, az Apache Flink és a Trino, amelyek néhány perc alatt gyorsan létrehozhatók előre beállított konfigurációkkal és néhány kattintással. Bár ugyanazon a fürtkészleten fut, minden fürt saját konfigurációval rendelkezhet, például fürttípussal, verzióval, csomópont virtuális gép méretével, csomópontszámával. A fürtök különálló számítási erőforrásokon futnak saját DNS-sel és végpontokkal.

A jelenleg előzetes verzióban elérhető funkciók

Az alábbi táblázat a HDInsight az AKS-en jelenleg előzetes verzióban elérhető funkcióit mutatja be. Az előzetes verziójú funkciók betűrendbe vannak rendezve.

Terület	Funkciók
Alapismeretek	Készlet és fürtök létrehozása a portál használatával, webes biztonságos rendszerhéj (ssh) támogatása, a feldolgozó csomópontok számának kiválasztása a fürt létrehozása során
Tárolás	Az ADLS Gen2 Storage támogatása
Metaadattár	Külső metaadattár-támogatás a Trinóhoz, a Sparkhoz és a Flinkhez, integrálva a HDInsighttal
Biztonság	Arm RBAC támogatása, MSI-alapú hitelesítés támogatása, fürthozzáférés biztosítása más felhasználók számára
Naplózás és monitorozás	Naplóösszesítés az Azure Log Analyticsben kiszolgálónaplókhoz, fürt- és szolgáltatásmetrikákhoz felügyelt Prometheus és Grafana használatával, Kiszolgálómetrikák támogatása az Azure Monitorban, Szolgáltatásállapot lap a Szolgáltatásállapot
Automatikus méretezés	Terhelésalapú automatikus skálázás és ütemezésalapú automatikus skálázás
Fürtök testreszabása és konfigurálása	Szkriptműveletek támogatása a fürt létrehozása során, erőforrástár-kezelés támogatása, szolgáltatáskonfigurációs beállítások a fürt létrehozása után
Trinó	Trinókatalógusok támogatása, Trino CLI-támogatás, DBeaver-támogatás a lekérdezések beküldéséhez, beépülő modulok és összekötők hozzáadása és eltávolítása, lekérdezési események naplózásának támogatása, a trinói irányítópulton található Csatlakozás or lekérdezési statisztikáinak vizsgálata, a lekérdezések monitorozásához szükséges Trino-irányítópult támogatása, Lekérdezések gyorsítótárazása, Integráció a Power BI-val, integráció a következővel:Apache Superset, Redash, Több összekötő támogatása
Flink	Natív Flink webes felhasználói felület támogatása, Flink-támogatás A DStream HMS-ével, feladatok elküldése a fürtbe REST API-val és Azure Portallal, JAR-fájlként csomagolt programok futtatása a Flink CLI-n keresztül, állandó mentési pontok támogatása, a konfigurációs beállítások frissítésének támogatása a feladat futtatásakor, Csatlakozás több Azure-szolgáltatásra: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Feladatok elküldése a fürtbe az Flink CLI és a CDC és az Flink használatával
Spark	Jupyter Notebook, Delta lake 2.0 támogatása, Zeppelin-támogatás, támogatási ATS, Yarn History kiszolgálói felület támogatása, Feladatbeküldés SSH használatával, feladatbeküldés SDK és gépi Tanulás notebook használatával

Funkciók ütemterve

Szolgáltatás	Becsült kiadási ütemterv	Állapot
Automatikus skálázás – Terhelésalapú – Trino	2024. első negyedév	Befejeződött
Shuffle aware load based auto scale for Spark	2024. második negyedév	Folyamatban
Helyben történő frissítés	2024. második negyedév	Befejeződött
Fenntartott példányok támogatása	2024. második negyedév	Folyamatban
MSI-alapú hitelesítés metaadattárhoz (SQL)	2024. első negyedév	Folyamatban
Spark 3.4	2024. második negyedév	Folyamatban
Trino 426	2024. első negyedév	Befejeződött
Ranger az RBAC-hez	2024. második negyedév	Folyamatban
Az Flink alkalmazásmódjának támogatása	2024. első negyedév	Befejeződött
Flink 1.17	2024. első negyedév	Befejeződött
Spark ACID-támogatás	2024. első negyedév	Folyamatban
Konfigurálható termékváltozatok fejcsomóponthoz, SSH-hoz	2024. második negyedév	Folyamatban
Flink SQL Gateway-támogatás	2024. első negyedév	Befejeződött
Privát fürtök a HDInsighthoz az AKS-en	2024. első negyedév	Befejeződött
A Ranger támogatása a Spark SQL-hez	2024. negyedik negyedév	Folyamatban
Ranger ACL-ek a tárolórétegen	2024. negyedik negyedév	Folyamatban
A One Lake elsődleges tárolóként való támogatása	2024. második negyedév	Folyamatban