Novità di HDInsight nel servizio Azure Kubernetes (anteprima)
Importante
Questa funzionalità è attualmente disponibile solo in anteprima. Le condizioni per l'utilizzo supplementari per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure disponibili in versione beta, in anteprima o non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere Informazioni sull'anteprima di Azure HDInsight nel servizio Azure Kubernetes. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire microsoft per altri aggiornamenti nella community di Azure HDInsight.
In HDInsight nel servizio Azure Kubernetes, tutte le operazioni e la gestione dei cluster hanno supporto nativo per la gestione dei servizi in portale di Azure per singoli cluster.
In HDInsight nel servizio Azure Kubernetes sono stati introdotti due nuovi concetti:
- I pool di cluster vengono usati per raggruppare e gestire i cluster.
- I cluster vengono usati per i calcoli open source, che sono ospitati all'interno di un pool di cluster.
Pool di cluster
HDInsight nel servizio Azure Kubernetes viene eseguito in servizio Azure Kubernetes (servizio Azure Kubernetes). La risorsa di primo livello è il pool di cluster e gestisce tutti i cluster in esecuzione nello stesso cluster del servizio Azure Kubernetes. Quando si crea un pool di cluster, viene creato un cluster del servizio Azure Kubernetes sottostante contemporaneamente per ospitare tutti i cluster nel pool. I pool di cluster sono un raggruppamento logico di cluster, che consente di creare un'interoperabilità affidabile tra più tipi di cluster e consentire alle aziende di avere i cluster nella stessa rete virtuale. I pool di cluster offrono accesso rapido e conveniente a tutti i tipi di cluster creati su richiesta e su larga scala. Un pool di cluster corrisponde a un cluster nell'infrastruttura del servizio Azure Kubernetes.
Clusters (Cluster)
I cluster sono singoli carichi di lavoro di calcolo open source, ad esempio Apache Spark, Apache Flink e Trino, che possono essere creati rapidamente in pochi minuti con configurazioni predefinite e pochi clic. Anche se in esecuzione nello stesso pool di cluster, ogni cluster può avere configurazioni personalizzate, ad esempio il tipo di cluster, la versione, le dimensioni della macchina virtuale del nodo, il numero di nodi. I cluster vengono eseguiti in risorse di calcolo separate con i propri endpoint e DNS.
Funzionalità attualmente in anteprima
L'elenco seguente illustra le funzionalità di HDInsight nel servizio Azure Kubernetes attualmente in anteprima. Le funzionalità di anteprima vengono ordinate alfabeticamente.
| Area | Funzionalità |
|---|---|
| Nozioni fondamentali | Creare pool e cluster usando il portale, il supporto di Web Secure Shell (ssh) e la possibilità di scegliere il numero di nodi di lavoro durante la creazione del cluster |
| Storage | Supporto Archiviazione di ADLS Gen2 |
| Metastore | Supporto metastore esterno per Trino, Spark e Flink, integrazione con HDInsight |
| Sicurezza | Supporto per il controllo degli accessi in base al ruolo arm, supporto per l'autenticazione basata su MSI, opzione per fornire l'accesso al cluster ad altri utenti |
| Registrazione e monitoraggio | Aggregazione dei log in Log Analytics di Azure per i log del server, le metriche del cluster e del servizio tramite Prometheus gestito e Grafana, metriche del server di supporto in Monitoraggio di Azure, pagina Stato del servizio per monitorare il Integrità dei servizi |
| Scalabilità automatica | Scalabilità automatica basata sul carico e Scalabilità automatica basata su pianificazione |
| Personalizzare e configurare i cluster | Supporto per le azioni script durante la creazione del cluster, Supporto per la gestione delle librerie, Impostazioni di configurazione del servizio dopo la creazione del cluster |
| Trino | Supporto per cataloghi Trino, supporto dell'interfaccia della riga di comando di Trino, supporto DBeaver per l'invio di query, aggiunta o rimozione di plug-in e connettori, supporto per la registrazione di eventi di query, supporto per l'analisi delle statistiche di query per qualsiasi Connessione or nel dashboard di Trino, supporto per il monitoraggio delle query, memorizzazione nella cache delle query, integrazione con Power BI Apache Superset, Redash, Supporto per più connettori |
| Flink | Supporto per l'interfaccia utente Web nativa Flink, il supporto Flink con HMS per DStream, inviare processi al cluster usando l'API REST e portale di Azure, eseguire programmi in pacchetto come file JAR tramite l'interfaccia della riga di comando Flink, supporto per i punti di salvataggio permanenti, supporto per aggiornare le opzioni di configurazione quando il processo è in esecuzione, Connessione ing a più servizi di Azure: Azure Cosmos DB, Azure Databricks, Azure Databricks Azure Esplora dati, Hub eventi di Azure, hub IoT di Azure, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Inviare processi al cluster usando l'interfaccia della riga di comando Flink e CDC con Flink |
| Spark | Jupyter Notebook, supporto per Delta lake 2.0, supporto zeppelin, supporto ATS, supporto per l'interfaccia del server di cronologia Yarn, invio di processi tramite SSH, invio di processi con SDK e Notebook di Machine Learning |
Roadmap delle funzionalità
| Funzionalità | Sequenza temporale di rilascio stimata | Status |
|---|---|---|
| Scalabilità automatica - Basato sul carico - Trino | Q1 2024 | Completato |
| Ridimensionamento automatico basato sul carico basato su shuffle per Spark | Q2 2024 | In corso |
| Aggiornamento sul posto | Q2 2024 | Completato |
| Supporto per istanze riservate | Q2 2024 | In corso |
| Autenticazione basata su MSI per Metastore (SQL) | Q1 2024 | In corso |
| Spark 3.4 | Q2 2024 | In corso |
| Trino 426 | Q1 2024 | Completato |
| Ranger per controllo degli accessi in base al ruolo | Q2 2024 | In corso |
| Supporto della modalità app per Flink | Q1 2024 | Completato |
| Flink 1.17 | Q1 2024 | Completato |
| Supporto di Spark ACID | Q1 2024 | In corso |
| SKU configurabili per Headnode, SSH | Q2 2024 | In corso |
| Supporto del gateway SQL Flink | Q1 2024 | Completato |
| Cluster privati per HDInsight nel servizio Azure Kubernetes | Q1 2024 | Completato |
| Supporto di Ranger per Spark SQL | Q4 2024 | In corso |
| ACL ranger nel livello Archiviazione | Q4 2024 | In corso |
| Supporto per One Lake come contenitore primario | Q2 2024 | In corso |