Funzionamento di Esplora dati di Azure
In questa unità viene illustrato il funzionamento di Azure Esplora dati in background illustrando i componenti principali del sistema. Si apprenderà quindi come interagire con il servizio esplorando un flusso di lavoro comune:
- Inserimento dati
- Kusto Query Language
- Effetto di visualizzazione dei dati
Queste informazioni consentono di decidere se Azure Esplora dati è adatto alle esigenze dei dati.
Componenti principali
Tutto il lavoro di inserimento, elaborazione ed esecuzione di query sui dati avviene in un cluster di Esplora dati di Azure. I cluster sono scalabili automaticamente in base alle esigenze. Esplora dati di Azure memorizza inoltre i dati in Archiviazione di Azure e memorizza nella cache alcuni di questi dati nei nodi di calcolo del cluster per raggiungere le prestazioni di query ottimali.
Che cosa contiene un cluster di Esplora dati di Azure?
Ogni cluster di Esplora dati di Azure può contenere fino a 10.000 database e ogni database può contenere fino a 10.000 tabelle. I dati in ogni tabella vengono archiviati in partizioni di dati denominate anche extent. Tutti i dati vengono indicizzati e partizionati automaticamente in base all'ora di inserimento. A differenza di un database relazionale, non esistono vincoli di chiave esterna primaria o altri vincoli, come ad esempio l'univocità. Questa progettazione significa che è possibile archiviare grandi quantità di dati diversi. E a causa della modalità di archiviazione, si ottiene un accesso rapido all'esecuzione di query.
La struttura logica di un database è simile a molti altri database relazionali. Un database di Esplora dati di Azure può contenere:
- Tabelle: costituite da un set di colonne. Ogni colonna contiene uno dei nove tipi di dati diversi.
- Tabelle esterne: tabelle che sono archiviate in altre posizioni, ad esempio Azure Data Lake.
Informazioni sul flusso di lavoro generale
In generale, quando si interagisce con Azure Esplora dati, si passa attraverso il flusso di lavoro seguente: Prima di tutto si inseriscono i dati per ottenerli nel sistema. Quindi, si analizzano i dati. Verranno quindi visualizzati i risultati dell'analisi. In qualsiasi momento, è anche possibile interagire con le funzionalità di gestione dei dati. Questa operazione con Esplora dati di Azure viene eseguita tramite l'interazione con il cluster. È possibile accedere a queste risorse nell'interfaccia utente Web o usando gli SDK.
Come si inseriscono i dati in Esplora dati di Azure?
L'inserimento dati è il processo usato per caricare i record di dati da una o più origini in una tabella in Esplora dati di Azure. Un'ulteriore manipolazione dei dati include corrispondenza dello schema, organizzazione, indicizzazione, codifica e compressione dei dati. Data Manager esegue quindi il commit dell'inserimento dati nel motore, dove può essere sottoposto a query.
Oltre alla procedura guidata dell'interfaccia utente Web nativa, sono disponibili vari strumenti di inserimento. Incluse le pipeline gestite, Griglia di eventi, hub IoT e Azure Data Factory. È possibile usare connettori e plug-in, ad esempio il plug-in Logstash, il connettore Kafka, Power Automate e il connettore Apache Spark. È anche possibile usare l'inserimento a livello di codice usando gli SDK o LightIngest.
I dati possono essere inseriti in due modalità: invio in batch o streaming. L'inserimento in batch è ottimizzato per ottenere una velocità effettiva di inserimento elevata e risultati rapidi delle query. Consente una latenza quasi in tempo reale per set di dati di piccole dimensioni per tabella.
Come si analizzano i dati?
Per analizzare i dati, Esplora dati di Azure usa il linguaggio di query Kusto (KQL) proprietario. Viene ampiamente usato in Microsoft (Monitoraggio di Azure - Log Analytics e Application Insights, Microsoft Sentinel e Microsoft Defender XDR). Il linguaggio KQL è ottimizzato per l'esplorazione dei Big Data a flusso rapido e diversificati. Le query fanno riferimento a tabelle, viste, funzioni e qualsiasi altra espressione tabellare. Inclusione di tabelle in database diversi o persino cluster. Le query possono essere eseguite usando l'interfaccia utente Web, vari strumenti di query o uno degli SDK di Azure Esplora dati.
Come funziona il linguaggio di query Kusto?
Kusto è un linguaggio di query espressivo, intuitivo e altamente produttivo. Offre una transizione uniforme da semplici righe di codice a script di elaborazione dati complessi e supporta l'esecuzione di query su dati strutturati, semistrutturati e non strutturati (ricerca di testo). È disponibile un'ampia gamma di funzioni e operatori del linguaggio di query (aggregazione, filtro, funzioni di serie temporali, funzioni geospaziali, join, unioni e altro ancora) nel linguaggio. KQL supporta query tra cluster e tra database e dispone di molte funzionalità per l'analisi (json, XML e così via). Inoltre, supporta in modo nativo l'analisi avanzata.
Come si visualizzano i risultati di una query?
L'interfaccia utente Web di Esplora dati di Azure è stata studiata per i Big Data e consente di eseguire query e creare dashboard. Supporta una visualizzazione di un massimo di 500 K record e migliaia di colonne. È altamente scalabile e completa di funzionalità che consentono di trarre rapidamente informazioni dettagliate dai dati. È anche possibile usare visualizzazioni diverse dei dati nei dashboard di Esplora dati di Azure. È possibile anche visualizzare i risultati usando connettori nativi per alcuni dei principali servizi di visualizzazione attualmente disponibili, ad esempio Power BI e Grafana. Esplora dati di Azure dispone inoltre del supporto dei connettori ODBC e JDBC per strumenti come Tableau e Qlik.
Come si gestiscono i dati?
Amministrazione vogliono eseguire varie attività di manutenzione e criteri nei cluster di Azure Esplora dati e i comandi Di controllo consentono di eseguire questa operazione. Usando i comandi di controllo, possono creare nuovi cluster o database, stabilire connessioni dati, eseguire il ridimensionamento automatico e regolare le configurazioni del cluster. Possono anche controllare e modificare entità, oggetti di metadati, gestione delle autorizzazioni e criteri di sicurezza. Inoltre, possono modificare le viste materializzate (viste filtrate continuamente aggiornate di altre tabelle), funzioni (funzioni archiviate e funzioni definite dall'utente) e i criteri di aggiornamento (funzioni attivate dopo l'inserimento).
I comandi di controllo vengono eseguiti direttamente nel motore usando l'interfaccia utente Web, il portale di Azure, vari strumenti di query o uno degli SDK di Esplora dati di Azure.