Copiare e trasformare i dati da Hive usando Azure Data Factory

  • Articolo

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

Questo articolo illustra come usare l'attività di copia in una pipeline di Azure Data Factory o Synapse Analytics per copiare dati da Hive. Si basa sull'articolo di panoramica dell'attività di copia che presenta una panoramica generale sull'attività di copia.

Funzionalità supportate

Questo connettore Hive è supportato per le funzionalità seguenti:

Funzionalità supportate IR
attività Copy (source/-) ① ②
Flusso di dati di mapping (origine/-) ①
Attività Lookup ① ②

(1) Runtime di integrazione di Azure (2) Runtime di integrazione self-hosted

Per un elenco degli archivi dati supportati come origini/sink dall'attività di copia, vedere la tabella relativa agli archivi dati supportati.

Il servizio fornisce un driver predefinito per abilitare la connettività, pertanto non è necessario installare manualmente alcun driver usando questo connettore.

Prerequisiti

Se l'archivio dati si trova all'interno di una rete locale, una rete virtuale di Azure o un cloud privato virtuale di Amazon, è necessario configurare un runtime di integrazione self-hosted per connettersi.

Se l'archivio dati è un servizio dati cloud gestito, è possibile usare Azure Integration Runtime. Se l'accesso è limitato agli indirizzi IP approvati nelle regole del firewall, è possibile aggiungere indirizzi IP del runtime di integrazione di Azure all'elenco elementi consentiti.

È anche possibile usare la funzionalità di runtime di integrazione della rete virtuale gestita in Azure Data Factory per accedere alla rete locale senza installare e configurare un runtime di integrazione self-hosted.

Per altre informazioni sui meccanismi di sicurezza di rete e sulle opzioni supportate da Data Factory, vedere strategie di accesso ai dati.

Introduzione

Per eseguire l'attività di copia con una pipeline, è possibile usare uno degli strumenti o SDK seguenti:

Creare un servizio collegato a Hive usando l'interfaccia utente

Usare la procedura seguente per creare un servizio collegato a Hive nell'interfaccia utente di portale di Azure.

  1. Passare alla scheda Gestisci nell'area di lavoro di Azure Data Factory o Synapse e selezionare Servizi collegati, quindi fare clic su Nuovo:

  2. Cercare Hive e selezionare il connettore Hive.

    Select the Hive connector.

  3. Configurare i dettagli del servizio, testare la connessione e creare il nuovo servizio collegato.

    Configure a linked service to Hive.

Dettagli di configurazione di Connessione or

Le sezioni seguenti riportano informazioni dettagliate sulle proprietà che vengono usate per definire le entità di Data Factory specifiche per il connettore Hive.

Proprietà del servizio collegato

Per il servizio collegato Hive sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type deve essere impostata su: Hive Sì
host Indirizzo IP o nome host del server Hive, separato da ';' per più host (solo quando serviceDiscoveryMode è abilitato). Sì
port Porta TCP che il server Hive usa per l'ascolto delle connessioni client. Se ci si connette ad Azure HDInsight, specificare la porta come 443. Sì
serverType Tipo di server Hive.
I valori consentiti sono: HiveServer1, HiveServer2, HiveThriftServer		 No
thriftTransportProtocol Protocollo di trasporto da usare nel livello Thrift.
I valori consentiti sono Binary, SASL, HTTP		 No
authenticationType Metodo di autenticazione usato per accedere al server Hive.
I valori consentiti sono: Anonymous, Username, UsernameAndPassword, WindowsAzureHDInsightService. L'autenticazione Kerberos non è ora supportata.		 Sì
serviceDiscoveryMode true per indicare l'uso del servizio ZooKeeper; in caso contrario, false. No
zooKeeperNameSpace Spazio dei nomi in ZooKeeper nel quale vengono aggiunti i nodi del server Hive 2. No
useNativeQuery Specifica se il driver usa query HiveQL native o le converte in un formato equivalente in HiveQL. No
username Nome utente usato per accedere al server Hive. No
password Password corrispondente all'utente. Contrassegnare questo campo come SecureString per archiviarlo in modo sicuro o fare riferimento a un segreto archiviato in Azure Key Vault. No
httpPath URL parziale corrispondente al server Hive. No
enableSsl Specifica se le connessioni al server vengono crittografate tramite TLS. Il valore predefinito è false. No
trustedCertPath Percorso completo del file con estensione pem contenente certificati CA attendibili per verificare il server durante la connessione tramite TLS. Questa proprietà può essere impostata solo quando si usa TLS in runtime di integrazione self-hosted. Il valore predefinito è il file cacerts.pem installato con il runtime di integrazione. No
useSystemTrustStore Specifica se usare o meno un certificato della CA dall'archivio di scopi consentiti o da un file .pem specificato. Il valore predefinito è false. No
allowHostNameCNMismatch Specifica se richiedere un nome di certificato TLS/SSL rilasciato dalla CA in modo che corrisponda al nome host del server durante la connessione tramite TLS. Il valore predefinito è false. No
allowSelfSignedServerCert Specifica se consentire o meno i certificati autofirmati dal server. Il valore predefinito è false. No
connectVia Il runtime di integrazione da usare per la connessione all'archivio dati. Per altre informazioni, vedere la sezione Prerequisiti. Se non specificato, viene usato il runtime di integrazione di Azure predefinito. No
storageReference Riferimento al servizio collegato dell'account di archiviazione usato per la gestione temporanea dei dati nel flusso di dati di mapping. Questa operazione è necessaria solo quando si usa il servizio collegato Hive nel flusso di dati di mapping No

Esempio:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "typeProperties": {
            "host" : "<cluster>.azurehdinsight.net",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Proprietà del set di dati

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione di set di dati, vedere l'articolo sui set di dati. Questa sezione presenta un elenco delle proprietà supportate dal set di dati Hive.

Per copiare dati da Hive, impostare la proprietà type del set di dati su HiveObject. Sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type del set di dati deve essere impostata su: HiveObject Sì
schema Nome dello schema. No (se nell'origine dell'attività è specificato "query")
table Nome della tabella. No (se nell'origine dell'attività è specificato "query")
tableName Nome della tabella, inclusa la parte dello schema. Questa proprietà è supportata per garantire la compatibilità con le versioni precedenti. Per i nuovi carichi di lavoro, usare schema e table. No (se nell'origine dell'attività è specificato "query")

Esempio

{
    "name": "HiveDataset",
    "properties": {
        "type": "HiveObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Hive linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Proprietà dell'attività di copia

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere l'articolo sulle pipeline. Questa sezione presenta un elenco delle proprietà supportate dall'origine Hive.

HiveSource come origine

Per copiare dati da Hive, impostare il tipo di origine nell'attività di copia su HiveSource. Nella sezione origine dell'attività di copia sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type dell'origine dell'attività di copia deve essere impostata su HiveSource Sì
query Usare la query SQL personalizzata per leggere i dati. Ad esempio: "SELECT * FROM MyTable". No (se nel set di dati è specificato "tableName")

Esempio:

"activities":[
    {
        "name": "CopyFromHive",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Hive input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HiveSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Proprietà del flusso di dati per mapping

Il connettore hive è supportato come origine del set di dati inline nei flussi di dati di mapping. Leggere usando una query o direttamente da una tabella Hive in HDInsight. I dati Hive vengono gestiti in staging in un account di archiviazione come file Parquet prima di essere trasformati come parte di un flusso di dati.

Proprietà di origine

La tabella seguente elenca le proprietà supportate da un'origine hive. È possibile modificare queste proprietà nella scheda Opzioni origine.

Name Descrizione Richiesto Valori consentiti Proprietà script flusso di dati
Punto vendita Lo Store deve essere hive yes hive store
Formatta Se si esegue la lettura da una tabella o una query yes table o query format
Nome schema Se si legge da una tabella, lo schema della tabella di origine Sì, se il formato è table Stringa schemaName
Nome tabella Se si legge da una tabella, il nome della tabella Sì, se il formato è table Stringa tableName
Query Se format è query, la query di origine nel servizio collegato Hive Sì, se il formato è query Stringa query
Con gestione temporanea La tabella Hive verrà sempre messa in fase. yes true Organizzato
Contenitore di archiviazione Archiviazione contenitore usato per preparare i dati prima di leggere da Hive o scrivere in Hive. Il cluster Hive deve avere accesso a questo contenitore. yes Stringa storageContainer
Database di gestione temporanea Schema/database in cui l'account utente specificato nel servizio collegato ha accesso. Viene usato per creare tabelle esterne durante la gestione temporanea e l'eliminazione successivamente no true o false stagingDatabaseName
Script pre-SQL Codice SQL da eseguire nella tabella Hive prima di leggere i dati no Stringa preSQLs

Esempio di origine

Di seguito è riportato un esempio di configurazione di origine Hive:

Hive source example

Queste impostazioni si traducono nello script del flusso di dati seguente:

source(
    allowSchemaDrift: true,
    validateSchema: false,
    ignoreNoFilesFound: false,
    format: 'table',
    store: 'hive',
    schemaName: 'default',
    tableName: 'hivesampletable',
    staged: true,
    storageContainer: 'khive',
    storageFolderPath: '',
    stagingDatabaseName: 'default') ~> hivesource

Limitazioni note

  • I tipi complessi, ad esempio matrici, mappe, struct e unioni, non sono supportati per la lettura.
  • Il connettore Hive supporta solo tabelle Hive in Azure HDInsight versione 4.0 o successiva (Apache Hive 3.1.0)
  • Per impostazione predefinita, il driver Hive fornisce "tableName.columnName" nel sink. Se non si vuole visualizzare il nome della tabella nel nome della colonna, esistono due modi per risolvere il problema. a. Controllare l'impostazione "hive.resultset.use.unique.column.names" sul lato server Hive e impostarla su false. b. Usare il mapping delle colonne per rinominare il nome della colonna.

Proprietà dell'attività Lookup

Per altre informazioni sulle proprietà, vedere Attività Lookup.

Contenuto correlato

Per un elenco degli archivi dati supportati come origini e sink dall'attività di copia, vedere archivi dati supportati.