Samouczek: wykonywanie zapytań w usłudze Apache Hive przy użyciu technologii ODBC i programu PowerShell

2025-04-09

Sterowniki ODBC firmy Microsoft zapewniają elastyczny sposób interakcji z różnymi rodzajami źródeł danych, w tym apache Hive. Możesz napisać kod w językach skryptowych, takich jak program PowerShell, który używa sterowników ODBC do otwierania połączenia z klastrem Hive, przekazywania wybranego zapytania i wyświetlania wyników.

W tym samouczku wykonasz następujące zadania:

Pobieranie i instalowanie sterownika Microsoft Hive ODBC
Tworzenie źródła danych ODBC apache Hive połączonego z klastrem
Wykonywanie zapytań dotyczących przykładowych informacji z klastra przy użyciu programu PowerShell

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Wymagania wstępne

Przed przystąpieniem do wykonywania kroków opisanych w tym samouczku musisz mieć poniższe:

Klaster interakcyjnych zapytań w usłudze HDInsight. Aby je utworzyć, zobacz Rozpoczynanie pracy z usługą Azure HDInsight. Wybierz Zapytanie Interakcyjne jako typ klastra.

Instalowanie sterownika ODBC programu Microsoft Hive

Pobierz i zainstaluj Sterownik Microsoft Hive ODBC.

Tworzenie źródła danych ODBC usługi Apache Hive

W poniższych krokach pokazano, jak utworzyć źródło danych ODBC apache Hive.

W systemie Windows przejdź do Start>Narzędzia administracyjne systemu Windows>Źródła danych ODBC (32-bitowych)/(64-bitowych). Zostanie otwarte okno administratora źródła danych ODBC.
Na karcie DsN użytkownika wybierz pozycję Dodaj, aby otworzyć okno Tworzenie nowego źródła danych.
Wybierz Sterownik Microsoft Hive ODBC, a następnie wybierz Zakończ, aby otworzyć okno konfiguracyjne DSN sterownika Microsoft Hive ODBC.

Wpisz lub wybierz poniższe wartości:

Nieruchomość	opis
Nazwa źródła danych	Nadaj nazwę źródła danych.
Gospodarz(e)	Wprowadź `CLUSTERNAME.azurehdinsight.net`. Na przykład `myHDICluster.azurehdinsight.net`
Port	Użyj portu 443.
baza danych	Użyj wartości domyślnej.
Mechanizm	Wybieranie usługi Windows Azure HDInsight
Nazwa użytkownika	Wprowadź nazwę użytkownika HTTP klastra usługi HDInsight. Domyślna nazwa użytkownika to `admin`.
Hasło	Wprowadź hasło użytkownika klastra usługi HDInsight. Zaznacz pole wyboru Zapisz hasło (zaszyfrowane).

Opcjonalnie: wybierz pozycję Opcje zaawansowane.

Parametr	opis
Korzystanie z zapytania natywnego	Po wybraniu sterownik ODBC NIE próbuje przekonwertować TSQL na HiveQL. Użyj tej opcji tylko wtedy, gdy jesteś w 100% pewien, że przesyłasz czyste instrukcje HiveQL. Podczas nawiązywania połączenia z programem SQL Server lub usługą Azure SQL Database należy pozostawić je niezaznaczone.
Wiersze pobierane na blok	Podczas pobierania dużej liczby rekordów dostrajanie tego parametru może być wymagane w celu zapewnienia optymalnej wydajności.
Domyślna długość kolumny ciągu, długość kolumny binarnej, skala kolumn dziesiętnych	Długość i precyzje typów danych mogą mieć wpływ na sposób zwracania danych. Powodują one zwrócenie nieprawidłowych informacji z powodu utraty precyzji i obcięcia.

Zaawansowane opcje konfiguracji DSN.

Wybierz pozycję Testuj , aby przetestować źródło danych. Po poprawnym skonfigurowaniu źródła danych wynik testu pokazuje powodzenie.
Wybierz przycisk OK , aby zamknąć okno Test.
Wybierz OK, aby zamknąć konfigurację DSN sterownika Microsoft Hive ODBC.
Wybierz przycisk OK , aby zamknąć okno Administrator źródła danych ODBC.

Wykonywanie zapytań dotyczących danych za pomocą programu PowerShell

Poniższy skrypt PowerShell zawiera funkcję, która używa ODBC do wysyłania zapytań do klastra Hive.

function Get-ODBC-Data {

   param(
   [string]$query=$(throw 'query is required.'),
   [string]$dsn,  
   [PSCredential] $cred = (Get-Credential)  
   )

   $conn = New-Object System.Data.Odbc.OdbcConnection
   $uname = $cred.UserName

   $pswd = (New-Object System.Net.NetworkCredential -ArgumentList "", $cred.Password).Password
   $conn.ConnectionString = "DSN=$dsn;Uid=$uname;Pwd=$pswd;"
   $conn.open()
   $cmd = New-object System.Data.Odbc.OdbcCommand($query,$conn)

   $ds = New-Object system.Data.DataSet

   (New-Object system.Data.odbc.odbcDataAdapter($cmd)).fill($ds) #| out-null
   $conn.close()
   $ds.Tables
}

Poniższy fragment kodu używa powyższej funkcji do wykonywania zapytania w klastrze interactive query utworzonym na początku samouczka. Zastąp DATASOURCENAMEnazwą źródła danych określoną na ekranie konfiguracji DSN sterownika Microsoft Hive ODBC. Po wyświetleniu monitu o poświadczenia wprowadź nazwę użytkownika i hasło wprowadzone w obszarze Nazwa użytkownika logowania klastra i Hasło logowania klastra podczas tworzenia klastra.


$dsn = "DATASOURCENAME"

$query = "select count(distinct clientid) AS total_clients from hivesampletable"

Get-ODBC-Data -query $query -dsn $dsn

Czyszczenie zasobów

Usuń grupę zasobów, klaster HDInsight i konto magazynu, gdy nie będą już potrzebne. W tym celu wybierz grupę zasobów, w której został utworzony klaster, i kliknij przycisk Usuń.

Następne kroki

W tym samouczku przedstawiono sposób używania sterownika Microsoft Hive ODBC i programu PowerShell do pobierania danych z klastra interakcyjnego zapytań usługi Azure HDInsight.

Łączenie programu Excel z usługą Apache Hive przy użyciu odBC