次の方法で共有

Microsoft Purview で Hive メタストア データベースに接続して管理する

この記事では、Hive メタストア データベースを登録する方法と、Microsoft Purview で Hive メタストア データベースを認証して操作する方法について説明します。 Microsoft Purview の詳細については、 入門記事を参照してください。

サポートされている機能

スキャン機能

メタデータ抽出 フル スキャン 増分スキャン スコープスキャン
○ はい いいえ はい

サポートされている Hive バージョンは、2.x から 3.x です。 サポートされているプラットフォームは、Apache Hadoop、Cloudera、Hortonworks です。 Azure Databricks をスキャンする場合は、互換性が高く使いやすい Azure Databricks コネクタを使用することをお勧めします。

Hive メタストア ソースをスキャンする場合、Microsoft Purview では次の処理がサポートされます。

  • 以下を含む技術的なメタデータの抽出:

    • サーバー
    • Databases
    • 列、外部キー、一意の制約、ストレージの説明を含むテーブル
    • 列とストレージの説明を含むビュー

  • テーブルとビュー間の資産リレーションシップに対する静的系列のフェッチ。

スキャンを設定するときに、Hive メタストア データベース全体をスキャンするか、指定された名前または名前パターンに一致するスキーマのサブセットにスキャンのスコープを設定するかを選択できます。

その他の機能

分類、秘密度ラベル、ポリシー、データ系列、ライブ ビューについては、サポートされている機能の一覧を参照してください。

既知の制限

オブジェクトがデータ ソースから削除された場合、現在、後続のスキャンでは、Microsoft Purview の対応する資産は自動的に削除されません。

前提条件

登録

このセクションでは、 Microsoft Purview ガバナンス ポータルを使用して、Microsoft Purview に Hive メタストア データベースを登録する方法について説明します。

Hive メタストア データベースでサポートされている認証は、基本認証のみです。

  1. 次の方法で Microsoft Purview ガバナンス ポータルを開きます。

  2. 左側のウィンドウで [ データ マップ ] を選択します。

  3. [登録] を選択します。

  4. [ ソースの登録] で、[ Hive メタストア>Continue] を選択します。

  5. [ ソースの登録 (Hive メタストア)] 画面で、次の操作を行います。

    1. [ 名前] に、Microsoft Purview がデータ ソースとして一覧表示する名前を入力します。

    2. [ Hive クラスター URL] に、Ambari URL から取得する値を入力します。 たとえば、「hive.azurehdinsight.net」と入力 します。

    3. [Hive メタストア サーバー URL] に、サーバーの URL を入力します。 たとえば、「sqlserver://hive.database.windows.net」と入力 します。

    4. 一覧からコレクションを選択します。

    Hive ソースを登録するためのボックスを示すスクリーンショット。

  6. [完了] を選択します。

スキャン

ヒント

スキャンに関する問題のトラブルシューティングを行うには:

  1. すべての前提条件に従っていることを確認 します。
  2. スキャンのトラブルシューティングに関するドキュメントを確認してください。

次の手順を使用して Hive メタストア データベースをスキャンし、資産を自動的に識別します。 一般的なスキャンの詳細については、「 Microsoft Purview でのスキャンとインジェスト」を参照してください。

  1. 管理センターで、統合ランタイムを選択します。 セルフホステッド統合ランタイムが設定されていることを確認します。 セットアップされていない場合は、前提条件の手順を使用 します。

  2. [ソース] に移動します。

  3. 登録済みの Hive メタストア データベースを選択します。

  4. [ + 新しいスキャン] を選択します。

  5. 次のユーザー詳細を入力します。

    1. [名前]: スキャンの名前を入力します。

    2. 統合ランタイム経由で接続する: 構成済みのセルフホステッド統合ランタイムを選択します。

    3. 資格情報: データ ソースに接続する資格情報を選択します。 次のことを確認してください。

      • 資格情報の作成時に [基本認証] を選択します。
      • 適切なボックスに Metastore ユーザー名を指定します。
      • メタストア パスワードを秘密キーに格納します。

      詳細については、「 Microsoft Purview でのソース認証の資格情報」を参照してください。

    4. メタストア JDBC ドライバーの場所: セルフホスト統合ランタイムが実行されているコンピューター内の JDBC ドライバーの場所へのパスを指定します。 たとえば、「 D:\Drivers\HiveMetastore 」のように入力します。

      1. ローカル コンピューター上のセルフホステッド統合ランタイムの場合: D:\Drivers\HiveMetastore。 これは、有効な JAR フォルダーの場所へのパスです。 値は有効な絶対ファイル パスである必要があり、スペースは含まれません。 セルフホステッド統合ランタイムがドライバーにアクセスできることを確認します。 詳細については、「前提条件」セクションを参照してください。
      2. Kubernetes でサポートされるセルフホステッド統合ランタイムの場合: ./drivers/HiveMetastore。 これは、有効な JAR フォルダーの場所へのパスです。 値は、有効な相対ファイル パスである必要があります。 事前にドライバーをアップロードするための 外部ドライバーを含むスキャンを設定 するには、ドキュメントを参照してください。

    5. メタストア JDBC ドライバー クラス: 接続ドライバーのクラス名を指定します。 たとえば、「 \com.microsoft.sqlserver.jdbc.SQLServerDriver」と入力します。

    6. メタストア JDBC URL: 接続 URL の値を指定し、メタストア データベース サーバーの URL への接続を定義します。 例: jdbc:sqlserver://hive.database.windows.net;database=hive;encrypt=true;trustServerCertificate=true;create=false;loginTimeout=300。

      注:

      hive-site.xmlから URL をコピーすると、文字列からamp;が削除されるか、スキャンが失敗します。

      SSL 証明書を セルフホステッド統合ランタイム コンピューターにダウンロードし、URL 内のコンピューター上の SSL 証明書の場所へのパスを更新します。

      スキャン構成でローカル ファイル パスを入力する場合は、Windows パス区切り文字を円記号 (\) からスラッシュ (/) に変更します。 たとえば、ローカル ファイル パス D:\Drivers\SSLCert\BaltimoreCyberTrustRoot.crt.pem に SSL 証明書を配置する場合は、 serverSslCert パラメーターの値を D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem に変更します。

      メタストア JDBC URL の値は、次の例のようになります。

      jdbc:mariadb://samplehost.mysql.database.azure.com:3306/XXXXXXXXXXXXXXXX?useSSL=true&enabledSslProtocolSuites=TLSv1,TLSv1.1,TLSv1.2&serverSslCert=D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem

    7. メタストア データベース名: Hive メタストア データベースの名前を指定します。

    8. スキーマ: インポートする Hive スキーマの一覧を指定します。 例: schema1;schema2。

      そのリストが空の場合、すべてのユーザー スキーマがインポートされます。 既定では、すべてのシステム スキーマ (SysAdmin など) とオブジェクトは無視されます。

      SQL LIKE 式構文を使用する許容されるスキーマ名パターンには、パーセント記号 (%) が含まれます。 たとえば、 A%; %B; %C%; D は次のことを意味します。

      • A または から始める
      • B または で終わる
      • C または を含む
      • 等しい D

      NOTおよび特殊文字の使用は許可されません。

    9. 使用可能な最大メモリ: スキャン プロセスで使用するために、お客様のコンピューターで使用可能な最大メモリ (ギガバイト単位)。 この値は、スキャンする Hive メタストア データベースのサイズによって異なります。

      注:

      経験則として、1000 テーブルごとに 1 GB のメモリを指定してください。

    スキャンの詳細のボックスを示すスクリーンショット。

  6. [続行] を選択します。

  7. [ スキャン トリガー] で、スケジュールを設定するか、スキャンを 1 回実行するかを選択します。

  8. スキャンを確認し、[ 保存して実行] を選択します。

スキャンとスキャンの実行を表示する

既存のスキャンを表示するには:

  1. Microsoft Purview ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。
  2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。
  3. 表示する結果を含むスキャンを選択します。 このウィンドウには、以前のすべてのスキャン実行と、各スキャン実行の状態とメトリックが表示されます。
  4. 実行 ID を選択して、スキャン実行の詳細をチェックします。

スキャンを管理する

スキャンを編集、取り消し、または削除するには:

  1. Microsoft Purview ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。

  2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。

  3. 管理するスキャンを選択します。 次のことを実行できます。

    • [スキャンの編集] を選択して スキャンを編集します。
    • [スキャンの実行の取り消し] を選択して、進行中 のスキャンを取り消します。
    • [スキャンの削除] を選択して スキャンを削除します。

注:

  • スキャンを削除しても、以前のスキャンから作成されたカタログ資産は削除されません。

系統

Hive メタストア ソースをスキャンした後、統合カタログ参照するか、統合カタログを検索して資産の詳細を表示できます。

[資産 - > 系列] タブに移動すると、該当する場合に資産関係を確認できます。 サポートされている Hive Metastore 系列のシナリオについては、サポートされている機能に関するセクションを参照してください。 系列全般の詳細については、「データ系列と系列ユーザー ガイド」を参照してください。

次の手順

ソースを登録したので、次のガイドを使用して、Microsoft Purview とデータの詳細を確認します。