Microsoft Purview で Google BigQuery プロジェクトに接続して管理する

この記事では、Google BigQuery プロジェクトを登録する方法と、Microsoft Purview で Google BigQuery を認証して操作する方法について説明します。 Microsoft Purview の詳細については、 入門記事を参照してください。

サポートされている機能

メタデータ抽出	フル スキャン	増分スキャン	スコープスキャン	分類	ラベル付け	アクセス ポリシー	系統	データ共有	ライブ ビュー
○	はい	いいえ	はい	いいえ	不要	不要	はい	いいえ	不要

Google BigQuery ソースをスキャンする場合、Microsoft Purview では次の処理がサポートされます。

• 以下を含む技術的なメタデータの抽出:

  • Projects
  • データセット
  • 列を含むテーブル
  • 列を含むビュー

• テーブルとビュー間の資産リレーションシップに対する静的系列のフェッチ。

スキャンを設定するときは、Google BigQuery プロジェクト全体をスキャンするか、指定された名前または名前パターンに一致するデータセットのサブセットにスキャンのスコープを設定するかを選択できます。

既知の制限

• 現在、Microsoft Purview では、米国の複数リージョンの場所での Google BigQuery データセットのスキャンのみがサポートされています。 指定したデータセットが us-east1 や EU などの他の場所にある場合は、スキャンが完了したが、Microsoft Purview に資産は表示されません。
• オブジェクトがデータ ソースから削除された場合、現在、後続のスキャンでは、Microsoft Purview の対応する資産は自動的に削除されません。

前提条件

• アクティブなサブスクリプションを持つ Azure アカウント。 無料でアカウントを作成します。

• アクティブな Microsoft Purview アカウント。

• ソースを登録し、Microsoft Purview ガバナンス ポータルで管理するには、データ ソース管理者とデータ 閲覧者のアクセス許可が必要です。 アクセス許可の詳細については、「 Microsoft Purview でのアクセス制御」を参照してください。

• 最新の セルフホステッド統合ランタイムを設定します。 詳細については、 セルフホステッド統合ランタイムの作成と構成に関するガイドを参照してください。

  • セルフホステッド統合ランタイムがインストールされているマシンに JDK 11 がインストールされていることを確認します。 JDK を新しくインストールして有効にした後、マシンを再起動します。

  • Visual C++ 再頒布可能パッケージ (バージョン Visual Studio 2012 Update 4 以降) がセルフホステッド統合ランタイム コンピューターにインストールされていることを確認します。 この更新プログラムがインストールされていない場合は、 こちらからダウンロードできます。

  • セルフホステッド統合ランタイムが実行されているマシンで BigQuery JDBC ドライバー をダウンロードして解凍します。 スキャンの設定に使用するフォルダー パスをメモします。

    注:

    ドライバーには、セルフホステッド統合ランタイムからアクセスできる必要があります。 既定では、セルフホステッド統合ランタイムは ローカル サービス アカウント "NT SERVICE\DIAHostService" を使用します。 ドライバー フォルダーに対する "読み取りと実行" および "フォルダーの内容の一覧表示" アクセス許可があることを確認します。

登録

このセクションでは、 Microsoft Purview ガバナンス ポータルを使用して、Microsoft Purview で Google BigQuery プロジェクトを登録する方法について説明します。

登録手順

1. 次の方法で Microsoft Purview ガバナンス ポータルを開きます。

   • Microsoft Purview アカウントに https://web.purview.azure.com 直接移動して選択します。
   • Azure portalを開き、Microsoft Purview アカウントを検索して選択します。 [Microsoft Purview ガバナンス ポータル] ボタンを選択します。

2. 左側のナビゲーションで [ データ マップ ] を選択します。

3. [ 登録] を選択します。

4. [ソースの登録] で、[ Google BigQuery ] を選択します。 [ 続行] を選択します。

   

[ソースの登録 (Google BigQuery)] 画面で、次の操作を行います。

1. カタログ内にデータ ソースが一覧表示される 名前 を入力します。

2. ProjectID を入力します。これは完全修飾プロジェクト ID である必要があります。 たとえば、mydomain.com:myProject

3. コレクションを選択するか、新しいコレクションを作成します (省略可能)

4. [登録] を選択します。

   

スキャン

Google BigQuery プロジェクトをスキャンして資産を自動的に識別するには、次の手順に従います。 スキャン全般の詳細については、スキャン とインジェストの概要に関するページを参照してください。

スキャンの作成と実行

1. 管理センターで、[統合ランタイム] を選択します。 セルフホステッド統合ランタイムが設定されていることを確認します。 設定されていない場合は、ここで説明する手順を使用 します。

2. [ ソース] に移動します。

3. 登録済みの BigQuery プロジェクトを 選択します。

4. [ + 新しいスキャン] を選択します。

5. 以下の詳細を指定します。

   1. 名前: スキャンの名前

   2. 統合ランタイム経由で接続する: 構成済みのセルフホステッド統合ランタイムを選択します

   3. 資格情報: BigQuery 資格情報の構成中に、次のことを確認します。

      • 認証方法として [ 基本認証 ] を選択します
      • [ユーザー名] フィールドにサービス アカウントの電子メール ID を指定します。 たとえば、xyz\@developer.gserviceaccount.com のように指定します。
      • 次の手順に従って秘密キーを生成し、JSON キー ファイル全体をコピーし、Key Vault シークレットの値として格納します。

      Google のクラウド プラットフォームから新しい秘密キーを作成するには:

      1. ナビゲーション メニューで、IAM & 管理 - サービス アカウント ->> プロジェクトの選択 - を選択します。>
      2. キーを作成するサービス アカウントのメール アドレスを選択します。
      3. [ キー ] タブを選択します。
      4. [ キーの追加 ] ドロップダウン メニューを選択し、[新しいキーの作成] を選択します。
      5. [JSON 形式] を選択します。

      注:

      スキャン プロセスの実行中に、秘密キーの内容が VM 上の一時ファイルに保存されます。 スキャンが正常に完了すると、この一時ファイルが削除されます。 スキャンエラーが発生した場合、システムは成功するまで再試行を続けます。 SHIR が実行されている VM でアクセスが適切に制限されていることを確認してください。

      資格情報の詳細については、 こちらのリンクを参照してください。

   4. ドライバーの場所: セルフホスト統合ランタイムが実行されているコンピューター内の JDBC ドライバーの場所へのパスを指定します (例: D:\Drivers\GoogleBigQuery)。 これは、有効な JAR フォルダーの場所へのパスです。 セルフホステッド統合ランタイムがドライバーにアクセスできることを確認します。前提条件 に関するセクションの詳細を参照してください。

   5. データセット: インポートする BigQuery データセットの一覧を指定します。 たとえば、dataset1 です。dataset2。 リストが空の場合、使用可能なすべてのデータセットがインポートされます。 SQL LIKE 式構文を使用して許容されるデータセット名パターンには、%. を使用するものが含まれます。

      例: A%;%B;%C%;D

      • A または から始める
      • B または で終わる
      • C または を含む
      • equal D

      NOT 文字と特殊文字の使用は許可されません。

   6. 使用可能な最大メモリ: プロセスのスキャンによって使用される VM で使用可能な最大メモリ (GB 単位)。 これは、スキャンする Google BigQuery プロジェクトのサイズによって異なります。

      

6. [ 接続のテスト] を選択します。

7. [続行] を選択します。

8. スキャン トリガーを選択します。 スケジュールを設定することも、スキャンを 1 回実行することもできます。

9. スキャンを確認し、[ 保存して実行] を選択します。

スキャンとスキャンの実行を表示する

既存のスキャンを表示するには:

1. Microsoft Purview ガバナンス ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。
2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。
3. 表示する結果を含むスキャンを選択します。 このウィンドウには、以前のすべてのスキャン実行と、各スキャン実行の状態とメトリックが表示されます。
4. 実行 ID を選択して、スキャン実行の詳細をチェックします。

スキャンを管理する

スキャンを編集、取り消し、または削除するには:

1. Microsoft Purview ガバナンス ポータルに移動します。 左側のウィンドウで、[ データ マップ] を選択します。

2. データ ソースを選択します。 [最近のスキャン] で、そのデータ ソースの既存の スキャンの一覧を表示したり、[ スキャン ] タブですべてのスキャンを表示したりできます。

3. 管理するスキャンを選択します。 次のことを実行できます。

   • [スキャンの編集] を選択して スキャンを編集します。
   • [スキャンの実行の取り消し] を選択して、進行中 のスキャンを取り消します。
   • [スキャンの削除] を選択して スキャンを削除します。

注:

• スキャンを削除しても、以前のスキャンから作成されたカタログ資産は削除されません。
• ソース テーブルが変更され、Microsoft Purview の [スキーマ] タブで説明を編集した後にソース テーブルを再スキャンした場合、資産は スキーマ の変更で更新されなくなります。

系統

Google BigQuery ソースをスキャンした後、 データ カタログ または 検索データ カタログ を参照して、資産の詳細を表示できます。

[資産 -> 系列] タブに移動すると、該当する場合に資産関係を確認できます。 サポートされている Google BigQuery 系列のシナリオについては、サポートされている機能に関するセクションを参照してください。 系列全般の詳細については、「データ系列と系列ユーザー ガイド」を参照してください。

次の手順

ソースを登録したので、次のガイドに従って、Microsoft Purview とデータの詳細を確認してください。

• Microsoft Purview の Data Estate Insights
• Microsoft Purview の系列
• 検索Data Catalog