コンテナーから Azure Data Explorer にデータを取り込む

インジェスト ウィザードを使うと、JSON、CSV、その他の形式のデータをすばやくテーブルに取り込んで、マッピング構造を簡単に作成することができます。 データは、ストレージ、ローカル ファイル、コンテナーから、または 1 回限りまたは継続的なインジェスト プロセスとして取り込むことができます。

このドキュメントでは、直感的なインジェスト ウィザードを使用して、コンテナーCSV データを新しいテーブルに取り込む方法について説明します。 インジェストは、1 回限りの操作として、または、ソース コンテナー内の新しいファイルに応答し、該当するデータをテーブルに取り込む Event Grid インジェスト パイプラインを設定することで、継続的な方法として実行できます。 このプロセスにわずかな調整を行えば、さまざまなユース ケースに対応できます。

インジェスト ウィザードの概要については、「イン ジェスト ウィザードとは」を参照してください。 Azure Data Explorer の既存のテーブルにデータを取り込む方法については、既存のテーブルへのデータの取り込みに関するページを参照してください

前提条件

Note

パブリック アクセスなしで (プライベート エンドポイント/サービス エンドポイントに制限されている) クラスターとストレージ アカウントの間のアクセスを有効にするには、マネージド プライベート エンドポイントを作成するに関する記事を参照してください。

データの取り込み

  1. Azure Data Explorer Web UI の左側のメニューで [データ] を選択します。

  2. [クイック アクション] セクションから [Ingest data] (データの取り込み) を選びます。 または、[すべて] セクションから、[データの取り込み][取り込み] の順に選びます。

    テーブルのインジェストを選択する Azure Data Explorer Web UI のスクリーンショット。

  3. [データの取り込み] ウィンドウでは、[配信先] タブが選択されます。 [クラスター][データベース] の各フィールドには、自動的に値が設定されます。

    1. クラスターに新しい接続を追加するには、自動設定されたクラスター名の下の [Add cluster connection](クラスター接続の追加) を選択します。

      新しいクラスター接続を追加する [データの取り込み] タブのスクリーンショット。

    2. ポップアップ ウィンドウで、接続するクラスターの接続 URI を入力します。

    3. このクラスターを識別するために使用する表示名を入力し、 [追加] を選択します。

      Azure Data Explorer で新しいクラスター接続を追加するために、クラスターの URI と説明を追加するスクリーンショット。

  4. [テーブル] で、[新しいテーブル] をオンにし、新しいテーブルの名前を入力します。 英数字、ハイフン、アンダースコアを使用できます。 特殊文字はサポートされていません。

    注意

    テーブル名は、1 から 1024 文字にする必要があります。

    データを取り込むための新しいテーブルを作成する Azure Data Explorer のスクリーンショット。

  5. [Next: Source](次へ: ソース) を選択します。

インジェストの種類を選択する

[ソースの種類] で、次の手順を実行します。

  1. [From blob container](BLOB コンテナーから) (BLOB コンテナー、ADLS Gen2 コンテナー) を選択します。 1 つのコンテナーから最大 5000 個の BLOB を取り込むことができます。

  2. [ソースの選択] で、[URL の追加] を選択します。

    注意

    または、[コンテナーの選択] を選択し、ドロップダウン メニューから情報を選んでコンテナーに接続することもできます。

  3. [ソースへのリンク] フィールドに、コンテナーの BLOB URI と SAS トークンまたはアカウント キーを追加し、必要に応じてサンプル サイズを入力します。 コンテナーのファイルがリストに入力されます。

    注意

    SAS URL は手動または自動で作成できます。

    インジェスト ウィザードでのコンテナーからのインジェストの選択のスクリーンショット。

データのフィルター処理

必要に応じて、ファイル フィルターを使用して取り込むデータをフィルター処理できます。 ファイル拡張子またはファイルの場所、あるいはその両方でフィルター処理できます。

ファイル拡張子でフィルター処理する

データをフィルター処理して、特定のファイル拡張子を持つファイルのみを取り込むことができます。

  • たとえば、CSV 拡張子を持つすべてのファイルをフィルター処理します。

    インジェスト フィルターを示す [データの取り込み] タブのスクリーンショット。

    システムによって、いずれか 1 つのファイルがランダムに選択され、そのスキーマ定義ファイルに基づいてスキーマが生成されます。 別のファイルを選択することもできます。

フォルダー パスでフィルター処理する

完全または部分的なフォルダー パスを使用してファイルをフィルター処理することもできます。

  • 部分的なフォルダー パス、またはフォルダー名を入力できます。

    インジェスト ウィザードを使用してデータを取り込むときにファイルをフィルター処理するためのフォルダー パス検索のスクリーンショット。

  • または、完全なフォルダー パスを入力します。

    1. ストレージ アカウントに移動し、[Storage Explorer] > [BLOB コンテナー] の順に選択します

      Azure Storage アカウントの BLOB コンテナーへのアクセスのスクリーンショット。

    2. 選択したフォルダーを参照し、完全なフォルダー パスを選択します。

      BLOB コンテナー内のフォルダーへのフォルダー パスのスクリーンショット - Azure Storage アカウント。

    3. 完全なフォルダー パスをコピーし、一時ファイルに貼り付けます。

    4. 各フォルダーの間に / を挿入してフォルダー パスを作成し、[フォルダー パス] フィールドにこのパスを入力して、このフォルダーを選択します。

スキーマを編集する

テーブル列の構成を表示および編集するには、 [Next: Schema](次へ: スキーマ) を選択します。 スキーマが圧縮されているかどうかは、ソースの名前を見て自動的に識別されます。

[スキーマ] タブ内:

  1. [データ形式] で選択されている形式を確認します。

    この場合、データ形式は CSV です

  2. ファイルの見出し行を無視するには、 [Ignore the first record](最初のレコードを無視する) チェック ボックスをオンにします。

    インジェスト ウィザードで列名を含めないようにするオプションを選択する方法を示すスクリーンショット。

  3. [マッピング名] フィールドに、マッピング名を入力します。 英数字とアンダースコアを使用できます。 スペース、特殊文字、ハイフンはサポートされません。

テーブルを編集する

新しいテーブルに取り込むときは、テーブルの作成時にテーブルのさまざまな側面を変更します。

テーブルに加えることができる変更は、次のパラメーターによって異なります。

  • テーブルの種類が新規かまたは既存か
  • マッピングの種類が新規かまたは既存か
テーブルの種類です。 マッピングの種類 使用可能な調整
新しいテーブル 新しいマッピング データ型の変更、列名の変更、列の削除、昇順で並べ替え、降順で並べ替え
既存のテーブル 新しいマッピング 新しい列 (その後データ型の変更、名前の変更、および更新が可能)
新しい列、昇順で並べ替え、降順で並べ替え
既存のマッピング 昇順で並べ替え、降順で並べ替え

注意

新しい列を追加するとき、または列を更新するときに、マッピング変換を変更できます。 詳細については、マッピング変換に関するページを参照してください。

注意

表形式では、列を 2 回マップすることはできません。 既存の列にマップするには、最初に新しい列を削除します。

コマンド エディター

[エディター] ペインの上にある v ボタンを選択して、エディターを開きます。 エディターでは、ご自分の入力から生成された自動コマンドを表示およびコピーできます。

インジェスト ウィザードの編集ビューのスクリーンショット。

テーブルおよびマッピングを作成し、データ インジェストを開始するには、 [Next: Summary](次へ: 概要) を選択します。

データ インジェストを完了する

[データ インジェストが完了] ウィンドウでは、データ インジェストが正常に終了した場合、3 つのステップすべてに緑色のチェックマークが表示されます。

データ プレビューを示す取り込まれた完全なダイアログ ボックスのスクリーンショット。

クイック クエリとツールを探索する

インジェストの進行状況の下にあるタイルで、 [クイック クエリ] または [ツール] を探索します。

  • [Quick queries] (クイック クエリ) には、クエリの例を含む Azure Data Explorer Web UI へのリンクが含まれています。

  • [ツール] には、Web UI の [元に戻す] または [Delete new data] (新しいデータの削除) へのリンクが含まれています。これを使用すると、関連する .drop コマンドを実行して問題をトラブルシューティングできます。

    Note

    .drop コマンドを使用すると、データが失われる可能性があります。 慎重に使用してください。 Drop コマンドは、インジェスト フローによって行われた変更 (新しいエクステントと列) を元に戻すだけです。 それ以外はドロップされません。

継続的なインジェストを作成する

継続的なインジェストを使用すると、ソース コンテナー内の新しいファイルをリッスンする Event Grid を作成できます。 あらかじめ定義されたパラメーターの条件 (プレフィックス、サフィックスなど) を満たす新しいファイルがすべて自動的にターゲット テーブルに取り込まれます。

  1. [継続的なインジェスト] タイルで [Event Grid] を選択して、Azure portal を開きます。 Event Grid のデータ コネクタが開いた状態で [データ接続] ページが開きます。ソース パラメーターとターゲット パラメーターは既に入力されています (ソース コンテナー、テーブル、マッピング)。

    [継続的なインジェスト] ボタンを示すスクリーンショット。

データ接続: 基本

  1. [データ接続] ブレード が開き、 [基本] タブが選択されます。
  2. ストレージ アカウントを入力します。
  3. インジェストをトリガーするイベントの種類を選択します。
  4. [Next:Ingest properties](次へ: 取り込みのプロパティ) を選択します。

[基本] タブが選択されている [データ接続] ブレードのスクリーンショット。選択する必要があるフィールドは、赤いボックスで強調表示されている。

取り込みのプロパティ

[Ingest properties](取り込みのプロパティ) タブが開き、ルーティング設定が事前に入力されています。 ターゲット テーブルの名前、形式、およびマッピング名は、上記で作成したテーブルから取得されます。

[取り込みのプロパティ] ブレードのスクリーンショット。

[Next: Review + create](次へ: 確認と作成) を選択します。

[確認および作成]

リソースを確認し、[作成] を選択します。

[確認と作成] ブレードのスクリーン ショット。

次の手順