Membuat koneksi data Event Grid untuk Azure Data Explorer

Dalam artikel ini, Anda mempelajari cara menyerap blob dari akun penyimpanan Anda ke Azure Data Explorer menggunakan koneksi data Event Grid. Anda akan membuat koneksi data Event Grid yang menetapkan langganan Azure Event Grid. Langganan Event Grid merutekan peristiwa dari akun penyimpanan Anda ke Azure Data Explorer melalui Azure Event Hubs.

Catatan

Penyerapan mendukung ukuran file maksimum 6 GB. Rekomendasinya adalah menyerap file antara 100 MB dan 1 GB.

Untuk mempelajari cara membuat koneksi menggunakan SDK Kusto, lihat Membuat koneksi data Event Grid dengan SDK.

Untuk informasi umum tentang menyerap ke Azure Data Explorer dari Event Grid, lihat Menyambungkan ke Event Grid.

Catatan

Untuk mencapai performa terbaik dengan koneksi Event Grid, atur rawSizeBytes properti penyerapan melalui metadata blob. Untuk informasi selengkapnya, lihat properti penyerapan.

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Akun penyimpanan. Langganan pemberitahuan Event Grid dapat diatur di akun Azure Storage untuk BlobStorage, , StorageV2atau Data Lake Storage Gen2.
• Daftarkan penyedia sumber daya Event Grid.

Membuat koneksi data Event Grid

Di bagian ini, Anda membuat koneksi antara Event Grid dan tabel Azure Data Explorer Anda.

Portal - Azure Data Explorer

1. Telusuri ke kluster Azure Data Explorer Anda di portal Azure.

2. Di bawah Data, pilih Database>TestDatabase.

   

3. Di bawah Pengaturan, pilih Koneksi data lalu pilih Tambahkan koneksi>data Event Grid (Penyimpanan blob).

   

4. Isi formulir koneksi data Event Grid dengan informasi berikut:

   

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Nama koneksi data	test-grid-connection	Nama koneksi yang ingin Anda buat di Azure Data Explorer. Nama koneksi data hanya dapat berisi karakter alfanumerik, tanda hubung, dan titik, dan panjangnya hingga 40 karakter.
   Langganan akun penyimpanan	ID langganan Anda.	ID langganan tempat akun penyimpanan Anda berada.
   Jenis peristiwa	Blob yang dibuat atau Blob yang diganti namanya	Jenis peristiwa yang memicu konsumsi. Blob berganti nama hanya didukung untuk penyimpanan ADLSv2. Untuk mengganti nama blob, navigasikan ke blob di portal Azure, klik kanan pada blob dan pilih Ganti Nama. Tipe y ang didukung adalah: Microsoft.Storage.BlobCreated atau Microsoft.Storage.BlobRenamed.
   Akun Penyimpanan	gridteststorage1	Nama akun penyimpanan yang Anda buat sebelumnya.
   Pembuatan sumber daya	Otomatis	Mengaktifkan pembuatan sumber daya otomatis berarti Azure Data Explorer membuat Langganan Event Grid, namespace Layanan Azure Event Hubs, dan Azure Event Hubs untuk Anda. Jika tidak, Anda perlu membuat sumber daya ini secara manual untuk memastikan pembuatan koneksi data. Lihat Membuat sumber daya secara manual untuk penyerapan Event Grid

   1. Secara opsional, Anda dapat melacak subjek Event Grid tertentu. Atur filter untuk pemberitahuan sebagai berikut:

      • Bidang awalan adalah awalan literal dari subjek. Saat pola yang diterapkan dimulai, pola dapat mencakup beberapa kontainer, folder, atau blob. Tidak ada kartubebas yang diizinkan.
        • Untuk menentukan filter pada kontainer blob, bidang harus diatur sebagai berikut: /blobServices/default/containers/[container prefix].
        • Untuk menentukan filter pada awalan blob (atau folder di Azure Data Lake Gen2), bidang harus diatur sebagai berikut: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Bidang akhiran adalah akhiran literal dari blob. Tidak ada kartubebas yang diizinkan.
      • Bidang Case-Sensitive menunjukkan apakah awalan dan filter akhiran peka huruf besar/kecil

      Untuk informasi selengkapnya tentang memfilter peristiwa, lihat Peristiwa penyimpanan Blob.

   2. Secara opsional, Anda dapat menentukan pengaturan Perutean data sesuai dengan informasi berikut. Anda tidak perlu menentukan semua pengaturan perutean data. Pengaturan parsial juga diterima.

      Pengaturan	Nilai yang disarankan	Deskripsi bidang
      Perbolehkan perutean data ke database lain (Koneksi data multi database)	Jangan izinkan	Alihkan pada opsi ini jika Anda ingin mengambil alih database target default yang terkait dengan koneksi data. Untuk informasi selengkapnya tentang perutean database, lihat Perutean peristiwa.
      Nama tabel	TestTable	Tabel yang Anda buat di TestDatabase.
      Format data	JSON	Format yang didukung adalah APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT, dan W3CLOG. Opsi kompresi yang didukung adalah zip dan gzip.
      Nama pemetaan	TestTable_mapping	Pemetaan yang Anda buat di TestDatabase, yang memetakan data masuk ke nama kolom dan jenis data TestTable. Jika tidak ditentukan, pemetaan data identitas yang berasal dari skema tabel dibuat secara otomatis.
      Abaikan kesalahan format	Abaikan	Alihkan pada opsi ini jika Anda ingin mengabaikan kesalahan format untuk format data JSON.

      Catatan

      Nama tabel dan pemetaan peka huruf besar/kecil.

   3. Secara opsional, di bawah Pengaturan tingkat lanjut, Anda dapat menentukan jenis Identitas terkelola yang digunakan oleh koneksi data Anda. Secara default, Sistem yang ditetapkan dipilih.

      Jika Anda memilih Ditetapkan pengguna, Anda perlu menetapkan identitas terkelola secara manual. Jika Anda memilih pengguna yang belum ditetapkan ke kluster Anda, pengguna tersebut akan ditetapkan secara otomatis. Untuk informasi selengkapnya, lihat Mengonfigurasi identitas terkelola untuk kluster Azure Data Explorer Anda.

      Jika Anda memilih Tidak Ada, akun penyimpanan dan Event Hub diautentikasi melalui string koneksi. Metode ini tidak disarankan.

      

5. Pilih Buat

Portal - Penyimpanan Azure

1. Telusuri ke akun penyimpanan Anda di portal Azure.
2. PilihPeristiwa.
3. Di tab Memulai , pilih tab Azure Data Explorer .
4. Di petak Peta Buat penyerapan data berkelanjutan, pilih Buat.

Pilih tujuan untuk merutekan peristiwa ke

1. Pilih kluster tempat Anda ingin menyerap data.
2. Pilih database target.
3. Pilih Pilih.

Buat koneksi data

1. Isi formulir dengan informasi berikut:

   

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Nama koneksi data	test-grid-connection	Nama koneksi yang ingin Anda buat di Azure Data Explorer.
   Langganan akun penyimpanan	ID langganan Anda.	ID langganan tempat akun penyimpanan Anda berada.
   Jenis peristiwa	Blob yang dibuat atau Blob yang diganti namanya	Jenis peristiwa yang memicu konsumsi. Blob berganti nama hanya didukung untuk penyimpanan ADLSv2. Untuk mengganti nama blob, navigasikan ke blob di portal Azure, klik kanan pada blob dan pilih Ganti Nama. Tipe y ang didukung adalah: Microsoft.Storage.BlobCreated atau Microsoft.Storage.BlobRenamed.
   Akun Penyimpanan	gridteststorage1	Akun penyimpanan tempat Anda mengakses wizard ini diisi otomatis.
   Pembuatan sumber daya	Otomatis	Mengaktifkan pembuatan sumber daya otomatis berarti Azure Data Explorer membuat Langganan Event Grid, namespace Layanan Azure Event Hubs, dan Azure Event Hubs untuk Anda. Jika tidak, Anda perlu membuat sumber daya ini secara manual untuk memastikan pembuatan koneksi data. Lihat Membuat sumber daya secara manual untuk penyerapan Event Grid

   1. Secara opsional, Anda dapat melacak subjek Event Grid tertentu. Atur filter untuk pemberitahuan sebagai berikut:

      • Bidang awalan adalah awalan literal dari subjek. Saat pola yang diterapkan dimulai, pola dapat mencakup beberapa kontainer, folder, atau blob. Tidak ada kartubebas yang diizinkan.
        • Untuk menentukan filter pada kontainer blob, bidang harus diatur sebagai berikut: /blobServices/default/containers/[container prefix].
        • Untuk menentukan filter pada awalan blob (atau folder di Azure Data Lake Gen2), bidang harus diatur sebagai berikut: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Bidang akhiran adalah akhiran literal dari blob. Tidak ada kartubebas yang diizinkan.
      • Bidang Case-Sensitive menunjukkan apakah awalan dan filter akhiran peka huruf besar/kecil

      Untuk informasi selengkapnya tentang memfilter peristiwa, lihat Peristiwa penyimpanan Blob.

   2. Secara opsional, Anda dapat menentukan pengaturan Perutean data sesuai dengan informasi berikut. Anda tidak perlu menentukan semua pengaturan perutean data. Pengaturan parsial juga diterima.

      Pengaturan	Nilai yang disarankan	Deskripsi bidang
      Perbolehkan perutean data ke database lain (Koneksi data multi database)	Jangan izinkan	Alihkan pada opsi ini jika Anda ingin mengambil alih database target default yang terkait dengan koneksi data. Untuk informasi selengkapnya tentang perutean database, lihat Perutean peristiwa.
      Nama tabel	TestTable	Tabel yang Anda buat di TestDatabase.
      Format data	JSON	Format yang didukung adalah APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT, dan W3CLOG. Opsi kompresi yang didukung adalah zip dan gzip.
      Nama pemetaan	TestTable_mapping	Pemetaan yang Anda buat di TestDatabase, yang memetakan data masuk ke nama kolom dan jenis data TestTable. Jika tidak ditentukan, pemetaan data identitas yang berasal dari skema tabel dibuat secara otomatis.
      Abaikan kesalahan format	Abaikan	Alihkan pada opsi ini jika Anda ingin mengabaikan kesalahan format untuk format data JSON.

      Catatan

      Nama tabel dan pemetaan peka huruf besar/kecil.

   3. Secara opsional, di bawah Pengaturan tingkat lanjut, Anda dapat menentukan jenis Identitas terkelola yang digunakan oleh koneksi data Anda. Secara default, Sistem yang ditetapkan dipilih.

      Jika Anda memilih Ditetapkan pengguna, Anda perlu menetapkan identitas terkelola secara manual. Jika Anda memilih pengguna yang belum ditetapkan ke kluster Anda, pengguna tersebut akan ditetapkan secara otomatis. Untuk informasi selengkapnya, lihat Mengonfigurasi identitas terkelola untuk kluster Azure Data Explorer Anda.

      Jika Anda memilih Tidak Ada, akun penyimpanan dan Event Hub diautentikasi melalui string koneksi. Metode ini tidak disarankan.

      

2. Pilih Buat.

Templat ARM

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan koneksi data Event Grid. Anda dapat mengedit dan menyebarkan templat di portal Microsoft Azure dengan menggunakan formulir.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Menggunakan koneksi data Event Grid

Bagian ini menunjukkan cara memicu penyerapan dari Azure Blob Storage atau Azure Data Lake Gen 2 ke kluster Anda setelah pembuatan blob atau penggantian nama blob.

Pilih tab yang relevan berdasarkan jenis SDK penyimpanan yang digunakan untuk mengunggah blob.

Penyimpanan Blob Azure

Sampel kode berikut menggunakan Azure Blob Storage SDK untuk mengunggah file ke Azure Blob Storage. Unggahan ini memicu koneksi data Event Grid, yang menyerap data ke Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Catatan

Azure Data Explorer tidak akan menghapus penyerapan postingan blob. Pertahankan blob selama tiga hingga lima hari dengan menggunakan siklus hidup penyimpanan Azure Blob untuk mengelola penghapusan blob.

Azure Data Lake

Sampel kode berikut menggunakan Azure Data Lake SDK untuk mengunggah file ke Data Lake Storage Gen2. Unggahan ini memicu koneksi data Event Grid, yang menyerap data ke Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Catatan

• Saat mengunggah file dengan Azure Data Lake SDK, peristiwa pembuatan file awal memiliki ukuran 0, yang diabaikan oleh Azure Data Explorer selama penyerapan data. Untuk memastikan penyerapan yang tepat, atur parameter ke Close true. Parameter ini menyebabkan metode pengunggahan memicu peristiwa FlushAndClose , yang menunjukkan bahwa pembaruan akhir telah dibuat dan aliran file ditutup.
• Untuk mengurangi lalu lintas yang berasal dari Event Grid dan mengoptimalkan penyerapan peristiwa ke Azure Data Explorer, sebaiknya filter kunci data.api untuk mengecualikan peristiwa CreateFile. Ini memastikan bahwa peristiwa pembuatan file dengan ukuran 0 difilter, mencegah kesalahan penyerapan file kosong. Untuk informasi selengkapnya tentang pembersihan, lihat Metode flush Azure Data Lake.

Mengganti nama blob

Di ADLSv2, Anda dapat mengganti nama direktori. Namun, penting untuk dicatat bahwa mengganti nama direktori tidak memicu peristiwa yang diganti namanya blob atau memulai penyerapan blob yang terkandung dalam direktori. Jika Anda ingin memastikan penyerapan blob setelah mengganti nama direktori, Anda harus langsung mengganti nama blob individual dalam direktori.

Sampel kode berikut menunjukkan cara mengganti nama blob di akun penyimpanan ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Catatan

Jika Anda menentukan filter untuk melacak subjek tertentu saat membuat koneksi data atau saat membuat sumber daya Event Grid secara manual, filter ini diterapkan pada jalur file tujuan.

Catatan

Memicu penyerapan setelah CopyBlob operasi tidak didukung untuk akun penyimpanan yang mengaktifkan fitur namespace hierarkis pada akun tersebut.

Penting

Kami sangat mencegah pembuatan Peristiwa Penyimpanan dari kode kustom dan mengirimkannya ke Azure Event Hubs. Jika Anda memilih untuk melakukannya, pastikan bahwa peristiwa yang dihasilkan secara ketat mematuhi skema Peristiwa Penyimpanan dan spesifikasi format JSON yang sesuai.

Menghapus koneksi data Event Grid

Untuk menghapus koneksi Event Grid dari portal Azure, lakukan langkah-langkah berikut:

1. Buka kluster Anda. Dari menu sebelah kiri, pilih Database. Kemudian, pilih database yang berisi tabel target.
2. Dari menu sebelah kiri, pilih Koneksi data. Kemudian, pilih kotak centang di samping koneksi data Event Grid yang relevan.
3. Dari bilah menu atas, pilih Hapus.

---

Konten terkait

• Memproses data dari pusat aktivitas Anda menggunakan Azure Stream Analytics