イベント ドリブン パターンを使用して変更を処理する
最新のアプリケーションでは、多くの場合、データベースの変更にリアルタイムで対応する必要があります。 顧客が注文を行ったり、プロファイルを更新したり、在庫レベルが変更されたりすると、ダウンストリーム システムに通知が必要になります。 SQL ServerとAzure SQLには、これらの変更をキャプチャしてストリーミングするためのメカニズムがいくつか用意されており、それぞれが待機時間、スループット、実装の複雑さの特性が異なります。
Data API Builder は、AZURE FUNCTIONS SQL トリガー バインドを通じて、これらの変更メカニズムと統合されます。 各アプローチをいつ使用するかを理解することは、データの変化に効率的に対応する応答性の高いイベント ドリブン アーキテクチャを構築するのに役立ちます。
変更キャプチャ メカニズムについて
SQL プラットフォームには、データ変更を追跡するための複数のアプローチが用意されており、それぞれ異なるシナリオに適しています。
変更データ キャプチャ (CDC) は、挿入、更新、削除の操作を特殊な変更テーブルに記録します。 変更された行の前後の完全な状態がキャプチャされるため、監査要件やデータ同期に最適です。
Change Tracking には、実際の値をキャプチャせずに変更された行を記録する軽量の代替手段が用意されています。 アプリケーションは変更情報を照会して、同期が必要なデータを決定します。
Change Event Streaming (CES) は、ポーリングなしでイベント ストリームに変更をプッシュする新しい機能です。 高スループットのシナリオでは、Azure Event Hubsと直接統合されます。
| 特徴 | CDC | Change Tracking | CES |
|---|---|---|---|
| 変更された値をキャプチャする | イエス | いいえ | イエス |
| ポーリングが必要 | イエス | イエス | いいえ |
| 履歴データ | イエス | 制限あり | ストリームのみ |
| セットアップの複雑さ | 適度 | 低 | 適度 |
監査シナリオで変更データ キャプチャを有効にする
CDC は、コンプライアンスまたはデバッグのために変更の完全な履歴が必要な場合に適しています。 特定のテーブルで有効にします。
-- Enable CDC at the database level
EXEC sys.sp_cdc_enable_db;
-- Enable CDC on a specific table
EXEC sys.sp_cdc_enable_table
@source_schema = 'dbo',
@source_name = 'Orders',
@role_name = NULL,
@capture_instance = 'dbo_Orders',
@supports_net_changes = 1;
有効にすると、SQL Serverは履歴レコードを格納する変更テーブルを作成します。 時間範囲内の変更を取得するには、次のテーブルに対してクエリを実行します。
DECLARE @from_lsn binary(10), @to_lsn binary(10);
SET @from_lsn = sys.fn_cdc_get_min_lsn('dbo_Orders');
SET @to_lsn = sys.fn_cdc_get_max_lsn();
SELECT *
FROM cdc.fn_cdc_get_all_changes_dbo_Orders(@from_lsn, @to_lsn, 'all');
このクエリは、挿入、更新、または削除を示す操作の種類 (__$operation) を含む、最小ログ シーケンス番号と最大ログ シーケンス番号の間のすべての変更を返します。
注
CDC では、SQL Server エージェントが実行されている必要があります。 キャプチャ ジョブとクリーンアップ ジョブは、構成できるスケジュールに従って実行されます。 トランザクションが多い環境でジョブのパフォーマンスを監視します。
Azure Functions の SQL トリガー バインディングを構成する
Azure Functions SQL トリガー バインド は、データベースの変更に対応するための最も直接的な統合を提供します。 トリガーは Change Tracking を使用してテーブルを監視し、行が変更されたときに関数を呼び出します。
まず、データベースとテーブルで Change Tracking を有効にします。
-- Enable Change Tracking at database level
ALTER DATABASE [YourDatabase]
SET CHANGE_TRACKING = ON
(CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
-- Enable Change Tracking on the table
ALTER TABLE dbo.Orders
ENABLE CHANGE_TRACKING;
SQL トリガーを使用してAzure関数を作成します。
[FunctionName("OrderChangedTrigger")]
public static void Run(
[SqlTrigger("[dbo].[Orders]", "SqlConnectionString")]
IReadOnlyList<SqlChange<Order>> changes,
ILogger log)
{
foreach (var change in changes)
{
log.LogInformation($"Change operation: {change.Operation}");
log.LogInformation($"Order ID: {change.Item.OrderId}");
if (change.Operation == SqlChangeOperation.Update)
{
// Process order update
ProcessOrderUpdate(change.Item);
}
}
}
public class Order
{
public int OrderId { get; set; }
public int CustomerId { get; set; }
public DateTime OrderDate { get; set; }
public string Status { get; set; }
}
SqlChange<T>型は、変更された各行を操作の種類で折り返します。 関数は変更のバッチを受け取ります。これは、複数の行が同時に変更された場合の効率を高めるのに役立ちます。
関数アプリの設定で接続文字列を構成します。
{
"Values": {
"SqlConnectionString": "@Microsoft.KeyVault(SecretUri=https://myvault.vault.azure.net/secrets/sql-connection)"
}
}
Important
SQL トリガー バインドには、CDC ではなく Change Tracking が必要です。 リアルタイム トリガーと共に CDC の履歴機能が必要な場合は、テーブルで両方の機能を有効にします。
変更イベント ストリーミングを使用して変更をストリーミングする
ポーリング待ち時間が許容できない高スループットのシナリオでは、Change Event Streaming によって変更がAzure Event Hubsに直接プッシュされます。 この方法では、ポーリングの遅延を排除し、1 秒あたり数百万件のイベントにスケーリングします。
データベースで CES を構成します。
-- Create an event streaming group
CREATE EVENT STREAMING GROUP MyOrderStream
WITH (
TARGET_TYPE = 'eventhub',
TARGET_NAME = 'orders-eventhub',
TARGET_CONNECTION = '<event-hub-connection-string>'
);
-- Add tables to the streaming group
ALTER EVENT STREAMING GROUP MyOrderStream
ADD TABLE dbo.Orders;
トランザクションがコミットされるとすぐに Event Hubs にフローが変更されます。 ダウンストリーム コンシューマーは、Azure Functions Event Hubs トリガー、Stream Analytics、またはカスタム アプリケーションを使用してイベントを処理します。
Event Hubs メッセージには次のものが含まれます。
- 操作の種類 (挿入、更新、削除)
- タイムスタンプ
- 挿入と更新のための完全な行データ
- 削除用のキー値
適切な変更パターンを選択する
適切な変更メカニズムの選択は、要件によって異なります。
CDC は次の場合に使用します。
- 前と後の完全な値が必要です
- コンプライアンスには履歴変更レコードが必要
- バッチ同期は許容されます
次の場合は、関数で 変更の追跡 を使用します。
- 変更にリアルタイムで対応する必要がある
- 履歴ではなく、現在の値のみが必要です
- イベントドリブン マイクロサービスを構築している
変更イベント ストリーミングは、次の場合に使用します。
- 2 秒未満の待機時間が必要です
- トランザクション ボリュームが多い場合はストリーミングが必要です
- リアルタイム分析パイプラインを構築している
アプローチを組み合わせることを検討してください。 リアルタイム通知に Functions トリガーを使用する場合は、監査とコンプライアンスに CDC を使用します。 このパターンでは、履歴レコードと即時応答の両方が提供されます。