Azure Cosmos DB の変更フィード モード

適用対象: NoSQL

Azure Cosmos DB には、2 つの変更フィード モードが用意されています。 各モードでは、同じコア機能が提供されます。 違いには、フィードでキャプチャされる操作、変更ごとに使用できるメタデータ、変更の保持期間などがあります。 各ワークロードの要件に合わせて、同じ Azure Cosmos DB コンテナーで複数のアプリケーションに対し異なるモードの変更フィードを使用できます。 個々の変更フィード アプリケーションは、1 つのモードで変更フィードを読み取るためにのみ構成できます。 あるモードで変更フィードを使用しても、別のアプリケーションで別のモードで変更フィードを使用することはできません。

Note

変更フィード モードについてフィードバックをお寄せください。 ご意見をお待ちしています。 ぜひ、Azure Cosmos DB エンジニアリング チーム (cosmoschangefeed@microsoft.com) まで直接ご意見をお寄せください。

最新バージョンの変更フィード モード

最新バージョン モードは、作成操作と更新操作によって項目に加えられた変更の永続的なレコードです。 コンテナー内の各項目の最新バージョンを取得します。 たとえば、変更フィードを読み取る前に項目が作成されて更新された場合、更新されたバージョンのみが変更フィードに表示されます。 削除は変更としてキャプチャされず、削除された項目はフィードに表示されなくなります。 最新バージョンの変更フィード モードは既定で有効になっており、Table 用 API と PostgreSQL 用 API を除くすべての Azure Cosmos DB アカウントと互換性があります。 このモードは、以前は変更フィードを使用するための既定の方法でした。

すべてのバージョンと削除の変更フィード モード (プレビュー)

すべてのバージョンと削除のモード (プレビュー) は、作成、更新、削除の操作によって項目に加えられたすべての変更の永続的なレコードです。 項目の各変更のレコードを発生順に取得します。これには、変更フィードの読み取りの間に発生した項目の中間変更も含まれます。 たとえば、変更フィードを読み取る前に項目が作成されて更新された場合、項目の作成バージョンと更新バージョンの両方が変更フィードに表示されます。 すべてのバージョンと削除のモードで変更フィードから読み取るには、Azure Cosmos DB アカウントで継続的バックアップを構成する必要があります。 継続的バックアップを有効にすると、すべてのバージョンと削除の変更フィードが作成されます。 この変更フィード モードを使用する場合は、継続的バックアップ期間内に発生した変更のみを読み取ることができます。 このモードは、Azure Cosmos DB for NoSQL アカウントのみと互換性があります。 詳細については、プレビューにサインアップする方法を参照してください。

変更フィードのユース ケース

最新バージョンのモード

最新バージョン モードでは、コンテナーの先頭から変更を遡る機能を使って、コンテナー内の項目に対するリアルタイムの変更と過去の変更の両方を簡単に処理できます。

このモードに適したシナリオは次のとおりです。

• コンテナー全体をセカンダリの場所に移行する。

• コンテナーの先頭から変更を再処理できるようにする。

• 作成操作と更新操作によってコンテナー内の項目に加えられた変更をリアルタイムで処理する。

• ワークロードで、読み取り間の削除または中間変更をキャプチャする必要がない。

すべてのバージョンと削除のモード (プレビュー)

すべてのバージョンと削除の変更フィード モードを使用すると、変更フィードの新しいシナリオが可能になり、他のシナリオが簡略化されます。 項目に加えられたすべての変更を読み取り (変更フィードの読み取りの間に複数の変更が発生した場合も含む)、処理される変更の操作の種類を特定し、削除によって生じる変更を取得できます。

このモードで可能になり、強化される一般的なシナリオは次のとおりです。

• 論理的な削除を実装せずに、2 つの場所の間でのリアルタイムでデータを転送する。

• 変更フィードのポーリング間に特定の項目に対する複数の変更操作が予想される場合に、増分変更に基づいてロジックをトリガーする。

• 削除操作でアラートをトリガーする (監査シナリオなど)。

• 項目の作成、更新、削除の処理を、操作の種類に応じて変えられるようにする。

各モードの機能

すべての変更フィード モードの共通機能に加えて、各変更フィード モードには次の特性があります。

最新バージョンのモード

• 変更フィードには、コンテナー内の項目に対して行われた挿入と更新の操作が含まれます。

• このモードの変更フィードでは削除は記録されません。 直接的な削除の代わりに、項目内で "論理的な削除" フラグを設定することで削除をキャプチャできます。 たとえば、項目に deleted という名前の属性を追加し、その値を true に設定してから、項目に Time to Live (TTL) を設定できます。 変更フィードによって更新としてキャプチャされ、TTL の有効期限が切れると項目は自動的に削除されます。 または、TTL 機能を使用して項目の有効期間を設定することもできます。 この場合は、TTL の有効期限よりも短い期間に含まれる変更を処理する必要があります。

• 変更フィードには、特定の項目の最新の変更のみが含まれます。 途中の変更は利用できない場合があります。

• 項目が削除されると、その項目は変更フィードに表示されなくなります。

• 変更の同期は任意の時点から行うことが可能です。また、変更内容を確認できる固定のデータ保持期間はありません。

• 特定の種類の操作について、変更フィードをフィルター処理することはできません。 他の可能な方法の 1 つとして、項目に更新を表す "ソフト マーカー" を追加し、変更フィード内の項目を処理する際、それに基づいてフィルター処理するという方法があります。

• 変更フィードの読み取りの開始点は、コンテナーの先頭、特定の時点、"現時点"、または特定のチェックポイントに設定できます。 開始時刻の精度は約 5 秒です。

すべてのバージョンと削除のモード (プレビュー)

• 変更フィードには、コンテナー内の項目に対して行われた挿入、更新、削除の各操作が含まれます。 TTL の有効期限切れによる削除もキャプチャされます。

• 変更の種類 (削除の理由が TTL の有効期限切れかどうかを含む) を判断するためのメタデータが提供されます。

• 変更フィードの項目の順序は変更時刻順です。 TTL の有効期限切れによる削除は、項目の有効期限が切れた直後にフィードに表示される保証はありません。 項目がコンテナーから消去されると表示されます。

• アカウントの継続的バックアップに設定された保持期間内に発生したすべての変更を読み取ることができます。 保持期間外に発生した変更を読み取ろうとすると、エラーが発生します。 たとえば、コンテナーが 8 日前に作成され、継続的バックアップ期間の保有期間が 7 日の場合、過去 7 日間の変更のみを読み取ることができます。

• 変更フィードの開始点は、"現時点" または保持期間内の特定のチェックポイントに設定できます。 このモードを使用して、コンテナーの先頭または特定の時点から変更を読み取ることはできません。

変更フィードの操作

各モードは、各言語のさまざまな変更フィード読み取り方法と互換性があります。

最新バージョンのモード

次の方法を使用して、最新バージョン モードの変更フィードからの変更を使用できます。

変更フィードを読み取る方法	.NET	Java	Python	Node.js
変更フィードのプル モデル	はい	イエス	イエス	はい
変更フィード プロセッサ	はい	はい	いいえ	いいえ
Azure Functions のトリガー	はい	イエス	イエス	はい

応答オブジェクトの解析

最新バージョンのモードでは、既定の応答オブジェクトは変更された項目の配列です。 各項目には、Azure Cosmos DB 項目の標準メタデータが含まれます。たとえば、_etag、_ts、新しいプロパティの _lsn などです。

_etag は内部形式であり、いつでも変更される可能性があるため、この形式には依存しないようにしてください。 _ts は、変更または作成のタイムスタンプです。 _ts は時系列比較に利用できます。 _lsn は変更フィードに対してのみ追加されるバッチ ID であり、トランザクション ID を表します。 多数の項目に同じ _lsn があることがあります。

FeedResponse の ETag は、項目にある _etag とは異なります。 _etag は内部識別子であり、コンカレンシー制御に使用されます。 _etag プロパティは、項目のバージョンを示します。一方、ETag プロパティはフィードの順序付けのための使用されます。

すべてのバージョンと削除のモード (プレビュー)

プレビュー期間中は、各クライアント SDK で次の方法を使って変更フィードを読み取ることができます。

変更フィードを読み取る方法	.NET	Java	Python	Node.js
変更フィードのプル モデル	>= 3.32.0-preview	"4.42.0 以降"	いいえ	>= 4.1.0
変更フィード プロセッサ	いいえ	"4.42.0 以降"	いいえ	いいえ
Azure Functions のトリガー	いいえ	番号	番号	無効

Note

アプリケーションで構成されている接続モードに関係なく、すべてのバージョンと削除の変更フィードで行われたすべての要求でゲートウェイ モードが使用されます。

はじめに

すべてのバージョンと削除の変更フィード モードの使用を開始するには、Azure サブスクリプションの概要ページの [プレビュー機能] ページでプレビューに登録してください。 AllVersionsAndDeletesChangeFeed 機能を検索し、[登録] を選びます。

リクエストを送信する前に、サブスクリプションに少なくとも 1 つの Azure Cosmos DB アカウントがあることを確認してください。 このアカウントは、既存のアカウントでも、プレビュー機能を試すために作成した新しいアカウントでもかまいません。 Azure Cosmos DB チームがリクエストを受け取ったときにサブスクリプションにアカウントがない場合、機能を適用するアカウントがないため、リクエストは拒否されます。

Azure Cosmos DB チームがリクエストを確認し、プレビューに登録するサブスクリプションの Azure Cosmos DB アカウントについて確認メールを送付します。 プレビューを使用するには、Azure Cosmos DB アカウントで継続的バックアップが構成されている必要があります。 継続的バックアップは、プレビューの使用が許可される前または後に有効にできますが、すべてのバージョンと削除のモードで変更フィードから読み取りを試みる前に継続的バックアップを有効にする必要があります。

応答オブジェクトの解析

応答オブジェクトは、各変更を表す項目の配列です。 配列は次の例のようになります。

[
    {  
        "current": { 
            <The current version of the item that changed. All the properties of your item will appear here. This will be empty for delete operations.>
         },  
        "previous" : { 
            <The previous version of the item that changed. If the change was a delete operation, the item that was deleted will appear here. This will be empty for create and replace operations.>
         },  
        "metadata": {
            "lsn": <A number that represents the batch ID. Many items can have the same lsn.>, 
            "operationType": <The type of change, either 'create', 'replace', or 'delete'.>, 
            "previousImageLSN" : <A number that represents the batch ID of the change prior to this one.>, 
            "timeToLiveExpired" : <For delete changes, it will be 'true' if it was deleted due to a TTL expiration and 'false' if it wasn't.>, 
            "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.> 
        } 
    }
]

制限事項

• Azure Cosmos DB for NoSQL アカウントでサポートされています。 その他の Azure Cosmos DB アカウントの種類はサポートされていません。

• この変更フィード モードを使用するには、継続的バックアップが必要です。 継続的バックアップの使用に関する制限事項について、ドキュメントを参照してください。

• アカウントで継続的バックアップが有効になる前に存在していたコンテナーの変更の読み取りはサポートされていません。

• 先頭から変更フィードの読み取りを開始したり、過去のタイムスタンプに基づいて開始時刻を選択したりする機能は、現在サポートされていません。 "現時点" から開始するか、以前のリースまたは後続トークンから開始できます。

• 更新された以前のバージョンの項目の受信は、現在使用できません。

• パーティションのマージが有効になっているアカウントはサポートされていません。

次のステップ

変更フィードについて詳しくは、次の記事を参照してください。

• 変更フィードの概要
• 変更フィードの設計パターン
• 変更フィードを読み取るオプション