ストリーミングインジェストとスキーマ変更

クラスターノードは、ストリーミングインジェストによってデータを取得するデータベースのスキーマをキャッシュし、パフォーマンスとリソースの使用を向上させます。ただし、スキーマが変更されると、更新が遅延する可能性があります。

スキーマの変更とストリーミングインジェストが同期されていない場合は、スキーマ関連のエラーや、テーブル内の不完全で歪んだデータなどのエラーが発生する可能性があります。

この記事では、一般的なスキーマの変更について説明し、これらの変更中のストリーミングインジェストに関する問題を回避するためのガイダンスを提供します。

スキーマ変更

スキーマ変更の主な例を次に示します。

クラスターがオンラインの間、スキーマキャッシュは保持されます。スキーマの変更がある場合、システムはキャッシュを自動的に更新しますが、この更新には数分かかることがあります。自動更新に依存している場合は、調整されていないインジェストエラーが発生する可能性があります。

クラスターノードのスキーマキャッシュを明示的にクリアすることで、伝達遅延の影響を軽減できます。ストリーミングインジェストのフローとスキーマの変更が調整されている場合は、エラーとそれに関連するデータの歪みを完全に排除できます。

ストリーミングインジェストフローとスキーマの変更を調整するには:

ストリーミングインジェストを停止します。
未処理のストリーミングインジェスト要求がすべて完了するまで待ちます。
スキーマの変更を行います。
1 つまたは複数の .clear cache ストリーミングインジェストスキーマコマンドを発行します。
- 成功するまで繰り返し、コマンドの出力ですべての行が成功を示します
ストリーミングインジェストを再開します。

Note

カスタムインジェスト用のアプリケーションを構築した場合は、設定された期間再試行するか、キューに置かれたインジェスト方法を使用して失敗した要求からデータをリダイレクトすることで、スキーマ関連のエラーを管理することをお勧めします。