Streamingerfassung und Schemaänderungen

Clusterknoten zwischenspeichern das Schema von Datenbanken, die Daten durch Streamingerfassung abrufen, wodurch die Leistung und die Ressourcennutzung gesteigert werden. Wenn jedoch Schemaänderungen vorgenommen werden, kann dies zu Verzögerungen bei Updates führen.

Wenn Schemaänderungen und Streamingerfassung nicht synchronisiert werden, können Fehler wie schemabezogene Fehler oder unvollständige und verzerrte Daten in der Tabelle auftreten.

In diesem Artikel werden typische Schemaänderungen beschrieben und Anleitungen zur Vermeidung von Problemen mit der Streamingerfassung während dieser Änderungen bereitgestellt.

Schemaänderungen

Die folgende Liste enthält wichtige Beispiele für Schemaänderungen:

• Erstellen von Tabellen
• Löschen von Tabellen
• Hinzufügen einer Spalte zu einer Tabelle
• Entfernen einer Spalte aus einer Tabelle
• Erneute Eingabe der Spalten einer Tabelle
• Umbenennen der Spalten einer Tabelle
• Hinzufügen von vorkonfigurierten Erfassungszuordnungen
• Entfernen von vorkonfigurierten Erfassungszuordnungen
• Hinzufügen, Entfernen oder Ändern von Richtlinien

Koordinatenschemaänderungen bei der Streamingerfassung

Der Schemacache wird beibehalten, während der Cluster online ist. Wenn Schemaänderungen vorgenommen werden, aktualisiert das System den Cache automatisch, aber diese Aktualisierung kann einige Minuten dauern. Wenn Sie sich auf die automatische Aktualisierung verlassen, können fehler bei der Erfassung nicht koordiniert werden.

Sie können die Auswirkungen der Weitergabeverzögerung verringern, indem Sie den Schemacache auf den Clusterknoten explizit löschen. Wenn der Streamingerfassungsflow und die Schemaänderungen koordiniert sind, können Sie Fehler und die zugehörigen Datenverzerrungen vollständig beseitigen.

So koordinieren Sie den Streamingerfassungsflow mit Schemaänderungen:

1. Anhalten der Streamingerfassung.
2. Warten Sie, bis alle ausstehenden Streamingerfassungsanforderungen abgeschlossen sind.
3. Führen Sie Schemaänderungen durch.
4. Geben Sie einen oder mehrere Clear-Cachestreamingschemabefehle aus .
   • Wiederholen Sie den Vorgang, bis alle Zeilen in der Befehlsausgabe erfolgreich sind.
5. Fortsetzen der Streamingerfassung.

Hinweis

Wenn Sie eine Anwendung für die benutzerdefinierte Erfassung erstellt haben, empfiehlt es sich, schemabezogene Fehler zu verwalten, indem Sie entweder für eine festgelegte Dauer wiederholen oder Daten von fehlerhaften Anforderungen mithilfe von Erfassungsmethoden in der Warteschlange umleiten.