Einschränkungen des Zerobus-Import-Connectors

Diese Seite enthält Einschränkungen bei der Verwendung des Zerobus Ingest-Connectors in Lakeflow Connect.

Verfügbarkeit

Der Zerobus Ingest Connector ist in den folgenden Regionen verfügbar:

• westus
• westus2
• westus3
• eastus
• eastus2
• centralus
• northcentralus
• southcentralus
• canadacentral
• brazilsouth
• westeurope
• northeurope
• germanywestcentral
• swedencentral
• switzerlandnorth
• uksouth
• australiaeast
• centralindia
• southeastasia

Alle verfügbaren Regionen bieten eine mehrzonale Dienstverfügbarkeit, mit Ausnahme von westus und northcentralus, die eine einzelne AZ-Verfügbarkeit bieten.

Latenz

Die Latenz spiegelt sowohl die Bestätigung der Haltbarkeit als auch die Zeit zum Materialisieren von Datensätzen in der Zieldelta-Tabelle wider. Die aktuellen Zeiten variieren je nach Regionsausrichtung und Arbeitsauslastungsmerkmalen.

• Zeit bis Haltbarkeit
  • P95 ≤ 500 ms
  • P50 ≤ 200 ms
• Zeit zum Präsentieren der Tabelle
  • P95 ≤ 30 Sek.
  • P50 ≤ 5 Sek.

Durchsatzeinschränkungen

• 100 MB pro Sekunde und Datenstrom (mit 1 KB-Nachrichten getestet)
• 10 GB/Sekunde pro Zieltabelle
• 15.000 Datensätze pro Sekunde pro Datenstrom

Um den maximalen Durchsatz zu erreichen, sollte sich eine Client-App und ein Endpunkt in derselben geografischen Region befinden. Wenn Sie einen höheren Durchsatz benötigen, wenden Sie sich an Ihren Databricks-Kontomitarbeiter.

Garantien zur Zustellung

Der Zerobus Ingest-Konnektor bietet nur mindestens-einmal-Garantien.

Quoten

Unten sind die Standardkontingente für den Zerobus Ingest-Connector aufgeführt. Wenn Sie eine höhere Leistung benötigen, wenden Sie sich an Ihren Databricks-Kontovertreter.

gRPC

• 100 MB pro Sekunde Durchsatz pro Datenstrom
• 10 GB pro Sekunde Durchsatz pro Zieltabelle

PAUSE

• 10.000 Anforderungen pro Sekunde

Partitionierte Tabellen

Beim Schreiben in partitionierte Tabellen unterstützt der Zerobus Ingest-Connector das Schreiben in mehr als 1000 Partitionen innerhalb von 5 Sekunden nicht.

Katalogverwaltete Commits

Zerobus Ingest unterstützt keine katalogverwalteten Commits. Verwenden Sie Zerobus Ingest nicht für Delta-Tabellen mit aktivierten katalogverwalteten Commits.

Arbeitsbereich und Zieltabelle

Für die Aufnahme sind die folgenden Arbeitsbereichs- und Zieltabellenbedingungen erforderlich.

• Der Connector unterstützt das Schreiben nur in verwaltete Delta-Tabellen. Das Schreiben in den Standardspeicher wird nicht unterstützt.
• Der Connector unterstützt das Schreiben in den durch einen privaten Endpunkt gesicherten Speicher nicht.
• Der Connector unterstützt das Erneute Erstellen einer Zieltabelle nicht.
• Der Verbinder unterstützt nur Tabellennamen mit ASCII-Buchstaben, Ziffern und Unterstrichen.
• Sowohl der Arbeitsbereich als auch die Zieltabelle müssen sich in einer der verfügbaren Regionen und beide in derselben Region befinden.

Flüssige gruppierte Tabellen

Von Bedeutung

Schreiben in flüssige gruppierte Tabellen mit dem Zerobus Ingest-Verbinder befindet sich in Der Betaversion.

Wenn Sie den Zerobus Ingest-Verbinder mit flüssigen gruppierten Tabellen verwenden, empfiehlt es sich, die Vorhersageoptimierung für die Zieltabelle zu aktivieren. Der Anschluss schreibt Daten in die Tabelle, aber optimales Datenclustering wird asynchron vom Dienst zur Vorhersageoptimierung angewendet. Das Deaktivieren der prädiktiven Optimierung kann zu einer suboptimalen Abfrageleistung für die erfassten Daten führen.

Compliance-Sicherheitsprofil-Arbeitsbereiche

Der Zerobus Ingest-Connector wird für Compliance-Sicherheitsprofilarbeitsbereiche (z. B. FedRAMP, HIPAA und PCI-DSS) nicht unterstützt. Verwenden Sie den Zerobus Ingest-Connector nicht für Workloads, die Compliancegarantien erfordern. Eine Liste der unterstützten Compliancestandards und -programme finden Sie unter Compliancesicherheitsprofil.

Schemaentwicklung

Zerobus Ingest wird Ihre Zieltabelle niemals automatisch weiterentwickeln.

Zerobus Ingest unterstützt das kontinuierliche Ingest, wenn nullable Delta-Spalten zur Zieltabelle hinzugefügt werden. Fehlende Spalten werden mit NULL Werten gefüllt, sodass Sie Datensätze mit fehlenden Feldern senden können.

Protobuf-Schema

Die Protobuf-Schemadefinition muss 1:1 mit dem Delta-Tabellenschema übereinstimmen (mit Ausnahme zusätzlicher nullabler Deltaspalten, die als ungebrochene Schemaänderung betrachtet werden). Wenn das Schema nicht übereinstimmt, gibt die API einen Fehler zurück. Dazu gehören:

• Unterschiedliche Anzahl von Spalten

• Unterschiedliche Spaltennamen

• Unterschiedliche Spalten-Optionalität (nullfähig und nicht nullfähig)

• Der Connector unterstützt keine Protoschemas mit mehr als 2000 Spalten.

• Der Verbinder unterstützt nur Tabellen- und Spaltennamen mit ASCII-Buchstaben, Ziffern und Unterstrichen.

• Der Connector unterstützt nicht die Verwendung eines anderen Proto-Schemas für die Vorgänge „Stream creation“ und „ingest record“.

Datensatzgröße

Jede Nachricht ist auf 10 MB begrenzt. Die Datensatzgröße beträgt maximal 10.485.760 Bytes. Kopfzeilen, die für die Kommunikation erforderlich sind, benötigen 19 Bytes.

Typunterstützung

In der folgenden Tabelle sind die unterstützten Delta-Typen und die entsprechenden Protobuf-Typen für die Aufnahme aufgeführt.

Delta-Typen	Protobuf-Typen
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Sollte in int32 (Anzahl der Tage seit der Epoche) konvertiert werden.	int32
TIMESTAMP Sollte in (Epochenzeit in Mikrosekunden) konvertiert int64 werden.	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> Der map Protobuf-syntaktische Zucker ist nur für Protobuf-Compiler der Version 3 und höher verfügbar.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Variant muss als JSON-codierte Zeichenfolge mit Schlüsseln vom Typ STRINGaufgenommen werden. Der Verbinder schreibt die Daten ungeschreddert in die Spalte. Folgende Formate werden unterstützt: Objekte: "{\"id\":0,\"example\":\"this is variant example\"}" Grundtypen: "5", "3.14""\"string\"" Arrays: "[1,2,3]"	string