Beperkingen van Zerobus Ingest-connector

Deze pagina bevat beperkingen bij het gebruik van de Zerobus Ingest-connector in Lakeflow Connect.

Availability

De Zerobus Ingest-connector is alleen beschikbaar in sommige regio's. Zie Beschikbaarheid van invoer voor een lijst met ondersteunde regio's.

Alle beschikbare regio's bieden beschikbaarheid van meerdere zonegebonden services, met uitzondering van westus en northcentralus die een beschikbaarheid met één az bieden.

Wachttijd

Latentie weerspiegelt zowel de bevestiging van duurzaamheid als de tijd voor het materialiseren van records in de doel-Delta-tabel. Werkelijke tijden variëren op basis van regio-uitlijning en workloadkenmerken.

• Tijd tot duurzaamheid
  • P50 ≤ 150 ms
• Tijd tot tabel
  • P50 ≤ 5 s

Standaarddoorvoerlimieten

De volgende standaardlimieten zijn van toepassing op de Zerobus Ingest-connector.

• 100 MB/seconde per stream (gemeten met berichten van 1 KB)
• 10 GB per seconde per doeltabel

Om maximale doorvoer te bereiken, moeten een client-app en -eindpunt zich in dezelfde geografische regio bevinden. Als u een hogere doorvoer nodig hebt, neemt u contact op met uw Databricks-accountvertegenwoordiger.

Leveringsgaranties

De Zerobus Ingest-connector biedt ten minste eenmaal garanties.

Retentie van gebufferde gegevens

Als de Zerobus Ingest-service geen gebufferde gegevens naar uw Delta-tabel kan wegschrijven, bewaart de service de gegevens in duurzame, door de service beheerde opslag en geeft deze af en toe waarschuwingsgebeurtenissen per stream uit.

Als de gegevens 31 dagen onbeheerd blijven, verwijdert de service de gebufferde gegevens en verzendt een verwijderingsgebeurtenis per stroom, met het aantal records en verwijderde bytes. U kunt de gegevens niet herstellen na verwijdering.

Quota

Hieronder ziet u de standaardquota voor de Zerobus Ingest-connector. Als u betere prestaties nodig hebt, neemt u contact op met uw Databricks-accountvertegenwoordiger.

gRPC

• 100 MB per seconde doorvoer per stream
• 10 GB per seconde doorvoer per doeltabel

REST

• 10.000 aanvragen per seconde

Gepartitioneerde tabellen

Bij het schrijven naar gepartitioneerde tabellen biedt Zerobus Ingest geen ondersteuning voor schrijven naar meer dan 100 partities in een interval van 5 seconden. Voor de beste doorvoer minimaliseert u het aantal partities in elk interval van 5 seconden.

Databricks raadt aan vloeibare geclusterde tabellen te gebruiken met Zerobus Ingest in plaats van partitionering.

Catalogusdoorvoeringen

Zerobus Ingest biedt geen ondersteuning voor cataloguscommits. Gebruik Zerobus Ingest niet voor Delta-tabellen waarbij cataloguscommits zijn ingeschakeld.

Werkruimte en doelgegevens

De volgende voorwaarden voor werkruimte en doeltabel zijn vereist voor gegevensinvoer.

• De connector ondersteunt alleen schrijven naar beheerde Delta-tabellen. Schrijven naar standaardopslag wordt niet ondersteund.
• De connector biedt geen ondersteuning voor schrijven naar opslag die is beveiligd via een privé-eindpunt.
• De connector biedt geen ondersteuning voor het opnieuw aanmaken van een doeltabel.
• De connector ondersteunt alleen tabelnamen met ASCII-letters, cijfers en onderstrepingstekens.
• Zowel de werkruimte als de doeltabel moeten zich in een van de beschikbare regio's bevinden en beide moeten zich in dezelfde regio bevinden.

Geclusterde liquide tabellen

Belangrijk

Schrijven naar liquid geclusterde tabellen met behulp van de Zerobus Ingest-connector bevindt zich in bèta.

Wanneer u de Zerobus Ingest-connector met geclusterde vloeistoftabellen gebruikt, is het raadzaam om voorspellende optimalisatie ingeschakeld te houden voor de doeltabel. De connector schrijft gegevens naar de tabel, maar optimale gegevensclustering wordt asynchroon toegepast door de predictive optimization-service. Het uitschakelen van voorspellende optimalisatie kan leiden tot suboptimale queryprestaties voor de opgenomen gegevens.

Ontwikkeling van schema's

Zerobus Ingest zal uw doeltabel nooit automatisch ontwikkelen.

Zerobus Ingest ondersteunt doorlopende gegevensinvoer wanneer nullable Delta-kolommen worden toegevoegd aan de doeltabel. Ontbrekende kolommen worden gevuld met NULL waarden, zodat u records met ontbrekende velden kunt verzenden.

Protobuf-schema

De protobuf-schemadefinitie moet overeenkomen met 1:1 met het Delta-tabelschema (met uitzondering van extra nullbare deltakolommen, die worden beschouwd als een niet-brekende schemawijziging). Als het schema niet overeenkomt, retourneert de API een fout. Dit omvat:

• Verschillend aantal kolommen

• Verschillende kolomnamen

• Verschillende kolomopties (null-waarde en niet-null-waarde)

• De connector biedt geen ondersteuning voor protoschema's met meer dan 2000 kolommen.

• De connector ondersteunt alleen tabel- en kolomnamen met ASCII-letters, cijfers en onderstrepingstekens.

• De connector biedt geen ondersteuning voor het gebruik van een ander proto-schema voor het aanmaken van streams en het opnemen van records.

Recordgrootte

Elk bericht is beperkt tot 10 MB. De recordgrootte is maximaal 10.485.760 bytes. Headers die vereist zijn voor communicatie, nemen 19 bytes in beslag.

Typeondersteuning

In de volgende tabel ziet u de ondersteunde Delta-typen en de bijbehorende Protobuf-typen voor invoer.

Delta-typen	Protobuf-typen
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Moet worden geconverteerd naar int32 (aantal dagen sinds epoch).	int32
TIMESTAMP Moet worden geconverteerd naar int64 (tijdsduur in microseconden).	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> De map Protobuf syntactische suiker is alleen beschikbaar voor Protobuf compilers versie 3 en hoger.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Variant moet worden opgenomen als een JSON-gecodeerde tekenreeks met sleutels van het type STRING. De connector schrijft de gegevens onversneden in de kolom. Ondersteunde indelingen zijn onder andere: Objecten: "{\"id\":0,\"example\":\"this is variant example\"}" Primitieven: "5", "3.14", "\"string\"" Arrays: "[1,2,3]"	string