Limitazioni del connettore Zerobus Ingest

Questa pagina elenca le limitazioni quando si usa il connettore Zerobus Ingest in Lakeflow Connect.

Disponibilità

Il connettore Zerobus Ingest è disponibile nelle aree seguenti:

• westus
• westus2
• westus3
• eastus
• eastus2
• centralus
• northcentralus
• southcentralus
• canadacentral
• brazilsouth
• westeurope
• northeurope
• germanywestcentral
• swedencentral
• switzerlandnorth
• uksouth
• australiaeast
• centralindia
• southeastasia

Tutte le aree disponibili forniscono la disponibilità del servizio multi-zona, ad eccezione di westus e northcentralus, che forniscono la disponibilità singola zona di disponibilità.

Latenza

La latenza riflette sia il riconoscimento della durabilità che il tempo necessario per materializzare i record nella tabella Delta di destinazione. I tempi effettivi variano in base all'allineamento dell'area e alle caratteristiche del carico di lavoro.

• Tempo di durabilità
  • P95 ≤ 500 ms
  • P50 ≤ 200 ms
• Tempo per la tabella
  • P95 ≤ 30 sec
  • P50 ≤ 5 sec

Restrizioni relative alla velocità effettiva

• 100 MB al secondo per flusso (misurato con messaggi di dimensioni pari a 1 KB)
• 10 GB al secondo per tabella di destinazione
• 15.000 registrazioni al secondo per flusso dati

Per ottenere la velocità effettiva massima, un'app client e un endpoint devono trovarsi nella stessa area geografica. Se necessita di una velocità effettiva più alta, contatti il rappresentante del suo account Databricks.

Garanzie di recapito

Il connettore Zerobus Ingest offre solo garanzie di almeno una volta.

Quotas

Di seguito sono riportate le quote predefinite per il connettore Zerobus Ingest. Se sono necessarie prestazioni più elevate, contattare il rappresentante dell'account Databricks.

gRPC

• Capacità di trasmissione di 100 Mb al secondo per flusso
• Capacità di trasferimento di 10 gigabyte al secondo per tabella di destinazione

REST

• 10.000 richieste al secondo

Tabelle partizionate

Quando si scrive in tabelle partizionate, il connettore Zerobus Ingest non supporta la scrittura in più di 1000 partizioni entro 5 secondi.

Commit gestiti dal catalogo

Zerobus Ingest non supporta i commit gestiti dal catalogo. Non utilizzare l'inserimento Zerobus per le tabelle Delta quando i commit gestiti dal catalogo sono abilitati.

Area di lavoro e Tabella di destinazione

Le seguenti condizioni dell'area di lavoro e della tabella di destinazione sono necessarie per l'ingestione.

• Il connettore supporta la scrittura solo nelle tabelle Delta gestite. La scrittura nella risorsa di archiviazione predefinita non è supportata.
• Il connettore non supporta la scrittura nell'archiviazione protetta tramite un endpoint privato.
• Il connettore non supporta la ricreazione di una tabella di destinazione.
• Il connettore supporta solo i nomi di tabella con lettere, cifre e caratteri di sottolineatura ASCII.
• Sia l'area di lavoro che la tabella di destinazione devono trovarsi in una delle aree disponibili e entrambe nella stessa area.

Tabelle cluster dinamiche

Importante

La scrittura in tabelle liquid clustered tramite il connettore Zerobus Ingest è in fase Beta.

Quando si usa il connettore Zerobus Ingest con tabelle cluster liquide, è consigliabile mantenere abilitata l'ottimizzazione predittiva per la tabella di destinazione. Il connettore scrive i dati nella tabella, ma il clustering dei dati ottimale viene applicato in modo asincrono dal servizio di ottimizzazione predittiva. La disabilitazione dell'ottimizzazione predittiva può comportare prestazioni di query non ottimali sui dati inseriti.

Aree di lavoro del profilo di sicurezza per la conformità

Il connettore Zerobus Ingest non è supportato per gli spazi di lavoro del profilo di sicurezza della conformità (ad esempio FedRAMP, HIPAA e PCI-DSS). Non usare il connettore Zerobus Ingest per carichi di lavoro che richiedono garanzie di conformità. Per un elenco degli standard e dei programmi di conformità supportati, vedere Profilo di sicurezza della conformità.

Evoluzione dello schema

Zerobus Ingest non evolverà mai automaticamente la tabella di destinazione.

Zerobus Ingest supporta l'inserimento continuo quando le colonne Delta annullabili vengono aggiunte alla tabella di destinazione. Le colonne mancanti vengono riempite con NULL valori, consentendo di inviare record con campi mancanti.

Schema Protobuf

La definizione dello schema protobuf deve essere perfettamente corrispondente con lo schema della tabella Delta (escluse le colonne delta nullable aggiuntive, considerate una modifica dello schema non influente). Se lo schema non corrisponde, l'API restituisce un errore. Sono inclusi:

• Numero diverso di colonne

• Nomi di colonna diversi

• Optionalità delle colonne diverse (nullable e non nullable)

• Il connettore non supporta schemi proto con più di 2000 colonne.

• Il connettore supporta solo nomi di tabella e colonna con lettere, cifre e caratteri di sottolineatura ASCII.

• Il connettore non supporta l'uso di uno schema proto diverso per le operazioni di "creazione del flusso" e "inserimento dei record".

Dimensioni record

Ogni messaggio è limitato a 10 MB. La dimensione massima del record è 10.485.760 byte. Le intestazioni necessarie per la comunicazione richiedono fino a 19 byte.

Supporto dei tipi

La tabella seguente illustra i tipi Delta supportati e i tipi Protobuf corrispondenti per l'inserimento.

Tipi delta	Tipi Protobuf
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Deve essere convertito in int32 (numero di giorni dall'epoca).	int32
TIMESTAMP Deve essere convertito in int64 (periodo in microsecondi).	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> Lo map zucchero sintattico Protobuf è disponibile solo per i compilatori Protobuf versione 3 e successive.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Variant deve essere inserita come stringa con codifica JSON con chiavi di tipo STRING. Il connettore scrive i dati integri nella colonna. I formati supportati includono: Oggetti: "{\"id\":0,\"example\":\"this is variant example\"}" Primitive: "5", "3.14", "\"string\"" Matrici: "[1,2,3]"	string