Limitaciones del conector de ingesta de Zerobus

En esta página se enumeran las limitaciones al usar el conector De ingesta de Zerobus en Lakeflow Connect.

Availability

El conector De ingesta de Zerobus está disponible en las siguientes regiones:

• westus
• westus2
• westus3
• eastus
• eastus2
• centralus
• northcentralus
• southcentralus
• canadacentral
• brazilsouth
• westeurope
• northeurope
• germanywestcentral
• swedencentral
• switzerlandnorth
• uksouth
• australiaeast
• centralindia
• southeastasia

Todas las regiones disponibles proporcionan disponibilidad de servicio multizona, excepto para westus y northcentralus, que proporcionan disponibilidad de zona única.

Latencia

La latencia refleja tanto la confirmación de durabilidad como el tiempo para materializar los registros en la tabla Delta de destino. Los tiempos reales varían en función de la alineación de regiones y las características de la carga de trabajo.

• Tiempo de durabilidad
  • P95 ≤ 500 ms
  • P50 ≤ 200 ms
• Tiempo hasta la presentación
  • P95 ≤ 30 segundos
  • P50 ≤ 5 segundos

Restricciones de rendimiento

• 100 MB/segundo por secuencia (evaluado usando mensajes de tamaño de 1 KB)
• 10 GB/segundo por tabla objetivo
• 15,000 registros por segundo por flujo

Para lograr el rendimiento máximo, una aplicación cliente y un punto de conexión deben estar en la misma región geográfica. Si necesita un mayor rendimiento, póngase en contacto con el representante de la cuenta de Databricks.

Garantías de entrega

El conector de ingesta de Zerobus solo proporciona garantías de entrega al menos una vez.

Cuotas

A continuación se muestran las cuotas predeterminadas para el conector de Ingesta Zerobus. Si necesita un mayor rendimiento, póngase en contacto con su representante de la cuenta de Databricks.

gRPC

• Rendimiento de 100 MB por segundo por flujo
• Rendimiento de 10 GB por segundo por tabla de destino

REST

• 10 000 solicitudes por segundo

Tablas particionadas

Al escribir en tablas con particiones, el conector Zerobus Ingest no admite la escritura en más de 1000 particiones en intervalos de 5 segundos.

Confirmaciones administradas por el catálogo

Zerobus Ingest no admite confirmaciones gestionadas por catálogos. No utilice la ingesta de Zerobus para tablas Delta con las confirmaciones gestionadas por el catálogo habilitadas.

Área de trabajo y tabla objetivo

Se requieren las siguientes condiciones de área de trabajo y tabla de destino para la ingesta.

• El conector solo admite la escritura en tablas Delta administradas. No se admite la escritura en el almacenamiento predeterminado.
• El conector no admite la escritura en el almacenamiento protegido a través de un punto de conexión privado.
• El conector no admite la recreación de una tabla de destino.
• El conector solo admite nombres de tabla con letras ASCII, dígitos y caracteres de subrayado.
• Tanto el área de trabajo como la tabla de destino deben estar en una de las regiones disponibles, y ambas deben estar en la misma región.

Tablas en clúster liquidas

Importante

Escribir en tablas en clúster líquido mediante el conector de Ingesta de Zerobus está en Beta.

Al usar el conector de Ingesta de Zerobus con tablas agrupadas de tipo líquido, se recomienda mantener habilitada la optimización predictiva para la tabla de destino. El conector escribe datos en la tabla, pero el servicio de optimización predictiva aplica la agrupación en clústeres de datos óptimos de forma asincrónica. Deshabilitar la optimización predictiva puede dar lugar a un rendimiento de consulta poco óptimo en los datos ingeridos.

Áreas de trabajo del perfil de seguridad de cumplimiento

El conector de ingesta de Zerobus no se admite para espacios de trabajo con perfiles de seguridad para el cumplimiento (como FedRAMP, HIPAA y PCI-DSS). No utilice el conector de ingesta de Zerobus para tareas que requieran garantías de cumplimiento. Para obtener una lista de los estándares y programas de cumplimiento admitidos, consulte Perfil de seguridad de cumplimiento.

Evolución del esquema

Zerobus Ingest nunca evolucionará automáticamente la tabla de destino.

Zerobus Ingest soporta la ingesta continua cuando se agregan columnas Delta anulables a la tabla de destino. Las columnas que faltan se rellenan con NULL valores, lo que permite enviar registros con campos que faltan.

Esquema Protobuf

La definición del esquema protobuf debe coincidir en una correspondencia 1:1 con el esquema de la tabla Delta (excepto las columnas delta adicionales que aceptan valores nulos, que se consideran un cambio de esquema no disruptivo). Si el esquema no coincide, la API devuelve un error. Esto incluye:

• Número diferente de columnas

• Nombres de columna diferentes

• Opcionalidad de columna diferente (que acepta valores NULL y no acepta valores NULL)

• El conector no admite esquemas proto con más de 2000 columnas.

• El conector solo admite nombres de tabla y columna con letras ASCII, dígitos y caracteres de subrayado.

• El conector no admite el uso de un esquema proto diferente para las operaciones de "creación de flujos" y "registro de ingesta".

Tamaño del registro

Cada mensaje está limitado a 10 MB. El tamaño máximo del registro es de 10 485 760 bytes. Los encabezados necesarios para la comunicación ocupan 19 bytes.

Soporte para tipos

En la tabla siguiente se muestran los tipos Delta admitidos y sus correspondientes tipos Protobuf para la ingesta de datos.

Tipos delta	Tipos de Protobuf
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Debe convertirse en int32 (número de días desde la época).	int32
TIMESTAMP Debe convertirse a int64 (tiempo epoch en microsegundos).	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> El map azúcar sintáctica de Protobuf solo está disponible para compiladores Protobuf versión 3 y posteriores.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT La variante debe ingerirse como una cadena codificada en JSON con claves de tipo STRING. El conector escribe los datos sin fragmentar en la columna. Entre los formatos de archivos admitidos se incluyen: Objetos: "{\"id\":0,\"example\":\"this is variant example\"}" Primitivos: "5", "3.14", "\"string\"" Arreglos: "[1,2,3]"	string