Funciones de Zerobus Ingest

Esta página ofrece un resumen de lo que ofrece Zerobus Ingest en Lakeflow Connect. Cada función enlaza con su documentación completa.

• Punto final siempre activo: sin servidor, activado por defecto, escala automáticamente.
• Bloqueo de mensajes: métodos de ingestión y cómo confirmar la durabilidad.
• Llamadas de acuse de recibo: Reacciona a acuses de recibo y errores de forma asíncrona.
• Características de las tablas Delta: particionado, agrupación líquida y datos de VARIANT.
• Columna de rescate: capturar campos que no encajan en el esquema de la tabla en lugar de rechazarlos.
• Ubicación de reserva duradera: donde se almacenan los datos si no se pueden publicar.
• Monitorización de tu uso: tablas del sistema para uso y gasto.

Punto final siempre activado

Zerobus Ingest es un punto de conexión sin servidor que está habilitado por defecto en los espacios de trabajo de las regiones admitidas. No hay nada que iniciar, aprovisionar ni escalar. Una vez que tengas una tabla objetivo y un principal de servicio con acceso a ella, puedes empezar a enviar datos, y la capacidad escala automáticamente a medida que abres más flujos. Para empezar, consulta Usar Zerobus Ingest.

Características de la tabla Delta

Zerobus Ingest escribe en tablas Delta gestionadas por Unity Catalog estándar, por lo que tus datos ingeridos funcionan con capacidades de tabla Delta. Para los requisitos que debe cumplir una tabla objetivo, véase Requisitos de la tabla.

• Tablas particionadas: soportadas, sujetas a un límite de dispersión de particiones. Azure Databricks recomienda el clúster líquido para claves de alta cardinalidad. Véase Tablas particionadas.
• Tablas agrupadas líquidas (Beta): la disposición recomendada, que organiza los datos para optimizar el rendimiento de las consultas sin el límite de expansión de particiones. Consulte Uso de clústeres líquidos para tablas.
• Datos variantes: ingirir datos semiestructurados en VARIANT columnas. Consulte Tipos de datos admitidos.

Ubicación de respaldo duradera

Si se produce un cambio incompatible en la tabla después de que Zerobus Ingest haya garantizado la persistencia de tus datos, pero antes de poder publicarlos en la tabla, Zerobus Ingest escribe esos datos como archivos Parquet en un directorio alternativo dentro de la ubicación de almacenamiento de tu tabla, en lugar de descartarlos. Para encontrar y reprocesar estos datos tras corregir el esquema, véase Recuperación de datos desde la ubicación de respaldo duradero.

Supervisión del uso

Supervisa el uso y gasto de Zerobus Ingest mediante las tablas del sistema. Consulta la referencia de la tabla del sistema Zerobus Ingest y, para el gasto, la tabla del sistema de facturación en Cost.