Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Apache Iceberg es un formato de tabla de código abierto para cargas de trabajo de análisis que admite características como la evolución del esquema, el viaje en el tiempo y la creación de particiones ocultas. Al igual que Delta Lake, Iceberg crea una capa de abstracción que permite realizar transacciones ACID sobre sus datos en el almacenamiento de objetos.
Azure Databricks admite tablas Iceberg que usan el formato de archivo Apache Parquet y las versiones 1, 2 y 3 de la especificación Iceberg. Iceberg mantiene la atomicidad y la coherencia escribiendo nuevos archivos de metadatos para cada cambio de tabla. Todas las tablas de Iceberg de Azure Databricks siguen la especificación del formato de tabla Iceberg abierto. Consulte la especificación de la tabla de Iceberg.
Un catálogo de Iceberg es la capa de nivel superior de la arquitectura de la tabla de Iceberg que devuelve los metadatos actuales al cargar una tabla. El catálogo de Iceberg controla las operaciones como crear, quitar y cambiar el nombre de las tablas.
Azure Databricks admite tablas de Iceberg administradas por:
- Catálogo de Unity
- Catálogos externos, como AWS Glue, Metastore de Hive o Snowflake Horizon Catalog
Requisitos
Para usar tablas administradas o externas de Apache Iceberg, debe cumplir los siguientes requisitos:
- Use un área de trabajo con el catálogo de Unity habilitado.
- Use Databricks Runtime 16.4 LTS o superior.
En el caso de las tablas administradas, también debe cumplir el requisito siguiente:
- Un espacio de trabajo con el cómputo sin servidor habilitado
Azure Databricks usa un proceso sin servidor para mantener los metadatos de la tabla de Iceberg para las tablas administradas. El proceso sin servidor debe tener conectividad de red con la cuenta de almacenamiento en la nube que respalda la tabla. Si un firewall protege la cuenta de almacenamiento, configure la conectividad de red sin servidor para que el proceso sin servidor pueda llegar a ella. La configuración necesaria depende de la nube. Para obtener más información, consulte Redes de plano de proceso sin servidor.
Creación de tablas de Iceberg en el catálogo de Unity
Las tablas que cree en Unity Catalog son tablas Iceberg administradas. Puede crear estas tablas mediante:
- Databricks Runtime o Databricks SQL
- Motores externos compatibles con Alias que admiten la API de catálogo REST de Alias, como Apache Spark, Flink, Trino o Kafka. Consulte Cómo acceder a tablas de Azure Databricks desde clientes de Apache Iceberg.
Las tablas Iceberg administradas están totalmente integradas con las funcionalidades de la plataforma Azure Databricks:
- Unity Catalog administra tareas de ciclo de vida como la expiración de instantáneas y la compactación de archivos en estas tablas. Para ejecutarlo
OPTIMIZEmanualmente, consulta Optimizar tablas de Iceberg gestionadas. - La agrupación en clústeres líquidos mejora el rendimiento de las consultas.
- La optimización predictiva automatiza las operaciones para reducir los costos de almacenamiento y mejorar la velocidad de las consultas.
- Las transacciones de varias sentencias agrupan sentencias SQL a través de una o más tablas en una única operación atómica.
- las vistas materializadas admiten la actualización incremental para mantener los resultados actualizados a medida que cambian los datos de origen.
- las tablas de streaming admiten la carga incremental de datos desde Kafka y el almacenamiento de objetos en la nube mediante Databricks SQL.
Databricks recomienda usar la versión 1.9.2 y posteriores del cliente de Iceberg para leer y escribir en el catálogo de Unity.
Optimizar tablas de Iceberg gestionadas
La optimización predictiva se ejecuta OPTIMIZE automáticamente en tablas Iceberg gestionadas. También puedes ejecutar OPTIMIZE manualmente en tablas Iceberg gestionadas, por ejemplo para reagrupar datos existentes después de cambiar las claves de clustering. Las tablas Iceberg administradas admiten los siguientes comandos:
-
OPTIMIZE table_namecompacta archivos pequeños y agrupa los datos de forma incremental. Consulte Cómo desencadenar la agrupación en clústeres. - En tablas que usan clúster líquido,
OPTIMIZE table_name FULLreescribe archivos de datos existentes que no están agrupados con las claves actuales de clúster. Los archivos que ya están agrupados con las claves actuales no se reescriben. Consulte Forzar reclusterización. - En tablas que usan clúster líquido,
OPTIMIZE table_name FULL WHERE predicate(Databricks Runtime 18.1 y superiores) aplicaFULLa los archivos cuyo rango se solapa con un predicado en una columna de clustering. Véase Reagrupación parcial.
Las tablas Iceberg gestionadas requieren Databricks Runtime 16.4 LTS o superior, por lo que debes usar Databricks Runtime 16.4 LTS o superior para ejecutar OPTIMIZE FULL en ellas, aunque OPTIMIZE FULL esté disponible para las tablas Delta Lake en Databricks Runtime 16.0 y superiores. Vea Requisitos.
Para reagrupar datos existentes en una tabla Iceberg gestionada después de cambiar sus claves de clustering, ejecuta lo siguiente:
OPTIMIZE main.default.iceberg_table FULL;
Para la sintaxis y los parámetros, véase OPTIMIZE.
Leer tablas de Iceberg administradas por otros catálogos
Una tabla externa de Iceberg es una tabla de Iceberg administrada por un catálogo fuera del catálogo de Unity. El catálogo externo almacena los metadatos actuales de la tabla. Azure Databricks usa Lakehouse Federation para recuperar metadatos y leer la tabla del almacenamiento de objetos.
Las tablas Iceberg extranjeras son de solo lectura en Azure Databricks y cuentan con soporte limitado en la plataforma.
Obtener acceso a tablas de Iceberg mediante sistemas externos
Puede tener acceso a todas las tablas de Iceberg en el catálogo de Unity mediante la API de catálogo REST de Iceberg. Esta API abierta admite operaciones de lectura y escritura desde motores de Iceberg externos en diferentes lenguajes y plataformas. Consulte Cómo acceder a tablas de Azure Databricks desde clientes de Apache Iceberg.
Los motores Iceberg externos también pueden consultar vistas definidas en Unity Catalog sobre tablas compatibles con Iceberg. Esta característica se encuentra en su versión beta. Ver Acceso externo a las vistas.
El catálogo REST admite el provisionamiento de credenciales, que entrega credenciales temporales a mecanismos externos para acceder al almacenamiento subyacente. Para obtener más información, consulte Venta de credenciales de Unity Catalog para el acceso a sistemas externos.
Advertencia
La distribución de credenciales no se admite en espacios de trabajo que utilizan almacenamiento predeterminado. Consulte Limitaciones.
Clonar tablas gestionadas usando Iceberg
Puedes crear una copia completa e independiente de una tabla gestionada que utilice Iceberg con DEEP CLONE. Un clon profundo copia los archivos de datos y metadatos de la tabla a una nueva tabla gestionada usando Iceberg en Unity Catalog. Véase Clone, una tabla gestionada que utiliza Iceberg.
Creación de una vista materializada compatible con lectores externos de Iceberg
Importante
Las vistas materializadas administradas de Iceberg se encuentran en versión preliminar pública. Para habilitar esta característica, póngase en contacto con el equipo de la cuenta de Databricks.
Puede crear una vista materializada que sea compatible con lectores externos de Iceberg. Para crear uno, utilice USING ICEBERG en la instrucción CREATE MATERIALIZED VIEW. Para obtener la sintaxis completa, consulte CREATE MATERIALIZED VIEW (canalizaciones). Para conocer los requisitos completos, consulte Habilitación del acceso de datos externos a tablas de streaming y vistas materializadas.
CREATE MATERIALIZED VIEW <mv_name>
USING ICEBERG
AS
SELECT * FROM samples.nyctaxi.trips;
Después de crear la vista materializada, ejecute REPAIR TABLE con SYNC METADATA. Consulte REPAIR TABLE.
REPAIR TABLE <mv_name> SYNC METADATA;
Los lectores externos de Iceberg pueden leer la vista materializada, pero no pueden escribir en ella. Para leer la vista materializada desde un lector externo de Iceberg, consulte Habilitar el acceso externo a datos de tablas de streaming y vistas materializadas.
Evolución de las particiones
Con la evolución de las particiones, puede cambiar el esquema de creación de particiones de una tabla de Apache Iceberg existente sin volver a escribir datos. Los nuevos datos se escriben con el diseño de partición actualizado y los datos existentes conservan su diseño de partición original. Apache Iceberg realiza un seguimiento de las especificaciones de partición y aplica el filtro correcto en el momento de la consulta. Consulte la evolución de las particiones para Apache Iceberg.
Nota:
La evolución de particiones está admitida en las tablas de Iceberg administradas a través de motores externos de Iceberg que utilizan el catálogo REST de Iceberg, pero no a través de Databricks SQL. Las transformaciones de partición basadas en expresiones, como years() y, bucket() no se admiten para las tablas administradas de Iceberg. Consulte Limitaciones.
Para configurar el acceso externo, consulte Acceder a las tablas de Azure Databricks desde clientes de Apache Iceberg.
En los ejemplos siguientes se muestra cómo usar la evolución de las particiones con Spark SQL y la extensión Docker. Para ver la sintaxis de evolución de las particiones de Apache Iceberg y las transformaciones admitidas, consulte DDL de Apache Spark.
Agregar un campo de partición
Para agregar un nuevo campo de partición a una tabla existente:
ALTER TABLE catalog.schema.table ADD PARTITION FIELD column_name;
Quitar un campo de partición
Para quitar un campo de partición existente de una tabla:
ALTER TABLE catalog.schema.table DROP PARTITION FIELD column_name;
Reemplazar un campo de partición
Para intercambiar un campo de partición por otro sin una repartición intermedia:
ALTER TABLE catalog.schema.table REPLACE PARTITION FIELD old_column WITH new_column;
Limitaciones
Las siguientes limitaciones se aplican a las tablas Iceberg en Azure Databricks:
- Las tablas de Iceberg solo admiten el formato de archivo Apache Parquet.
- Para Iceberg v2, no se admiten eliminaciones de posición ni eliminaciones basadas en igualdad. En su lugar, Azure Databricks admite vectores de eliminación de Iceberg v3 para eliminaciones de nivel de fila.
- La ramificación y el etiquetado no son compatibles. Solo se puede acceder a la rama principal cuando se leen tablas Iceberg externas.
- Particionamiento
- La evolución de particiones solo se admite en tablas Iceberg administradas cuando se interactúa desde motores Iceberg externos.
- Las tablas Iceberg extranjeras no admiten la evolución de particiones.
- No se admite la creación de particiones por
BINARYtipo.
- No se admiten los siguientes tipos de datos:
UUIDFixed(L)TIME-
STRUCTanidados con campos obligatorios
- Para conocer las limitaciones específicas de Iceberg v3, consulte Limitaciones.
Limitaciones de las tablas Iceberg administradas
Las limitaciones siguientes se aplican específicamente a las tablas de Iceberg administradas:
- Cuando un cliente externo de Iceberg ejecuta un cambio en el nivel de fila (
DELETE,UPDATEoMERGE) en una tabla administrada de Iceberg v3, el cliente debe utilizar el modo copia al escribir o registrar las filas eliminadas como vectores de eliminación de Iceberg v3. Consulta las limitaciones del catálogo REST de Iceberg. - AI Search solo es compatible con tablas gestionadas que utilizan Iceberg v3 o superiores. Consulta Databricks AI Search y Utiliza las funciones de Apache Iceberg v3.
- Si usa una tabla Iceberg gestionada como origen para tablas sincronizadas para Lakebase, la tabla debe usar Iceberg v3 para procesamiento incremental con origen de datos de cambios automático. Las tablas de Iceberg administradas en versiones anteriores solo soportan Snapshotmodo de sincronización.
- Las tablas de Iceberg administradas solo se pueden crear si la optimización predictiva está habilitada para el mantenimiento de tablas.
- El catálogo de Unity administra las siguientes propiedades de tabla y no se puede establecer manualmente:
write.location-provider.implwrite.data.pathwrite.metadata.pathwrite.format.defaultwrite.delete.format.default
- No se admite el códec de compresión para cambiar la compresión de tabla. Todas las tablas usan Zstd de forma predeterminada.
- No se admite la creación de particiones por expresiones (por ejemplo,
years(),months(),days(),hours(), ).bucket() - Las características que no se admiten en Apache Iceberg tampoco están disponibles para las tablas de Iceberg administradas. Esto incluye columnas generadas de Delta Lake, restricciones en Azure Databricks y soporte de intercalación para Delta Lake.
Limitaciones de las tablas Iceberg externas
Las siguientes limitaciones se aplican específicamente a las tablas de Iceberg externas:
- El viaje en el tiempo solo se admite para las instantáneas de Iceberg que se han leído anteriormente en Azure Databricks (es decir, instantáneas en las que se ejecutó una instrucción con
SELECT). - El uso de funciones de transformación de cubos para la creación de particiones de Iceberg puede degradar el rendimiento de las consultas cuando se usan filtros condicionales.
- Los productos de almacenamiento en la nube como Amazon S3 no están integrados con tablas Iceberg externas. El acceso a las tablas de Iceberg externas en Azure Databricks puede restaurar los datos archivados en niveles de almacenamiento de menor costo.
- En clústeres de modo de acceso dedicado, las operaciones de lectura y
REFRESH FOREIGN TABLEen tablas Iceberg requierenALL PRIVILEGES.