Migración desde Azure Synapse Spark a Fabric

Antes de empezar la migración, debe comprobar que Fabric Data Engineering es la mejor solución para su carga de trabajo. Fabric Data Engineering admite elementos de lago de datos, cuaderno, entorno, definición de trabajo de Spark (SJD) y canalización de datos, incluidos diferentes entornos de ejecución y funcionalidades de Spark.

Consideraciones clave

El paso inicial para crear una estrategia de migración es evaluar la idoneidad. Cabe destacar que algunas características de Fabric relacionadas con Spark se encuentran actualmente en desarrollo o planeación. Para obtener más detalles y actualizaciones, visite el plan de desarrollo de Fabric.

En cuanto a Spark, consulte las diferencias de comparación detalladas entre Azure Synapse Spark y Fabric.

Escenarios de migración

Si determina que Fabric Data Engineering es la opción adecuada para migrar las cargas de trabajo de Spark, el proceso de migración puede implicar varios escenarios y fases:

• Elementos: la migración de elementos implica la transferencia de uno o varios elementos del área de trabajo de Azure Synapse existente a Fabric. Obtenga más información sobre la migración de grupos de Spark, configuraciones de Spark, bibliotecas de Spark, cuadernos y definiciones de trabajos de Spark.
• Datos y canalizaciones: con los accesos directos de OneLake puede hacer que los datos de ADLS Gen2 (vinculados a un área de trabajo de Azure Synapse) estén disponibles en un lago de datos de Fabric. La migración de canalizaciones implica mover canalizaciones de datos existentes a Fabric, incluidas las actividades de canalización de definición de trabajos de Spark y de cuadernos. Obtenga más información sobre la migración de datos y canalizaciones.
• Metadatos: la migración de metadatos implica mover metadatos del catálogo de Spark (bases de datos, tablas y particiones) desde una metastore de Hive (HMS) existente en Azure Synapse a un lago de datos de Fabric. Obtenga más información sobre la migración de metadatos de HMS.
• Área de trabajo: los usuarios pueden migrar un área de trabajo existente de Azure Synapse mediante la creación de un área de trabajo en Microsoft Fabric, incluidos los metadatos. La migración del área de trabajo no se trata en esta guía, ya que se supone que los usuarios deben crear un área de trabajo o tener un área de trabajo de Fabric existente. Consulte más información sobre los roles de área de trabajo en Fabric.

La transición de Azure Synapse Spark a Fabric Spark requiere un conocimiento profundo de la arquitectura actual y de las diferencias entre Azure Synapse Spark y Fabric. El primer paso fundamental es hacer una evaluación, seguida de la creación de un plan de migración detallado. Este plan se puede personalizar para que coincida con los rasgos únicos del sistema, las dependencias de las fases y las complejidades de la carga de trabajo.

Contenido relacionado

• Fabric frente a Spark de Azure Synapse
• Obtenga más información sobre las opciones de migración de los grupos de Spark, las configuraciones, las bibliotecas, los cuadernos y la definición de trabajos de Spark.
• Migración de datos y canalizaciones
• Migración de metadatos de la metastore de Hive