Introducción
Las organizaciones controladas por datos necesitan formas confiables de transformar los datos sin procesar en formatos limpios y estructurados listos para el análisis. En Microsoft Fabric, los cuadernos proporcionan un entorno interactivo basado en código con tecnología de Apache Spark. Puede utilizar cuadernos para leer y escribir en almacenes de lagos de datos, así como en almacenes, bases de datos KQL y fuentes externas. Los notebooks proporcionan una sola herramienta de transformación que abarca la plataforma de Fabric.
Supongamos que trabaja en una organización de análisis comercial que recopila transacciones de ventas, registros de clientes y datos de productos de varios sistemas en un Fabric lakehouse. Los datos sin procesar contienen incoherencias: valores que faltan en los registros de clientes, filas de transacciones duplicadas y tablas independientes que deben unirse antes de que los analistas puedan crear informes significativos. Las herramientas de bajo código administran transformaciones sencillas, pero su equipo necesita uniones complejas entre varias tablas, funciones de ventana para clasificaciones y totales acumulados, y lógica empresarial personalizada para derivar nuevas métricas. Su organización necesita un enfoque escalable y repetible que se basa en las aptitudes de SQL existentes del equipo.
Fabric cuadernos permiten abordar estos desafíos mediante Spark SQL, que amplía la sintaxis SQL familiar para trabajar con grandes conjuntos de datos. Cuando necesite más flexibilidad mediante programación, PySpark proporciona una API DataFrame para las mismas transformaciones. Ambos lenguajes se ejecutan en el mismo motor de Spark, por lo que puede elegir el enfoque que se ajusta a cada tarea.
Exploras cómo funcionan los notebooks de Fabric, a qué almacenes de datos se conectan y los patrones de desarrollo comunes. También aprenderá a dar forma y limpiar datos filtrando filas, controlando valores NULL y agregando columnas calculadas. Puede combinar y agregar datos mediante combinaciones, agrupaciones y funciones de ventana. Por último, escriba los resultados transformados en tablas Delta de tamaño correcto.
Al final de este módulo, podrá transformar datos mediante Spark SQL y PySpark en cuadernos de Fabric.