Resumen
En este módulo, ha aprendido cómo los cuadernos de Fabric ofrecen un entorno interactivo para ejecutar transformaciones de Spark SQL y PySpark, con la capacidad de conectarse a lakehouses, almacenes de datos, bases de datos KQL y fuentes externas.
Ha explorado cómo funcionan los cuadernos, los almacenes de datos a los que acceden y los patrones de desarrollo comunes, como el desarrollo interactivo, los cuadernos con parámetros y la integración de canalizaciones. A continuación, ha aplicado técnicas de modelado principal, como el filtrado de filas, el control de valores NULL, la adición de columnas calculadas y la conversión de tipos de datos. Ha combinado datos de varias tablas mediante uniones, ha calculado métricas de resumen con agregaciones y ha aplicado funciones de ventana para clasificaciones y totales acumulados. Por último, ha escrito los resultados transformados en tablas Delta teniendo en cuenta los modos de escritura adecuados y las consideraciones de tamaño.
Estas aptitudes proporcionan las herramientas para crear canalizaciones de transformación repetibles que convierten los datos sin procesar en salidas confiables y estructuradas. Los patrones de Spark SQL y PySpark que ha practicado funcionan en cualquier repositorio de datos al que Spark pueda acceder. Las tablas delta limpias que genera sirven como base para informes, modelos semánticos y experiencias basadas en inteligencia artificial, como Fabric agentes de datos de IQ que consultan los datos mediante lenguaje natural.