Dar forma y limpiar datos

Completados

Los datos sin procesar rara vez llegan listos para el análisis. Las tablas pueden contener filas duplicadas de cargas de datos repetidas, valores NULL de campos de formulario opcionales, nombres de columna incoherentes de sistemas de origen o columnas del tipo de datos incorrecto para los cálculos de bajada. Si consulta estos datos directamente, las agregaciones sobreestiman los recuentos, las uniones fallan de forma silenciosa y los informes muestran resultados engañosos.

El modelado y la limpieza de datos abordan estos problemas en una fase temprana del proceso, antes de que se conviertan en problemas mayores. En esta unidad, recorrerá una secuencia realista de transformaciones en un conjunto de datos de ventas mediante Spark SQL y PySpark. Seleccione la sintaxis preferida con las pestañas. Al elegir una pestaña, todos los ejemplos de código de esta página cambian a ese idioma.

Leer datos de una tabla de almacén de lago de datos

El primer paso de cualquier transformación del cuaderno es leer los datos. Con un almacén de lago de datos predeterminado anclado, puede hacer referencia a las tablas por su nombre sin especificar una ruta completa. Esto hace que el código sea portátil entre entornos.

SELECT * FROM raw_sales

Imagine que los resultados muestran una tabla de ventas con 11 filas, incluidas algunas que parecen idénticas y algunas celdas que muestran null dónde no se registró una región. Las transformaciones siguientes resuelven estos problemas uno a uno.

Quitar filas duplicadas

Las filas duplicadas son comunes cuando los datos se cargan desde varios lotes o cuando un sistema de origen vuelve a intentar las escrituras fallidas. Los duplicados inflan los recuentos, las sumas y los promedios. Quitarlos primero garantiza que todas las transformaciones posteriores funcionen con datos precisos.

Si comenzó con 11 filas y dos eran idénticas, la desduplicación reduce el recuento a 10. Cuando las filas difieren en algunos campos pero coinciden en una clave de negocio como order_id, se puede realizar la deduplicación basándose en esa columna específica.

-- Remove exact duplicate rows
SELECT DISTINCT * FROM raw_sales

-- Or deduplicate by a business key (keeps one row per order_id)
SELECT * FROM (
    SELECT *,
        ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY order_date) AS rn
    FROM raw_sales
) WHERE rn = 1

Manejo de valores nulos

Los valores NULL provocan diferentes problemas en función de dónde aparecen. Un valor NULL en una columna numérica genera null resultados para cualquier cálculo que lo implique. Un valor NULL en una columna de agrupación crea un grupo "Desconocido" que es fácil de pasar por alto. El control de valores NULL garantiza explícitamente un comportamiento predecible.

Tiene dos estrategias principales: reemplazar valores NULL por valores predeterminados significativos o quitar filas que no se pueden usar sin un valor. Por ejemplo, una región que falta puede rellenarse con "Desconocido", pero un registro de ventas sin un customer_id no se puede unir a los datos de los clientes y podría quitarse mejor.

-- Replace nulls with default values
SELECT
    order_id,
    customer_id,
    amount,
    COALESCE(region, 'Unknown') AS region,
    COALESCE(discount, 0) AS discount
FROM raw_sales

-- Or drop rows where a required column is null
SELECT * FROM raw_sales
WHERE customer_id IS NOT NULL

Después de reemplazar los valores NULL, las filas que anteriormente mostraban regiones en blanco ahora muestran "Desconocido" y los cálculos de descuento usan cero en lugar de propagar valores NULL.

Filtrar filas

El filtrado limita el conjunto de datos a las filas que importan para el análisis. Esto reduce el volumen de datos para los pasos posteriores y garantiza que los resultados reflejen el ámbito correcto. Por ejemplo, puede filtrar por un año específico, excluir transacciones de prueba o centrarse en una región.

SELECT * FROM raw_sales
WHERE YEAR(order_date) = 2024
    AND amount > 0

En PySpark, ajuste cada condición entre paréntesis y use & para AND y | para OR. Esto evita problemas de precedencia del operador que pueden producir resultados incorrectos.

Selección y cambio de nombre de columnas

Los sistemas de origen suelen usar nombres de columna crípticos o incoherentes como cust_id, CUST_IDo CustomerIdentifier en tablas diferentes. Seleccionar solo las columnas que necesita y renombrarlas según una norma coherente simplifica las combinaciones posteriores y hace que sus datos sean más fáciles de interpretar para sus colegas y herramientas de inteligencia artificial como Copilot.

SELECT
    order_id,
    customer_id,
    product_id,
    quantity,
    unit_price,
    order_date,
    region
FROM raw_sales

Agregar columnas calculadas

Las columnas calculadas derivan nuevos valores que no existen en los datos de origen, pero son importantes para el análisis. La columna line_total (cantidad multiplicada por precio unitario) evita que cada consulta posterior repita el mismo cálculo. La extracción de partes de fecha como año o mes crea columnas de agrupación convenientes.

SELECT *,
    quantity * unit_price AS line_total,
    YEAR(order_date) AS order_year,
    MONTH(order_date) AS order_month
FROM clean_sales

Tras este paso, cada fila incluye un valor line_total precalculado y las partes de fecha extraídas. Una fila con cantidad 5 y unit_price 29,99 ahora muestra un line_total de 149,95.

Creación de columnas condicionales

Las columnas condicionales clasifican los datos en función de las reglas de negocio. En lugar de repetir la lógica CASE en cada informe, se define la categorización una vez en la capa de transformación. Esto garantiza una clasificación coherente en todas partes que se consuman los datos.

SELECT *,
    CASE
        WHEN line_total > 500 THEN 'High'
        WHEN line_total > 100 THEN 'Medium'
        ELSE 'Low'
    END AS value_tier
FROM clean_sales

Un pedido con un line_total valor de 149,95 ahora se clasifica como "Medio", mientras que un pedido de 199,99 para un único dispositivo Premium se encuentra en el mismo nivel. Los umbrales reflejan las definiciones empresariales y permanecen coherentes en todos los usos de nivel inferior.

Convertir tipos de datos

Los errores de coincidencia de tipos se producen cuando los datos se cargan desde archivos CSV (donde todo es una cadena) o cuando los sistemas de origen usan una precisión diferente de la que necesita. Una columna de cadena que tiene un aspecto similar a un número provoca errores en las operaciones matemáticas. Un decimal de baja precisión redondea los valores que importan para los informes financieros. La conversión de tipos detecta explícitamente estos problemas durante la transformación en lugar de en un informe posterior.

SELECT
    CAST(amount AS DECIMAL(10,2)) AS amount,
    CAST(order_date AS DATE) AS order_date,
    CAST(quantity AS INT) AS quantity
FROM raw_sales

Nota:

Spark SQL y PySpark admiten los mismos tipos de datos subyacentes. Puede mezclar ambos idiomas en el mismo cuaderno mediante el %%sql comando magic. Elija la sintaxis que se sienta más natural para cada tarea.

Conjunto de datos limpio

Después de aplicar estas transformaciones en secuencia, el conjunto de datos ha cambiado sustancialmente:

antes de después de
11 filas con duplicados 10 filas únicas
Valores nulos (NULL) en región y descuento Rellenado con "Desconocido" y 0
Todas las columnas originales Solo las columnas necesarias, con nombre coherente
No hay valores derivados line_total, order_year, order_month, value_tier agregado
Tipos de datos sin procesar del origen Tipos explícitos para decimales, fechas, enteros

Cada transformación ha solucionado un problema de calidad de datos específico. En producción, normalmente se encadenan estos pasos en un único cuaderno, comprobando los resultados en cada fase antes de continuar.

Ahora puede dar forma a tablas individuales en formatos limpios y coherentes. En la siguiente unidad, aprenderá a combinar datos de varias tablas y a calcular los resultados agregados.