Compartir vía

Tutorial: Limpieza de datos con dependencias funcionales

Use dependencias funcionales para limpiar los datos. Existe una dependencia funcional cuando una columna de un modelo semántico (un conjunto de datos de Power BI) depende de otra columna. Por ejemplo, una ZIP code columna puede determinar el valor de una city columna. Una dependencia funcional aparece como una relación de uno a varios entre los valores de dos o más columnas de un DataFrame. En este tutorial se usa el conjunto de datos de Synthea para mostrar cómo las dependencias funcionales ayudan a detectar problemas de calidad de datos.

En este tutorial, aprenderá a:

  • Aplique conocimientos de dominio para formar hipótesis sobre las dependencias funcionales en un modelo semántico.
  • Familiarícese con los componentes de la biblioteca semántica de Python (SemPy) que automatizan el análisis de calidad de los datos. Estos componentes incluyen:
    • FabricDataFrame: una estructura similar a Pandas con información semántica adicional.
    • Funciones que automatizan la evaluación de hipótesis sobre dependencias funcionales e identifican infracciones en los modelos semánticos.

Prerrequisitos

  • Seleccione Áreas de trabajo en el panel de navegación y, a continuación, seleccione el área de trabajo para establecerla como área de trabajo actual.

Sigue el desarrollo en el cuaderno

Use el cuaderno data_cleaning_functional_dependencies_tutorial.ipynb para seguir este tutorial.

Configuración del cuaderno

En esta sección, configurará un entorno de cuaderno.

  1. Compruebe la versión de Spark. Si usa Spark 3.4 o posterior en Microsoft Fabric, el vínculo semántico se incluye de forma predeterminada, por lo que no es necesario instalarlo. Si usa Spark 3.3 o versiones anteriores, o desea actualizar al vínculo semántico más reciente, ejecute el siguiente comando.

    %pip install -U semantic-link

  2. Importe los módulos que use en este cuaderno.

    import pandas as pd
import sempy.fabric as fabric
from sempy.fabric import FabricDataFrame
from sempy.dependencies import plot_dependency_metadata

  3. Descargue los datos de ejemplo. En este tutorial, use el conjunto de datos synthea de registros médicos sintéticos (versión pequeña para simplificar).

    download_synthea(which='small')

Exploración de los datos

  1. Inicialice con FabricDataFrame el contenido del archivo providers.csv .

    providers = FabricDataFrame(pd.read_csv("synthea/csv/providers.csv"))
providers.head()

  2. Compruebe si hay problemas de calidad de datos con la función de find_dependencies SemPy trazando un gráfico de dependencias funcionales detectadas automáticamente.

    deps = providers.find_dependencies()
plot_dependency_metadata(deps)

    Captura de pantalla de un gráfico de dependencias funcional que muestra id. determina NAME y ORGANIZATION.

    El gráfico muestra que Id determina NAME y ORGANIZATION. Este resultado se espera porque Id es único.

  3. Confirme que Id es único.

    providers.Id.is_unique

    El código devuelve True para confirmar que Id es único.

Análisis de dependencias funcionales en profundidad

El gráfico de dependencias funcionales también muestra que ORGANIZATION determina ADDRESS y ZIP, según lo previsto. Sin embargo, podrías esperar que ZIP también determinara CITY, pero la flecha discontinua indica que la dependencia es solo aproximada, señalando un problema de calidad de datos.

Hay otras peculiaridades en el gráfico. Por ejemplo, NAME no determina GENDER, Id, SPECIALITYo ORGANIZATION. Cada una de estas peculiaridades puede merecer la pena investigar.

  1. Eche un vistazo más profundo a la relación aproximada entre ZIP y CITY mediante la función de list_dependency_violations SemPy para enumerar las infracciones:
providers.list_dependency_violations('ZIP', 'CITY')
  1. Dibujar un gráfico con la función de visualización plot_dependency_violations de SemPy. Este gráfico es útil si el número de infracciones es pequeño:
providers.plot_dependency_violations('ZIP', 'CITY')

Captura de pantalla del gráfico de infracciones de dependencia.

El gráfico de infracciones de dependencia muestra los valores de ZIP en el lado izquierdo y los valores de CITY en el lado derecho. Un borde conecta un código postal en el lado izquierdo del trazado con una ciudad en el lado derecho si hay una fila que contiene estos dos valores. Los bordes se anotan con el recuento de dichas filas. Por ejemplo, hay dos filas con código postal 02747-1242, una fila con la ciudad "NORTH DARTHMOUTH" y la otra con la ciudad "DARTHMOUTH", como se muestra en el trazado anterior y el código siguiente:

  1. Confirme las observaciones del trazado ejecutando el código siguiente:
providers[providers.ZIP == '02747-1242'].CITY.value_counts()

  1. El trazado también muestra que, entre las filas que tienen CITY como "DARTHMOUTH", nueve filas tienen un ZIP de 02747-1262. Una fila tiene un ZIP de 02747-1242. Una fila tiene un ZIP valor de 02747-2537. Confirme estas observaciones con el código siguiente:

    providers[providers.CITY == 'DARTHMOUTH'].ZIP.value_counts()

  2. Hay otros códigos postales asociados a "DARTMOUTH", pero estos códigos postales no se muestran en el gráfico de infracciones de dependencia porque no sugieren problemas de calidad de datos. Por ejemplo, el código postal "02747-4302" está asociado de forma única con "DARTMOUTH" y no aparece en el gráfico de infracciones de dependencia. Confirme ejecutando el código siguiente:

    providers[providers.ZIP == '02747-4302'].CITY.value_counts()

Resumen de problemas de calidad de datos detectados con SemPy

El gráfico de infracciones de dependencia muestra varios problemas de calidad de datos en este modelo semántico:

  • Algunos nombres de ciudad están en mayúsculas. Use métodos de cadena para corregir este problema.
  • Algunos nombres de ciudad tienen calificadores (o prefijos), como "Norte" y "Este". Por ejemplo, el código postal "2128" se asigna a "EAST BOSTON" una vez y a "BOSTON" una vez. Se produce un problema similar entre "NORTH DARTMOUTH" y "DARTMOUTH". Quite estos calificadores o asigne los códigos postales a la ciudad con la repetición más común.
  • Hay errores tipográficos en algunos nombres de ciudad, como "PITTSFIELD" frente a "PITTSFILED" y "NEWBURGPORT" frente a "NEWBURYPORT". Para "NEWBURGPORT", corrija este error tipográfico mediante la aparición más común. Para "PITTSFIELD", con solo una aparición cada una, la desambiguación automática es mucho más difícil sin conocimientos externos ni un modelo de lenguaje.
  • A veces, los prefijos como "West" se abrevian a la letra única "W". Reemplace "W" por "Oeste" si todas las apariciones de "W" son "Oeste".
  • El código postal "02130" se asigna a "BOSTON" una vez y "Jamaica Plain" una vez. Este problema no es fácil de corregir. Con más datos, asigne a la repetición más común.

Limpiar los datos

  1. Corrija el uso de mayúsculas cambiando los valores a mayúsculas y minúsculas.

    providers['CITY'] = providers.CITY.str.title()

  2. Vuelva a ejecutar la detección de infracciones para confirmar que hay menos ambigüedades.

    providers.list_dependency_violations('ZIP', 'CITY')

Refinar los datos manualmente o quitar filas que infringen las restricciones funcionales entre columnas mediante la función de drop_dependency_violations SemPy.

Para cada valor de la variable determinante, drop_dependency_violations elige el valor más común de la variable dependiente y quita todas las filas con otros valores. Aplique esta operación solo si está seguro de que esta heurística estadística conduce a resultados correctos para los datos. De lo contrario, escriba su propio código para controlar las infracciones detectadas.

  1. Ejecute la drop_dependency_violations función en las ZIP columnas y CITY .

    providers_clean = providers.drop_dependency_violations('ZIP', 'CITY')

  2. Enumere las infracciones de dependencia entre ZIP y CITY.

    providers_clean.list_dependency_violations('ZIP', 'CITY')

El código devuelve una lista vacía para indicar que no hay más infracciones de la restricción ZIP -> CITYfuncional .

Contenido relacionado

Consulte otros tutoriales para ver el vínculo semántico o SemPy:

  • Last updated on