Set di dati SDOH nei lakehouse
Dopo aver eseguito la pipeline per ingerire un dataset di determinanti sociali della salute (SDOH), è possibile esplorare i dati bronze e silver lakehouses.
Lago di bronzo
Il lakehouse in bronzo sta scenando per il processo di inserimento. Dovresti dover usare questo lakehouse direttamente solo se stai risolvendo un problema di inserimento. Al termine del processo di inserimento, il sistema copia il file inserito nella cartella Inserimento nella cartella Processo e quindi lo organizza in base alla data di elaborazione. Il sistema copia il file inserito e quindi lo antepone a un valore univoco per impedirne il conflitto con più esecuzioni. Se la pipeline non è riuscita, il sistema inserisce il file nella cartella Non riuscito .
La tabella SdohDatasets contiene i dati predisposti dal set di dati SDOH.
L'immagine seguente mostra la tabella SdohDatasets nella lakehouse in bronzo.
Questa tabella contiene più righe che rappresentano i dati del set di dati inserito. I dati del set di dati vengono archiviati nella colonna datasetRowContent. Le colonne datasetName, datasetMetadata e datasetLayout vengono ripetute in ogni riga e rappresentano i metadati per il set di dati. Tutti questi campi sono rappresentati come colonne JSON perché sono destinati all'uso interno dalla logica della pipeline per popolare la silver lakehouse.
Annotazioni
Anche se si fa riferimento e si controllano i set di dati nella lakehouse bronze per risolvere i problemi o convalidare l'inserimento del set di dati SDOH, non è necessario usarlo per scopi analitici. È necessario utilizzare il silver lakehouse.
Silver lakehouse
La silver lakehouse contiene i dati arricchiti che sono stati perfezionati trasformando i dati acquisiti nel bronze lakehouse. Le tabelle per SDOH nelle tabelle silver lakehouse sono un modello normalizzato creato da Microsoft. Queste tabelle rappresentano set di dati SDOH nel modello di dati delle soluzioni dati per il settore sanitario.
L'immagine seguente rappresenta le tabelle che costituiscono il modello di dati SDOH.
Queste tabelle contengono righe che rappresentano tutti i set di dati SDOH inseriti. Adottando una categoria, una sottocategoria e una strategia chiave di armonizzazione durante la preparazione dei dati, è possibile usare questi tre elementi per esplorare la tabella SocialDeterminant durante la creazione di query da combinare con gli altri dati sanitari. Ad esempio, l'esecuzione di query su tutti i determinanti sociali con la stessa chiave di armonizzazione può fornire più determinanti da set di dati SDOH diversi.
Nell'unità successiva, eseguirai query per utilizzare il silver lakehouse per analizzare la popolazione dei pazienti usando i determinanti sociali caricati nell'esercizio precedente.