Nyilvános adatkészletek előkészítése SDOH-adatkészletekben – Átalakítások (előzetes verzió)

2024-11-12

[Ez a cikk egy előzetes kiadási dokumentáció, amely a későbbiekben változhat.]

Az SDOH nyilvános adatkészletei a kormányzati szervek és más hivatalos források, például egyetemek által közzétett összesített egészségügyi meghatározó tényezők (SDOH) adatait tartalmazzák. Ezek az adatkészletek különböző SDOH-paramétereket konszolidálnak földrajzi szinteken, például állami, megyei vagy irányítószámon. SDOH-adatkészletek – Az átalakítások (előzetes verzió) lehetővé teszi ezeknek a földrajzi szintű adatkészleteknek CSV (vesszővel tagolt értékek) vagy XLSX (Excel Open XML Spreadsheet) formátumban való betöltését és egyéni adatmodellbe való normalizálását.

Az előzetes kiadás a következő nyolc SDOH-mintaadatkészletet tartalmazza különböző SDOH-tartományokból, amelyek segítenek az adatfolyamatok futtatásában és az adatátalakítások feltárásában a bronz, ezüst és arany lakehouse-rétegeken keresztül:

Az USDA Élelmiszer-környezeti Atlasz: Olyan tényezőket tartalmaz, mint az üzletek / éttermek közelsége, az élelmiszerárak, a táplálkozási támogatási programok és a közösségi jellemzők. Ezek a tényezők befolyásolják az élelmiszerválasztást, az étrend minőségét és végső soron az egészségügyi eredményeket.
Az USDA vidéki atlasz: Statisztikákat kínál a társadalmi-gazdasági tényezőkről, például az emberekről, a munkahelyekről, a megyei besorolásokról, a jövedelemről és a veteránokról.
Az AHRQ SDOH-adatai: Öt kulcsfontosságú SDOH-tartomány részleteit tartalmazza:
- Társadalmi kontextus, például életkor, faj/etnikai hovatartozás, veterán státusz.
- Gazdasági kontextus, például jövedelem, munkanélküliségi ráta.
- Oktatás
- Fizikai infrastruktúra, például lakhatás, bűnözés, közlekedés.
- Egészségügyi kontextus, például egészségbiztosítás.
Elhelyezkedés megfizethetőségi indexe: Megbecsüli a háztartások lakhatási és szállítási költségeit a szomszédság szintjén.
Környezeti igazságossági index: Több forrásból származó adatokat összesít, hogy rangsorolja a környezeti igazságtalanság egészségre gyakorolt kumulatív hatásait minden népszámlálási traktusban.
ACS iskolai végzettség: Oktatási betekintést nyújt a földrajzi területekre, egy nagy, folyamatban lévő demográfiai felmérésből származtatva.
Ausztrál SEIFA: Egyesíti az ausztrál népszámlálási adatokat, például a jövedelmet, az oktatást, a foglalkoztatást és a lakhatást, hogy összefoglalja a terület társadalmi-gazdasági jellemzőit.
Egyesült Királyság nélkülözési indexei: Az Egyesült Királyságban széles körben használt társadalmi-gazdasági intézkedés a szegénység felmérésére kis területeken, különböző dimenziókban.

Ahol:

USDA: Egyesült Államok Mezőgazdasági Minisztériuma
AHRQ: Egészségügyi Kutatási és Minőségügyi Ügynökség
ACS: Amerikai közösségi felmérés
SEIFA: A területek társadalmi-gazdasági mutatói

Fontos

Ezek az adatkészletek nem csak minták, hanem teljes, valós adatkészletek, amelyeket az adott szervezetek tesznek közzé. Pontos ábrázolást nyújtanak földrajzi területeik SDOH profiljairól. Legyen óvatos, amikor módosítja őket, mivel ezek a szövetségi ügynökségek hivatalos kiadványai.

Mappaszerkezet

Az SDOH-adatkészletek kezdőlapja – Átalakítások (előzetes verzió) három mappából áll: Ingest,Process és Failed. További információ ezekről a mappákról: Egyesített mappastruktúra.

Az SDOH-adatkészletek előkészítése betöltés előtt

A nyilvános SDOH-adatkészletek betöltése előtt győződjön meg arról, hogy készen állnak a sikeres betöltésre. A következő szakaszok két forgatókönyvet vázolnak fel:

Saját adatkészlet használata
A mintaadatkészlet használata

Saját adatkészlet használata

Az SDOH nyilvános adatkészletei formátumban, mennyiségben és struktúrában jelentősen eltérnek a közzétevő szervezetektől. Nincsenek meghatározott szabványaik a rögzített információk összegyűjtésére és cseréjére. Ezért elengedhetetlen, hogy közös alakzatba egyesítsük őket, mielőtt egy adatmodellben ábrázolnánk őket.

Egy Ön által választott nyilvános SDOH-adatkészlet betöltéséhez és átalakításához adja hozzá a következő három kulcsfontosságú információt:

Elrendezés: Az SDOH-adatok rögzítésére szolgáló szabványos kódkészlet hiánya miatt az egyes mezők jelentésének megértése kihívást jelent. A probléma megoldásához hozzon létre egy adatszótárt az adatkészlethez egy Elrendezés nevű új lap hozzáadásával (ha az adatkészlet XLSX formátumú), vagy hozzon létre egy új CSV-fájlt (ha az adatkészlet CSV formátumú) az alábbi példában látható oszlopokkal:
DataSetMetadata: Mivel az SDOH-adatkészletek különböző közzétevőktől származnak, az adatkészlet legfontosabb részleteinek rögzítése kulcsfontosságú. Adjon hozzá egy DataSetMetadata nevű új lapot (ha az adatkészlet XLSX formátumú), vagy hozzon létre egy új CSV-fájlt (ha az adatkészlet CSV formátumú) az alábbi példában látható oszlopokkal:
LocationConfiguration: A különböző földrajzi helyek különböző módokon határozzák meg és rendezik a helyadatokat. Annak érdekében, hogy az SDOH-folyamatok megértsék az adatkészlet földrajzi szerkezetét, adjon hozzá egy LocationConfiguration nevű új lapot (ha az adatkészlet XLSX formátumú), vagy hozzon létre egy új CSV-fájlt (ha az adatkészlet CSV formátumú) az alábbi példában látható oszlopokkal:

Is:

Az SDOH-mintaadatkészletek szerkezetére támaszkodva feltöltheti a szükséges információkat, például a társadalmi meghatározó kategóriát, a metaadatokat és a harmonizációs kulcsot.
Ha nem szeretne bizonyos mezőket bevinni az eredeti adatkészletből, távolítsa el őket az adatlapról, vagy hagyja üresen a részleteiket az elrendezési lapon. Mindkét esetben nem szerepelnek az ezüst adatmodellben.
Az azonos névvel, közzétételi dátummal és közzétevővel rendelkező adatkészleteket a rendszer duplikáltként kezeli.

A mintaadatkészlet használata

Az egészségügyi adatmegoldásokkal biztosított SDOH-mintaadatkészletek előre ki vannak töltve az összes előfeltételként szükséges információval, és elérhetők a OneLake-ben. Helyileg kibonthatja őket.

Adatkészletek feltöltése a Háló munkaterületre

Miután elkészültek az adatkészletek, válassza ki az alábbi két lehetőség egyikét a feltöltéshez. A 2. lehetőséget csak akkor használhatja, ha az SDOH-adatkészletek – átalakítások (előzetes verzió) mintaadatkészletet használja.

1. lehetőség: Az adatkészletek manuális feltöltése.
2. lehetőség: Az adatkészletek feltöltése szkript használatával.

Az adatkészletek manuális feltöltése

Az egészségügyi adatmegoldások környezetében válassza a healthcare#_msft_bronze lakehouse-t.
Nyissa meg az Ingest mappát. További információ: Mappaleírások.
Válassza a mappa neve melletti három pontot (...), majd válassza a Mappa feltöltése lehetőséget .
Töltse fel az adatkészleteket a helyi rendszerből. A OneLake fájlkezelővel keresse meg az adatkészleteket a következő elérési úton: <workspace name>\healthcare#.HealthDataManager\DMHSampleData\8SdohPublicDataset
Frissítse az Ingest mappát. Most már látnia kell az adatkészletfájlokat az SDOH almappában.

Az adatkészletek feltöltése szkript használatával

Fontos

Ezt a beállítást csak akkor használja, ha a megadott mintaadatkészletet használja.

Nyissa meg az egészségügyi adatmegoldások Háló munkaterületét.
Válassza a + Új elem lehetőséget.
Az Új elem panelen keresse meg és válassza a Jegyzetfüzet lehetőséget.

Másolja a következő kódrészletet a jegyzetfüzetbe:

workspace_id = '<workspace_id>' # Workspace ID. Retrieve the value from the healthcare#_msft_config_notebook.
one_lake_endpoint = "<OneLake_endpoint>" # OneLake endpoint. Retrieve the value from the healthcare#_msft_config_notebook.
solution_id = "<solution_id>" # Solution ID. Retrieve the value from the healthcare#_msft_config_notebook. 
bronze_lakehouse_id = "<bronze_lakehouse_id>" # To locate the bronze lakehouse ID, open the bronze lakehouse and check the URL in the browser's address bar: https://{baseurl}/lakehouse/{GUID}/details). The {GUID} value in the URL is the bronze lakehouse ID.

def copy_source_files_and_folders(source_path, destination_path):
   # List the contents of the source directory
   source_contents = mssparkutils.fs.ls(source_path)

   # List the contents of the destination directory
   try:
       destination_contents = mssparkutils.fs.ls(destination_path)
       destination_files = {item.path.split('/')[-1]: item.path for item in destination_contents}
   except Exception as e:
       print(f"Destination path {destination_path} does not exist or is empty. Creating the path.")
       destination_files = {}
       mssparkutils.fs.mkdirs(destination_path)

   # Copy each item inside the source directory to the destination directory
   for item in source_contents:
       item_path = item.path
       item_name = item_path.split('/')[-1]
       destination_item_path = f"{destination_path}/{item_name}"

       if item.isDir:
           # Recursively copy the contents of the directory
           copy_source_files_and_folders(item_path, destination_item_path)
       else:
           if item_name in destination_files:
               print(f"File already exists, skipping: {destination_item_path}")
           else:
               print(f"Creating new file: {destination_item_path}")
               mssparkutils.fs.cp(item_path, destination_item_path, recurse=True)

# Define the source and destination paths with placeholder values
data_manager_solution_path = f"abfss://{workspace_id}@{one_lake_endpoint}/{solution_id}"
data_manager_sample_data_path = f"{data_manager_solution_path}/DMHSampleData"

sdoh_csv_data_path = f"{data_manager_sample_data_path}/8SdohPublicDataset/csv"
sdoh_xlsx_data_path = f"{data_manager_sample_data_path}/8SdohPublicDataset/xlsx"

destination_path_csv = f"abfss://{workspace_id}@{one_lake_endpoint}/{bronze_lakehouse_id}/Files/Ingest/SDOH/CSV"
destination_path_xlsx = f"abfss://{workspace_id}@{one_lake_endpoint}/{bronze_lakehouse_id}/Files/Ingest/SDOH/XLSX"

# Copy the files along with their parent folders
copy_source_files_and_folders(sdoh_csv_data_path, destination_path_csv)
copy_source_files_and_folders(sdoh_xlsx_data_path, destination_path_xlsx)

Futtassa a jegyzetfüzetet. A minta SDOH-adatkészletek most már a kijelölt helyre kerülnek az Ingest mappában.

Az SDOH-adatkészletek most már készen állnak a betöltésre.

Megosztás a következőn keresztül: