نظرة عامة على المحددات الاجتماعية لمجموعات البيانات الصحية
بشكل عام، تنشر الوكالات الحكومية وغيرها من المصادر الرسمية، مثل الجامعات، المحددات الاجتماعية لمجموعات بيانات الصحة (SDOH). تأتي مجموعات البيانات هذه بجميع التنسيقات والهياكل ولا يتم تسويتها للاستخدام مع بيانات SDOH الأخرى. يمكن أن تجعل التنسيقات والهياكل المختلفة من الصعب عليك استخدامها كجزء من عملياتك التحليلية. والسبب هو أنك بحاجة إلى المرور عبر كل مجموعة بيانات وتحديد كيفية إقرانها ببيانات الرعاية الصحية الخاصة بك للحصول على صورة كاملة لكيفية تأثير SDOH على مرضاك.
إعداد مجموعات البيانات للاستيعاب
مجموعات بيانات SDOH - القدرة على التحولات هي جزء من حلول بيانات الرعاية الصحية ل Microsoft Fabric. يمكنه استيعاب بيانات SDOH من الملفات الموجودة في جدول بيانات Microsoft Excel Open XML (XLSX) أو Excel (XLS) أو تنسيق القيم المفصولة بفواصل (CSV). باستخدام مسار التحويل ودفاتر الملاحظات التي تحتوي على منطق التحويل، يمكنك استيعاب هذه البيانات في مساحة عمل OneLake التي تحتوي على بيانات الرعاية الصحية الأخرى.
عند إعداد مجموعات البيانات الأولية للاستيعاب، يقوم النظام بإعداد مجموعة موحدة من بيانات التعريف التي تسمح لمنطق مسار الاستيعاب لاستيعاب مجموعة بيانات SDOH الخاصة بك في OneLake. تتضمن بيانات التعريف المطلوبة التخطيط، وتكوين الموقع، وDatasetMetadata. عند استخدام تنسيق CSV، يوفر النظام بيانات التعريف كملفات CSV منفصلة. عند استخدام تنسيق XLSX، تكون بيانات التعريف أوراق عمل منفصلة في ملف XLSX.
يجب توفير التفاصيل التالية لعناصر بيانات التعريف DatasetMetadata و Layout و LocationConfiguration:
DataSetMetadata - توفير اسم مجموعة البيانات والناشر وتاريخ النشر.
التخطيط - حدد مقاييس SDOH المختصرة، بما في ذلك اسم المحدد الاجتماعي والوصف والوحدة والفئات. جميع الأعمدة مطلوبة لوصف التخطيط. تحتاج فقط إلى تعريف الأعمدة من أوراق عمل البيانات التي تحتوي على المقاييس التي تستخدمها. على سبيل المثال، لا تقوم بتعريف المدينة أو الولاية في التخطيط؛ يجب عليك تعريفها في تكوين الموقع.
الفئةوالفئة الفرعية - تحتوي هذه الأعمدة على قيم تساعدك على تصنيف البيانات إلى مقاييس قابلة للاستخدام. يمكنك تسمية الفئة والفئة الفرعية حسب الاقتضاء لمجموعة البيانات.
SocialDeterminantDescription - في هذا العمود، يمكنك تقديم وصف للمحدد الاجتماعي.
SocialDeterminantName - لهذا العمود في ورقة عمل البيانات، تأكد من تطابق الاسم؛ يجب ألا يكون لديك ورقتا عمل بنفس اسم العمود.
الوحدات - استخدم هذا العمود لوصف ما هو العمود من منظور نوع البيانات. لا تتوفر قائمة ثابتة من القيم لمساعدتك في توفير وصف للبيانات الموجودة في العمود. على سبيل المثال، قد تكون النسبة المئوية أو % التغيير طريقتين لوصف عمود يحتوي على نسبة مئوية.
HarmonizationKey - يحتوي هذا العمود على قيمة مهمة يجب مراعاتها لأنه يسمح لك باستخدام مفتاح شائع لوصف أنواع مماثلة من البيانات عبر الناشرين. تتيح لك هذه القيمة تحديد المقاييس ذات الصلة والاستعلام عنها واستخدامها لإثراء بيانات الرعاية الصحية الخاصة بك بغض النظر عن ناشر مجموعة بيانات SDOH.
LocationConfiguration - حدد معلومات الموقع في مجموعة البيانات، مثل سلسلة معالجة المعلومات الفيدرالية للولاية والمقاطعة والمقاطعة (FIPS).
يمكنك استكشاف الأمثلة السابقة من خلال النظر في إدخال FoodEnvironment_USDA_2017 في نموذج البيانات. يتضمن مجلد البيانات النموذجي في lakehouse مجموعات بيانات عامة متعددة تحتوي بالفعل على بيانات التعريف المطلوبة للابتلاع التي يمكنك استيعابها على الفور في OneLake للاستخدام. يمكنك أيضا جمع مجموعات بيانات SDOH الخاصة بك وتكوينها لتكون متوافقة مع الاستيعاب عن طريق إنشاء بيانات التعريف السابقة. في وحدة إعداد مجموعات البيانات العامة في مجموعات بيانات SDOH - التحويلات ، يمكنك التعرف على مجموعات البيانات التي تم تكوينها مسبقا وكيفية استخدامها.
بالإضافة إلى ذلك، يمكنك إدخال مجموعة مواقع مخصصة. على سبيل المثال، في مجموعة بيانات البيئة الغذائية، يحسب النظام عدد متاجر البقالة (GROC16) على مستوى المقاطعة. إذا كنت تريد حسابه على مستوى تقسيم فرعي، مثل مقاطعة تقسيم > الولاية>، يمكنك تحميل مجموعة بيانات تقوم بتعيين تقسيم فرعي إلى مقاطعة في المجلد ReferenceData/SDOH/LocationDatasets ثم استخدامها لربط الاثنين. بعد ربط مجموعة البيانات، يمكنك تجميع عدد متاجر البقالة على مستوى التقسيم الفرعي.
استيعاب مجموعات البيانات
مجموعات بيانات SDOH - تستخدم إمكانية التحويلات عملية مماثلة للقدرات الأخرى لاستيعاب مجموعات البيانات في OneLake. لاستيعاب مجموعة بيانات، انسخ ملف CSV أو XLS أو XLSX في مجلد Ingest في ملفات المستودع البرونزي. يعد مجلد Ingest جزءا من بنية مجلد موحدة تتم مشاركتها عبر الإمكانات المختلفة، ويحتوي على موقع SDOH محدد لوضع ملفات مجموعة بيانات SDOH. لمزيد من المعلومات حول البنية والمجلدات الرئيسية، راجع بنية المجلد الموحد. يمكنك وضع الملفات في بنية مجلد Ingest يدويا باستخدام مستكشف الملفات OneLake أو باستخدام برنامج نصي Python من دفتر ملاحظات.
مع وضع الملفات في بنية مجلد Ingest ، يمكنك تشغيل msft_sdoh_pipeline لاستيعاب البيانات. يحول هذا المسار البيانات من مستودع البرونز إلى مستودع الفضة.
تظهر الصورة التالية مسار استيعاب SDOH.
عند تشغيل خط الأنابيب، تشير علامة الاختيار الخضراء إلى النجاح. لاحظ فشل دفتر الملاحظات الثاني في المثال. تأكد من مراجعة الأخطاء ثم إعادة تشغيل خط الأنابيب بعد تصحيح المشكلة المحددة.
دفاتر الملاحظات في سير العمليات هي كما يلي:
raw_process_movement - يستخدم دفتر الملاحظات هذا مكتبة حلول بيانات الرعاية الصحية لاستخراج ملفات ZIP ونقل الملفات لطرائق حلول بيانات الرعاية الصحية المتعددة، والتي تحتوي على مساحات أسماء وملحقات ملفات مختلفة. يستخرج إطار العمل هذا ملفات ZIP وينقل الملفات استنادًا إلى تكوين "file_orchestration_config"، والذي يحتوي على تفاصيل التعيين، مثل النمط، تنسيق النمط، والامتداد. كجزء من هذه الخطوة، ينسخ النظام الملفات إلى بنية مجلد العملية الخاصة بصيغة SDOH، مثل \ملفات\عملية\SDOH<تنسيق ملفات><اسم الناشر><المجلدات الخاصة بمجموعة البيانات>.
ملاحظة
يتعامل النظام مع مجموعات البيانات التي لها نفس الاسم والناشر والتاريخ المنشور على أنها مكررة. يتخطى المسار مجموعات البيانات المكررة، ما يؤدي إلى عدم تحميل أي بيانات. إذا قمت ب استيعاب نفس مجموعة البيانات أكثر من مرة، تبقى مجموعة البيانات في مجلد Ingest ولا تنتقل إلى المجلد Failed بسبب عدم حدوث فشل.
sdoh_bronze_ingestion - يسهل دفتر الملاحظات هذا استيعاب مجموعات البيانات العامة SDOH في جدول في اللايكهاوس البرونزية. تملأ هذه الخطوة بيانات التعريف والتخطيط والموقع ومعلومات البيانات في جدول SdohDatasets في المستودع البرونزي بتنسيق جدول دلتا. يستخدم النظام معلومات التخطيط في ملفات مجموعة بيانات SDOH لملء عمود datasetLayout في الجدول. تملأ بيانات التعريف ومعلومات الموقع في عمود datasetMetadata، وتملأ بيانات مجموعة البيانات الفعلية في عمود datasetRowContent. يمكن أن يساعدك عمود datasetName على فهم مجموعة البيانات المصدر لصف معين.
تظهر لقطة الشاشة التالية مثالا لبيانات جدول المستودع البرونزي بعد استيعاب الملف .
sdoh_silver_ingestion - يقوم دفتر الملاحظات هذا بتحويل مجموعات البيانات العامة SDOH من المستودع البرونزي ويدخل البيانات إلى مستودع الفضة. كجزء من هذا التحول، يحول النظام جداول دلتا إلى نموذج بيانات معتمد على نموذج بيانات الصناعة (IDM) في بحيرة البيت الفضية. تقوم هذه الخطوة بتطبيع البيانات في البحيرة البرونزية مع الحفاظ على سياق الجداول المقابلة. ونتيجة لذلك، يمكنك تحديد البيانات أو الاستعلام عنها باستخدام بيانات التعريف التي تم تسويتها التي قمت بتكوينها.
في الوحدة التالية، يمكنك تحميل مجموعة بيانات تم إنشاؤها مسبقا في OneLake.