ما هي غرف Azure Databricks النظيفة؟
تقدم هذه المقالة الغرف النظيفة، وهي ميزة Azure Databricks تستخدم Delta Sharing والحوسبة بلا خادم لتوفير بيئة آمنة ومحمية للخصوصية حيث يمكن لعدة أطراف العمل معا على بيانات المؤسسة الحساسة دون الوصول المباشر إلى بيانات بعضها البعض.
المتطلبات
لكي تكون مؤهلا لاستخدام غرف نظيفة، يجب عليك:
- التسجيل والموافقة على المعاينة العامة. اتصل بفريق حساب Azure Databricks لطلب الوصول.
- لديك حساب تم تمكينه للحوسبة بلا خادم. راجع تمكين الحوسبة بلا خادم.
- لديك مساحة عمل ممكنة ل Unity Catalog. راجع تمكين مساحة عمل كتالوج Unity.
كيف تعمل الغرف النظيفة؟
عند إنشاء غرفة نظيفة، يمكنك إنشاء ما يلي:
- عنصر غرفة نظيفة قابل للتأمين في مخزن بيانات تعريف كتالوج Unity.
- الغرفة النظيفة "المركزية"، وهي بيئة سريعة الزوال معزولة تديرها Databricks.
- عنصر غرفة نظيفة قابل للتأمين في مخزن بيانات تعريف كتالوج Unity الخاص بالمتعاون.
تتم مشاركة الجداول ووحدات التخزين (البيانات غير الجدولية) ودفاتر الملاحظات التي يشاركها المتعاونون في الغرفة النظيفة، باستخدام Delta Sharing، مع الغرفة النظيفة المركزية فقط.
لا يمكن للمتعاونين رؤية البيانات في جداول ووحدات تخزين المتعاونين الآخرين، ولكن يمكنهم رؤية أسماء الأعمدة وأنواع الأعمدة، ويمكنهم تشغيل التعليمات البرمجية لدفتر الملاحظات المعتمدة التي تعمل عبر الجداول ووحدات التخزين. يتم تشغيل رمز دفتر الملاحظات في الغرفة النظيفة المركزية.
كيف تضمن الغرف النظيفة بيئة عدم الثقة؟
نموذج Databricks Clean Rooms هو "عدم الثقة". يتمتع جميع المتعاونين في غرفة نظيفة بلا ثقة بامتيازات متساوية، بما في ذلك منشئ الغرفة النظيفة. تم تصميم الغرف النظيفة لمنع تشغيل التعليمات البرمجية غير المصرح بها والمشاركة غير المصرح بها للبيانات. على سبيل المثال، يجب على جميع المتعاونين الموافقة على دفتر ملاحظات قبل تشغيله. يتم فرض هذه الثقة ضمنيا عن طريق منع المتعاون من تشغيل أي دفتر ملاحظات أنشأه بنفسه: يمكنك فقط تشغيل دفتر ملاحظات أنشأه المتعاون الآخر.
ضمانات أو قيود إضافية
توجد الضمانات التالية بالإضافة إلى عملية الموافقة الضمنية على دفتر الملاحظات المذكورة أعلاه:
بعد إنشاء غرفة نظيفة، يتم تأمينها لمنع المتعاونين الجدد من الانضمام إلى الغرفة النظيفة.
إذا قام أي متعاون بحذف الغرفة النظيفة، تكون الغرفة النظيفة المركزية فارغة ولا يمكن لأي مستخدم تشغيل مهام الغرفة النظيفة.
خلال المعاينة العامة، تقتصر كل غرفة نظيفة على اثنين من المتعاونين.
لا يمكنك إعادة تسمية الغرفة النظيفة.
يجب أن يكون اسم الغرفة النظيفة فريدا في metastore لكل متعاون، بحيث يمكن لجميع المتعاونين الرجوع إلى نفس الغرفة النظيفة بشكل لا لبس فيه.
لا يتم نشر التعليقات على الغرفة النظيفة القابلة للتأمين في مساحة عمل كل متعاون إلى المتعاونين الآخرين.
ما الذي تتم مشاركته مع المتعاونين الآخرين؟
- تنظيف اسم الغرفة.
- سحابة ومنطقة الغرفة النظيفة المركزية.
- اسم مؤسستك (الذي يمكن أن يكون أي اسم تختاره).
- معرف مشاركة الغرفة النظيفة (معرف metastore العمومي + معرف مساحة العمل + عنوان البريد الإلكتروني للمستخدم).
- الأسماء المستعارة للجداول أو وحدات التخزين المشتركة.
- بيانات تعريف العمود (اسم العمود أو الاسم المستعار والنوع).
- دفاتر الملاحظات (للقراءة فقط).
- تنظيف جدول نظام أحداث الغرفة.
- سجل التشغيل، بما في ذلك:
- اسم دفتر الملاحظات قيد التشغيل
- المتعاون الذي قام بتشغيل دفتر الملاحظات (وليس المستخدم).
- حالة تشغيل دفتر الملاحظات.
- وقت بدء تشغيل دفتر الملاحظات.
ما الذي تتم مشاركته مع الغرفة النظيفة المركزية؟
كل ما هو مدرج في القسم السابق.
الجداول ووحدات التخزين ودفاتر الملاحظات للقراءة فقط.
يتم تسجيل الجداول ووحدات التخزين في مخزن metastore للغرفة النظيفة المركزية مع أي أسماء مستعارة متوفرة. تتم مشاركة الجداول ووحدات التخزين ودفاتر الملاحظات طوال دورة حياة الغرفة النظيفة.
القيود
أثناء المعاينة العامة، تنطبق القيود التالية:
- لا يوجد دعم لإيقاف تشغيل الإنترنت في الغرف النظيفة لمنع التعليمات البرمجية الضارة من تسرب البيانات إلى موقع خارجي.
- لا توجد مكتبات Scala لبيانات اعتماد الخدمة مضمنة في إصدار وقت تشغيل Databricks المطلوب.
الحصص النسبية للموارد
يفرض Azure Databricks حصصا نسبية للموارد على جميع الكائنات القابلة للتأمين للغرفة النظيفة. يتم سرد هذه الحصص النسبية في حدود الموارد. إذا كنت تتوقع تجاوز حدود الموارد هذه، فاتصل بفريق حساب Azure Databricks.
يمكنك مراقبة استخدام الحصة النسبية باستخدام واجهات برمجة تطبيقات الحصص النسبية لمورد كتالوج Unity. راجع مراقبة استخدامك لحصص موارد كتالوج Unity.