تشرح هذه المقالة كيفية تكوين واستخدام كتالوج Unity لإدارة البيانات في مساحة عمل Azure Databricks. وهو مخصص بشكل أساسي لمسؤولي مساحة العمل الذين يستخدمون كتالوج Unity للمرة الأولى.
بنهاية هذه المقالة سيكون لديك:
مساحة عمل ممكنة ل "كتالوج Unity".
الحساب الذي لديه حق الوصول إلى كتالوج Unity.
المستخدمون الذين لديهم إذن للوصول إلى الكائنات وإنشاءها في كتالوج Unity.
للحصول على مفاهيم كتالوج Unity الرئيسية ومقدمة حول كيفية عمل كتالوج Unity، راجع ما هو كتالوج Unity؟.
لمعرفة أفضل طريقة لاستخدام كتالوج Unity لتلبية احتياجات إدارة البيانات، راجع أفضل ممارسات كتالوج Unity.
ملاحظة
إذا كنت ترغب في ترقية مساحة عمل موجودة غير Unity-Catalog إلى كتالوج Unity، فقد تستفيد من استخدام UCX، وهو مشروع Databricks Labs يوفر مجموعة من مهام سير العمل والأدوات المساعدة لترقية الهويات والأذونات والجداول إلى كتالوج Unity. راجع استخدام الأدوات المساعدة UCX لترقية مساحة العمل إلى كتالوج Unity.
نظرة عامة على تمكين كتالوج Unity
لاستخدام كتالوج Unity، يجب تمكين مساحات عمل Azure Databricks كتالوج Unity، مما يعني أن مساحات العمل مرفقة بمخزن بيانات تعريف كتالوج Unity، وهي حاوية المستوى الأعلى لبيانات تعريف كتالوج Unity.
تعتمد الطريقة التي يقوم بها المسؤولون بإعداد كتالوج Unity على ما إذا كانت مساحة العمل قد تم تمكينها تلقائيا ل Unity Catalog أو تتطلب تمكينا يدويا.
التمكين التلقائي للكتالوج Unity
بدأت Databricks في تمكين مساحات عمل جديدة ل "كتالوج Unity" تلقائيا في 9 نوفمبر 2023، مع متابعة الإطلاق التدريجي عبر الحسابات. تحتوي مساحات العمل التي تم تمكينها تلقائيا على الخصائص التالية:
مخزن بيانات تعريف كتالوج Unity الذي تم توفيره تلقائيا (ما لم يكن هناك مخزن بيانات تعريف كتالوج Unity موجود بالفعل لمنطقة مساحة العمل ويتم تمكين metastore لتعيين مساحة العمل التلقائي).
الامتيازات الافتراضية لمسؤولي مساحة العمل، مثل القدرة على إنشاء كتالوج أو اتصال قاعدة بيانات خارجية.
لا يوجد مسؤول metastore (ما لم يتم استخدام مخزن بيانات تعريف كتالوج Unity موجود وتم تعيين مسؤول metastore بالفعل).
لا يوجد تخزين على مستوى metastore للجداول المدارة ووحدات التخزين المدارة (ما لم يتم استخدام مخزن بيانات تعريف كتالوج Unity موجود مع تخزين على مستوى metastore).
كتالوج مساحة العمل، والذي، عند توفيره في الأصل، يسمى باسم مساحة العمل الخاصة بك.
يمكن لجميع المستخدمين في مساحة العمل إنشاء أصول في default المخطط في هذا الكتالوج. بشكل افتراضي، يرتبط هذا الكتالوج بمساحة العمل الخاصة بك، مما يعني أنه لا يمكن الوصول إليه إلا من خلال مساحة العمل الخاصة بك. يتم نشر التوفير التلقائي لكتالوج مساحة العمل عند إنشاء مساحة العمل تدريجيا عبر الحسابات.
ستعمل هذه التكوينات الافتراضية بشكل جيد لمعظم مساحات العمل، ولكن يمكن تعديلها جميعا من قبل مسؤول مساحة العمل أو مسؤول الحساب. على سبيل المثال، يمكن لمسؤول الحساب تعيين مسؤول metastore وإنشاء تخزين على مستوى metastore، ويمكن لمسؤول مساحة العمل تعديل اسم كتالوج مساحة العمل والوصول إليه.
ماذا لو لم يتم تمكين مساحة العمل الخاصة بي لكتالوج Unity تلقائيا؟
إذا لم يتم تمكين مساحة العمل الخاصة بك ل Unity Catalog تلقائيا، يجب على مسؤول الحساب أو مسؤول metastore إرفاق مساحة العمل يدويا بمخزن بيانات تعريف كتالوج Unity في نفس المنطقة. إذا لم يكن هناك مخزن بيانات تعريف كتالوج Unity في المنطقة، فيجب على مسؤول الحساب إنشاء واحد. للحصول على الإرشادات، راجع إنشاء مخزن بيانات تعريف كتالوج Unity.
كيف أعمل معرفة ما إذا كانت مساحة العمل الخاصة بي قد تم تمكينها لكتالوج Unity؟
كيف أعمل تعرف ما إذا كانت مساحة العمل تتضمن كتالوج مساحة عمل؟
تحتوي بعض مساحات العمل الجديدة على كتالوج مساحة عمل، والذي، عند توفيره في الأصل، يسمى باسم مساحة العمل الخاصة بك. لتحديد ما إذا كانت مساحة العمل تحتوي على مساحة عمل، انقر فوق كتالوج في الشريط الجانبي لفتح مستكشف الكتالوج، وابحث عن كتالوج يستخدم اسم مساحة العمل كاسم الكتالوج.
ملاحظة
كتالوج مساحة العمل مثل أي كتالوج آخر في كتالوج Unity: يمكن لمسؤول مساحة العمل تغيير اسمه أو تغيير ملكيته أو حتى حذفه. ومع ذلك، مباشرة بعد إنشاء مساحة العمل، فإنها تحمل اسم مساحة العمل
قبل البدء
قبل أن تبدأ المهام الموضحة في هذه المقالة، يجب أن تتعرف على مفاهيم كتالوج Unity الأساسية، بما في ذلك المخازن الوصفية وأدوار المسؤول والتخزين المدار. راجع ما هو كتالوج Unity؟.
الخطوة 1: تأكد من تمكين مساحة العمل الخاصة بك للكتالوج Unity
في هذه الخطوة، يمكنك تحديد ما إذا كانت مساحة العمل الخاصة بك ممكنة بالفعل لكتالوج Unity، حيث يتم تعريف التمكين على أنه وجود metastore كتالوج Unity مرفق بمساحة العمل. إذا لم يتم تمكين مساحة العمل لكتالوج Unity، يجب تمكين مساحة العمل لكتالوج Unity يدويا. راجع الخطوات التالية إذا لم يتم تمكين مساحة العمل الخاصة بك في كتالوج Unity.
للتأكيد، قم بأحد الإجراءات التالية.
استخدم وحدة تحكم الحساب لتأكيد تمكين كتالوج Unity
بصفتك مسؤول حساب Azure Databricks، سجل الدخول إلى وحدة تحكم الحساب.
انقر فوق مساحات العمل.
ابحث عن مساحة العمل وتحقق من عمود Metastore . إذا كان اسم metastore موجودا، يتم إرفاق مساحة العمل الخاصة بك بمخزن بيانات تعريف كتالوج Unity وبالتالي تمكين كتالوج Unity.
تشغيل استعلام SQL لتأكيد تمكين كتالوج Unity
قم بتشغيل استعلام SQL التالي في محرر استعلام SQL أو دفتر ملاحظات مرفق بمجموعة تستخدم وضع الوصول المشترك أو الفردي للمستخدم . راجع أوضاع الوصول. لا يلزم وجود دور مسؤول.
SQL
SELECT CURRENT_METASTORE();
إذا أرجع الاستعلام معرف metastore كما يلي، إرفاق مساحة العمل الخاصة بك بمخزن بيانات تعريف كتالوج Unity وبالتالي تمكينها ل Unity Catalog.
الخطوات التالية إذا لم يتم تمكين مساحة العمل الخاصة بك للكتالوج Unity
إذا لم يتم تمكين مساحة العمل لكتالوج Unity (مرفق بمخزن بيانات التعريف)، فإن الخطوة التالية تعتمد على ما إذا كان لديك بالفعل مخزن بيانات تعريف كتالوج Unity محدد لمنطقة مساحة العمل الخاصة بك أم لا:
إذا كان حسابك يحتوي بالفعل على مخزن بيانات تعريف كتالوج Unity محدد لمنطقة مساحة العمل الخاصة بك، يمكنك ببساطة إرفاق مساحة العمل الخاصة بك إلى metastore الموجود. انتقل إلى Enable your workspace for Unity Catalog.
إذا لم يكن هناك مخزن بيانات تعريف كتالوج Unity معرف لمنطقة مساحة العمل الخاصة بك، يجب إنشاء metastore ثم إرفاق مساحة العمل. انتقل إلى Create a Unity Catalog metastore.
عند تمكين مساحة العمل الخاصة بك ل Unity Catalog، انتقل إلى الخطوة التالية.
الخطوة 2: إضافة مستخدمين وتعيين دور مسؤول مساحة العمل
تتم إضافة المستخدم الذي يقوم بإنشاء مساحة العمل تلقائيا كمستخدم مساحة عمل مع دور مسؤول مساحة العمل (أي مستخدم في admins المجموعة المحلية لمساحة العمل). بصفتك مسؤول مساحة العمل، يمكنك إضافة المستخدمين ودعوتهم إلى مساحة العمل، ويمكن تعيين دور مسؤول مساحة العمل للمستخدمين الآخرين، ويمكن إنشاء كيانات الخدمة والمجموعات.
يتمتع مسؤولو الحساب أيضا بالقدرة على إضافة مستخدمين وكيانات خدمة ومجموعات إلى مساحة العمل الخاصة بك. يمكنهم منح مسؤول الحساب وأدوار مسؤول metastore.
(مستحسن) مزامنة الهويات على مستوى الحساب من معرف Microsoft Entra
يمكن أن يكون من الملائم إدارة وصول المستخدم إلى Azure Databricks عن طريق إعداد التوفير من Microsoft Entra ID. للحصول على إرشادات كاملة، راجع مزامنة المستخدمين والمجموعات من معرف Microsoft Entra.
الخطوة 3: إنشاء مجموعات أو مستودعات SQL يمكن للمستخدمين استخدامها لتشغيل الاستعلامات وإنشاء الكائنات
لتشغيل أحمال عمل كتالوج Unity، يجب أن تتوافق موارد الحساب مع متطلبات أمان معينة. لا يمكن لموارد الحوسبة غير المتوافقة الوصول إلى البيانات أو الكائنات الأخرى في كتالوج Unity. تتوافق مستودعات SQL دائما مع متطلبات كتالوج Unity، ولكن بعض أوضاع الوصول إلى نظام المجموعة لا تتوافق. راجع أوضاع الوصول.
بصفتك مسؤول مساحة العمل، يمكنك اختيار جعل إنشاء الحساب يقتصر على المسؤولين أو السماح للمستخدمين بإنشاء مستودعات ومجموعات SQL الخاصة بهم. يمكنك أيضا إنشاء نهج نظام المجموعة التي تمكن المستخدمين من إنشاء مجموعاتهم الخاصة، باستخدام المواصفات المتوافقة مع كتالوج Unity التي تفرضها. راجع حساب الأذونات وإنشاء نهج الحوسبة وإدارتها.
الخطوة 4: منح امتيازات للمستخدمين
لإنشاء كائنات والوصول إليها في كتالوجات ومخططات كتالوج Unity، يجب أن يكون لدى المستخدم إذن للقيام بذلك. يصف هذا القسم امتيازات المستخدم والمسؤول الممنوحة على بعض مساحات العمل بشكل افتراضي ويصف كيفية منح امتيازات إضافية.
امتيازات المستخدم الافتراضية
تتمتع بعض مساحات العمل بامتيازات افتراضية للمستخدم (غير المسؤول) عند التشغيل:
إذا تم تشغيل مساحة العمل الخاصة بك باستخدام كتالوج مساحة عمل تم توفيره تلقائيا، يمكن لجميع مستخدمي مساحة العمل إنشاء كائنات في مخطط كتالوج default مساحة العمل.
إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog يدويا، فإنه يحتوي على كتالوج main تم توفيره تلقائيا.
يتمتع مستخدمو مساحة العمل بالامتياز USE CATALOG على الكتالوج main ، والذي لا يمنح القدرة على إنشاء أو تحديد أي كائنات في الكتالوج، ولكنه شرط أساسي للعمل مع أي كائنات في الكتالوج. يمتلك المستخدم الذي أنشأ metastore الكتالوج main بشكل افتراضي ويمكنه نقل الملكية ومنح حق الوصول إلى مستخدمين آخرين.
إذا تمت إضافة تخزين metastore بعد إنشاء metastore، فلن يتم توفير أي main كتالوج.
لا تحتوي مساحات العمل الأخرى على كتالوجات تم إنشاؤها بشكل افتراضي ولا يتم تمكين امتيازات المستخدم غير المسؤول بشكل افتراضي. يجب على مسؤول مساحة العمل إنشاء الكتالوج الأول ومنح المستخدمين حق الوصول إليه والعناصر الموجودة فيه. انتقل إلى الخطوة 5: إنشاء كتالوجات ومخططات جديدة قبل إكمال الخطوات الواردة في هذا القسم.
امتيازات المسؤول الافتراضية
تتمتع بعض مساحات العمل بامتيازات مسؤول مساحة العمل الافتراضية عند التشغيل:
إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog تلقائيا:
يمكن لمسؤولي مساحة العمل إنشاء كتالوجات وعناصر جديدة في كتالوجات جديدة، ومنح حق الوصول إليها.
لا يوجد مسؤول metastore بشكل افتراضي.
يمتلك مسؤولو مساحة العمل كتالوج مساحة العمل (إذا كان هناك كتالوج) ويمكنهم منح حق الوصول إلى هذا الكتالوج وأي كائنات في هذا الكتالوج.
إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog يدويا:
لا يملك مسؤولو مساحة العمل امتيازات كتالوج Unity خاصة بشكل افتراضي.
يجب أن يكون مسؤولو Metastore موجودين ويمكنهم إنشاء أي كائن كتالوج Unity ويمكنهم ملكية أي كائن كتالوج Unity.
لبدء استخدام كتالوج Unity، يجب أن يكون لديك كتالوج واحد على الأقل معرف. الكتالوجات هي الوحدة الأساسية لعزل البيانات وتنظيمها في كتالوج Unity. تعيش جميع المخططات والجداول في الكتالوجات، وكذلك وحدات التخزين وطرق العرض والنماذج.
لا تحتوي بعض مساحات العمل على كتالوج يتم توفيره تلقائيا. لاستخدام كتالوج Unity، يجب على مسؤول مساحة العمل إنشاء الكتالوج الأول لمساحات العمل هذه.
تتمتع مساحات العمل الأخرى بإمكانية الوصول إلى كتالوج تم توفيره مسبقا يمكن للمستخدمين الوصول إليه لبدء الاستخدام (إما كتالوج مساحة العمل أو الكتالوج main ، اعتمادا على كيفية تمكين مساحة العمل الخاصة بك للكتالوج Unity). أثناء إضافة المزيد من البيانات والأصول الذكاء الاصطناعي إلى Azure Databricks، يمكنك إنشاء كتالوجات إضافية لتجميع هذه الأصول بطريقة تسهل إدارة البيانات منطقيا.
للحصول على توصيات حول أفضل طريقة لاستخدام الكتالوجات والمخططات لتنظيم بياناتك وأصول الذكاء الاصطناعي، راجع أفضل ممارسات كتالوج Unity.
بصفتك مسؤول metastore أو مسؤول مساحة العمل (مساحات العمل الممكنة تلقائيا فقط) أو مستخدما آخر يتمتع بالامتياز CREATE CATALOG ، يمكنك إنشاء كتالوجات جديدة في metastore. عند القيام بذلك، يجب عليك:
إنشاء تخزين مدار للكتالوج الجديد.
التخزين المدار هو موقع تخزين مخصص في حساب Azure للجداول المدارة ووحدات التخزين المدارة. يمكنك تعيين التخزين المدار إلى metastore والكتالوجات والمخططات. عندما يقوم مستخدم بإنشاء جدول، يتم تخزين البيانات في موقع التخزين الأقل في التسلسل الهرمي. على سبيل المثال، إذا تم تعريف موقع تخزين لمخزن بيانات التعريف والكتالوج ولكن ليس المخطط، يتم تخزين البيانات في الموقع المحدد للكتالوج.
توصي Databricks بتعيين التخزين المدار على مستوى الكتالوج، لأن الكتالوجات تمثل عادة وحدات منطقية لعزل البيانات. إذا كنت مرتاحا للبيانات الموجودة في كتالوجات متعددة تشترك في نفس موقع التخزين، يمكنك تعيين موقع التخزين على مستوى metastore افتراضيا. إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog تلقائيا، فلا يوجد تخزين على مستوى metastore بشكل افتراضي. لدى مسؤول الحساب خيار تكوين التخزين على مستوى metastore. راجع تحديد موقع تخزين مدار في كتالوج Unity وإضافة تخزين مدار إلى metastore موجود.
لمزيد من الأمثلة، بما في ذلك إرشادات إنشاء كتالوجات باستخدام مستكشف الكتالوجات، راجع إنشاء كتالوجات.
إنشاء مخطط
تمثل المخططات مجموعات أكثر دقة (مثل الأقسام أو المشاريع، على سبيل المثال) من الكتالوجات. يتم تضمين جميع الجداول وعناصر كتالوج Unity الأخرى في الكتالوج في المخططات. بصفتك مالك كتالوج جديد، قد تحتاج إلى إنشاء المخططات في الكتالوج. ولكن قد ترغب بدلا من ذلك في تفويض القدرة على إنشاء مخططات للمستخدمين الآخرين، عن طريق منحهم الامتياز CREATE SCHEMA في الكتالوج.
إذا تم تمكين مساحة العمل الخاصة بك ل Unity Catalog تلقائيا، فلن يتم تعيين أي دور مسؤول metastore افتراضيا. يتمتع مسؤولو Metastore ببعض الامتيازات التي لا يتمتع بها مسؤولو مساحة العمل.
قد تحتاج إلى تعيين مسؤول metastore إذا كنت بحاجة إلى:
للحصول على معلومات مفصلة حول دور مسؤول metastore وإرشادات تعيينه، راجع تعيين مسؤول metastore.
ترقية الجداول في Hive metastore إلى جداول كتالوج Unity
إذا كانت مساحة العمل الخاصة بك في الخدمة قبل تمكينها لكتالوج Unity، فمن المحتمل أن تحتوي على Hive metastore يحتوي على البيانات التي تريد متابعة استخدامها. توصي Databricks بترحيل الجداول التي يديرها Hive metastore إلى مخزن بيانات تعريف كتالوج Unity.
إذا كانت مساحة العمل الخاصة بك تحتوي على Hive metastore يحتوي على بيانات تريد متابعة استخدامها، واختر عدم اتباع التوصية لترقية الجداول التي يديرها Hive metastore إلى مخزن بيانات تعريف كتالوج Unity، يمكنك الاستمرار في العمل مع البيانات في Hive metastore جنبا إلى جنب مع البيانات في Metastore كتالوج Unity.
يتم تمثيل Hive metastore في واجهات كتالوج Unity ككتالوج يسمى hive_metastore. من أجل متابعة العمل مع البيانات في Hive metastore دون الحاجة إلى تحديث الاستعلامات لتحديد الكتالوج hive_metastore ، يمكنك تعيين الكتالوج الافتراضي لمساحة العمل إلى hive_metastore. راجع إدارة الكتالوج الافتراضي.
اعتمادا على وقت تمكين مساحة العمل الخاصة بك ل Unity Catalog، قد يكون hive_metastoreالكتالوج الافتراضي بالفعل .
(اختياري) إنشاء تخزين على مستوى metastore
على الرغم من أن Databricks يوصي بإنشاء موقع تخزين مدار منفصل لكل كتالوج في metastore الخاص بك (ويمكنك القيام بنفس الشيء للمخططات)، يمكنك بدلا من ذلك اختيار إنشاء موقع مدار على مستوى metastore واستخدامه كمساحة تخزين لكتالوجات ومخططات متعددة.
إذا كنت تريد تخزينا على مستوى metastore، يجب عليك أيضا تعيين مسؤول metastore. راجع (اختياري) تعيين دور مسؤول metastore.
التخزين على مستوى Metastore مطلوب فقط إذا كان ما يلي صحيحا:
تشرح هذه الوحدة كيفية مشاركة التقارير ومجموعات البيانات مع المستخدمين وكيفية إنشاء استراتيجية توزيع منطقية بالنسبة إليك وإلى مؤسستك. علاوة على ذلك، سوف تتعرف على نسب البيانات في Microsoft Power BI.
إدارة البنية الأساسية لقاعدة بيانات SQL Server لقواعد البيانات الارتباطية السحابية والمحلية والمختلطة باستخدام عروض قاعدة البيانات الارتباطية ل Microsoft PaaS.