مشاركة عبر

إنشاء كتالوجات

  • مقالة

توضح هذه المقالة كيفية إنشاء كتالوجات في كتالوج Unity. يحتوي الكتالوج على مخططات (قواعد بيانات)، ويحتوي المخطط على جداول وطرق عرض ووحدات تخزين ونماذج ووظائف.

لمعرفة المزيد حول الكتالوجات، راجع ما هي الكتالوجات في Azure Databricks؟.

إشعار

لمعرفة كيفية إنشاء كتالوج خارجي، كائن كتالوج Unity يعكس قاعدة بيانات في نظام بيانات خارجي، راجع إنشاء كتالوج خارجي. راجع أيضا إدارة الكتالوجات الخارجية والعمل معها.

المتطلبات

لإنشاء كتالوج، بغض النظر عن نوع الكتالوج:

  • يجب أن تكون مسؤول Azure Databricks metastore أو أن يكون لديك الامتياز CREATE CATALOG على metastore.
  • يجب أن يكون مورد الحساب الذي تستخدمه لتشغيل دفتر ملاحظات لإنشاء كتالوج على Databricks Runtime 11.3 أو أعلى ويجب أن يستخدم وضع الوصول المتوافق مع كتالوج Unity. راجع أوضاع الوصول. تدعم مستودعات SQL دائما كتالوج Unity.

لإنشاء كتالوج مشترك:

  • يجب أن تكون مشاركة Delta Sharing موجودة بالفعل في مساحة العمل الخاصة بك. راجع كيف أعمل إتاحة البيانات المشتركة لفريقي؟.
  • يجب أن تكون مسؤول metastore، أو لديك الامتياز USE PROVIDER على metastore، أو تمتلك كائن الموفر الذي يتضمن المشاركة.

لإنشاء كتالوج قياسي:

  • إذا قمت بتحديد موقع تخزين مدار للكتالوج، يجب أن يكون لديك الامتياز CREATE MANAGED STORAGE على الموقع الخارجي الهدف.
  • إذا لم يكن هناك تخزين مدار على مستوى metastore، فيجب عليك تحديد موقع تخزين مدار للكتالوج.

لإنشاء كتالوج خارجي:

  • يجب أن تكون إما مالك الاتصال الذي تستخدمه لإنشاء الكتالوج الخارجي أو أن يكون لديك الامتياز CREATE FOREIGN CATALOG على الاتصال.
  • يجب استخدام الحساب على Databricks Runtime 13.1 أو أعلى. يجب أن تكون مستودعات SQL Pro أو بلا خادم.

إنشاء كتالوج

لإنشاء كتالوج، يمكنك استخدام مستكشف الكتالوج أو أمر SQL أو واجهة برمجة تطبيقات REST أو Databricks CLI أو Terraform. عند إنشاء كتالوج، يتم إنشاء مخططين (قواعد بيانات) تلقائيا: default و information_schema.

مستكشف الكتالوج

  1. سجل الدخول إلى مساحة عمل مرتبطة ب metastore.

  2. انقر فوق أيقونة الكتالوج كتالوج.

  3. انقر فوق الزر إنشاء كتالوج.

  4. في مربع الحوار إنشاء كتالوج جديد، أدخل اسم كتالوج وحدد نوع الكتالوج الذي تريد إنشاءه:

    • الكتالوج القياسي : عنصر قابل للتأمين ينظم البيانات والأصول الذكاء الاصطناعي التي تتم إدارتها بواسطة كتالوج Unity. لجميع حالات الاستخدام باستثناء Lakehouse Federation والكتالوجات التي تم إنشاؤها من مشاركات Delta Sharing.
    • الكتالوج الخارجي : كائن قابل للتأمين يعكس قاعدة بيانات في نظام بيانات خارجي باستخدام Lakehouse Federation. راجع نظرة عامة على إعداد Lakehouse Federation.
    • الكتالوج المشترك: عنصر قابل للتأمين ينظم البيانات والأصول الأخرى التي تتم مشاركتها معك كمشاركة Delta Sharing. إنشاء كتالوج من مشاركة يجعل هذه الأصول متاحة للمستخدمين في مساحة العمل الخاصة بك للقراءة. راجع ما هي المشاركة؟.

  5. استنادا إلى نوع الكتالوج، حدد الخيارات التالية:

    • للكتالوجات القياسية: من الاختياري ولكن يوصى بشدة بتحديد موقع تخزين مدار. يجب أن يكون لديك الامتياز CREATE MANAGED STORAGE على الموقع الخارجي الهدف الذي تستخدمه كموقع تخزين مدار. راجع تحديد موقع تخزين مدار في كتالوج Unity.

      يمكنك اختياريا تحديد مسار فرعي لموقع خارجي محدد. إذا لم يكن لديك موقع خارجي محدد، يمكنك إنشاء موقع بالنقر فوق إنشاء موقع خارجي جديد.

      هام

      إذا لم يكن لمساحة العمل موقع تخزين على مستوى metastore، فيجب تحديد موقع تخزين مدار عند إنشاء كتالوج.

    • للكتالوجات الخارجية: يجب تحديد اتصال، وهو عنصر قابل للتأمين في كتالوج Unity يحدد مسارا وبيانات اعتماد للوصول إلى نظام قاعدة بيانات خارجي. راجع نظرة عامة على إعداد Lakehouse Federation.

      عند تحديد الاتصال، أدخل اسم قاعدة البيانات أو كتالوج Databricks الآخر الذي تريد نسخه معكوسا.

      تختلف المتطلبات اعتمادا على مصدر البيانات:

      • يستخدم MySQL مساحة اسم من طبقتين وبالتالي لا يتطلب اسم قاعدة بيانات.
      • للاتصالات بكتالوج في مساحة عمل Databricks أخرى، أدخل اسم كتالوج Databricks بدلا من اسم قاعدة البيانات.

      إذا لم يكن لديك اتصال معرف، يمكنك إنشاء اتصال بالنقر فوق إنشاء اتصال جديد.

    • للكتالوجات المشتركة: يجب تحديد موفر ومشاركة. بمجرد تحديد الموفر، يمكنك تحديد أحد مشاركات الموفر.

      إذا لم تكن متأكدا من الموفر والمشاركة التي تريدها، فقد تجد أنه من الأسهل الاستعراض أو البحث عن موفرين ومشاركات باستخدام مستعرض مستكشف الكتالوج. راجع عرض الموفرين وعرض المشاركات التي شاركها الموفر معك.

  6. انقر فوق Create.

  7. في مربع الحوار إنشاء الكتالوج! انقر فوق عرض الكتالوج لقبول الكتالوج كما تم تكوينه تلقائيا، أو انقر فوق تكوين الكتالوج (مستحسن) لتكوين أذونات الكتالوج وروابط مساحة العمل وبيانات التعريف.

    إذا نقرت فوق عرض الكتالوج، فسيكون الكتالوج متاحا لجميع مساحات العمل المرفقة ب metastore، BROWSE وسيتم منح الامتياز لجميع مستخدمي الحساب. يمكنك تخطي بقية الخطوات في هذا الإجراء والمتابعة إلى إضافة مخططات إلى الكتالوج. راجع إنشاء المخططات.

    يمكنك العودة إلى صفحة تفاصيل الكتالوج في مستكشف الكتالوج في أي وقت لتحديث المالك والعلامات والتعليقات وروابط مساحة العمل والأذونات والمخططات.

  8. في صفحة تكوين مساحات عمل الكتالوج>، حدد مساحة العمل التي يرتبط بها الكتالوج.

    بشكل افتراضي، تتم مشاركة الكتالوج مع جميع مساحات العمل المرفقة ب metastore الحالي. إذا كان الكتالوج سيحتوي على بيانات يجب تقييدها على مساحات عمل معينة، فقم بإلغاء تحديد خيار الوصول إلى كافة مساحة العمل واستخدم الزر تعيين إلى مساحات العمل لإضافة مساحات العمل هذه. يجب تضمين مساحة العمل الحالية.

    بعد تعيين مساحة عمل، يمكنك اختياريا تغيير مستوى الوصول الافتراضي للقراءة والكتابة إلى للقراءة فقط: حدد مساحة العمل من القائمة وانقر فوق الزر إدارة مستوى الوصول.

    لمزيد من المعلومات، راجع تقييد وصول الكتالوج إلى مساحات عمل معينة.

  9. انقر فوق التالي لتعيين أذونات للكتالوج.

    يتمتع جميع مستخدمي الحساب بالامتياز BROWSE بشكل افتراضي، ما يمنحهم القدرة على اكتشاف بيانات تعريف الكتالوج دون الحاجة إلى الوصول للقراءة إلى البيانات.

    لمنح امتياز لمستخدم أو مجموعة أو كيان خدمة، انقر فوق منح واتبع الإرشادات الواردة في امتيازات كتالوج Unity والكائنات القابلة للتأمين.

  10. انقر فوق التالي لإضافة علامة اختيارية وبيانات تعريف التعليق.

    العلامات هي أزواج قيم المفاتيح التي يمكنك استخدامها لتنظيم الكتالوجات وتصنيفها لتبسيط البحث واكتشاف أصول البيانات الخاصة بك. القيم اختيارية. راجع تطبيق العلامات على الكائنات القابلة للتأمين لكتالوج Unity.

    التعليق هو حقل مفتوح النهاية يستخدم غالبا لتوفير وصف لمساعدة المستخدمين على اكتشاف أصول البيانات في الكتالوج. راجع إضافة تعليقات إلى البيانات والأصول الذكاء الاصطناعي.

  11. انقر فوق حفظ.

  12. إضافة المخططات وعناصر البيانات إلى الكتالوج.

    راجع إنشاء المخططات.

يمكنك استخدام مستكشف الكتالوج لتحديث المالك والعلامات والتعليقات وروابط مساحة العمل والأذونات في أي وقت بعد إنشاء الكتالوج.

SQL

لإنشاء كتالوج قياسي، قم بتشغيل أمر SQL التالي في دفتر ملاحظات أو محرر استعلام SQL. العناصر الموجودة بين قوسين اختيارية. استبدل قيم العنصر النائب:

  • <catalog-name>: اسم للكتالوج.

  • <location-path>: اختياري ولكن يوصى به بشدة. قم بتوفير مسار موقع تخزين إذا كنت تريد تخزين الجداول المدارة في هذا الكتالوج في موقع يختلف عن التخزين الجذر الافتراضي الذي تم تكوينه لمخزن بيانات التعريف.

    هام

    إذا لم يكن لمساحة العمل موقع تخزين على مستوى metastore، فيجب تحديد موقع تخزين مدار عند إنشاء كتالوج.

    يجب تعريف هذا المسار في تكوين موقع خارجي، ويجب أن يكون لديك الامتياز CREATE MANAGED STORAGE على تكوين الموقع الخارجي. يمكنك استخدام المسار الذي تم تعريفه في تكوين الموقع الخارجي أو مسار فرعي (بمعنى آخر، 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' أو 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: وصف اختياري أو تعليق آخر.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

على سبيل المثال، لإنشاء كتالوج باسم example:

CREATE CATALOG IF NOT EXISTS example;

لإنشاء كتالوج مشترك، قم بتشغيل الأمر التالي في دفتر ملاحظات أو محرر استعلام SQL. العناصر الموجودة بين قوسين اختيارية.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

لإنشاء كتالوج خارجي، قم بتشغيل الأمر التالي في دفتر ملاحظات أو محرر استعلام SQL. العناصر الموجودة بين قوسين اختيارية. استبدل قيم العنصر النائب:

  • <catalog-name>: اسم الكتالوج في Azure Databricks.
  • <connection-name>: كائن الاتصال الذي يحدد مصدر البيانات والمسار وبيانات اعتماد الوصول.
  • <database-name>: اسم قاعدة البيانات التي تريد عكسها ككتالوج في Azure Databricks. غير مطلوب ل MySQL، الذي يستخدم مساحة اسم من طبقتين. بالنسبة إلى Databricks-to-Databricks Lakehouse Federation، استخدم catalog '<external-catalog-name>' بدلا من ذلك.
  • <external-catalog-name>: Databricks-to-Databricks فقط: اسم الكتالوج في مساحة عمل Databricks الخارجية التي تقوم بعكسها. راجع تشغيل الاستعلامات الموحدة على مساحة عمل Databricks أخرى.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

راجع أيضا إنشاء كتالوج خارجي.

للحد من وصول الكتالوج إلى مساحات عمل معينة في حسابك، والمعروف أيضا باسم ربط كتالوج مساحة العمل، راجع تقييد الوصول إلى الكتالوج إلى مساحات عمل معينة.

للحصول على أوصاف معلمة مفصلة، راجع إنشاء كتالوج.

بعد إنشاء الكتالوج، قم بتعيين امتيازات للكتالوج. راجع امتيازات كتالوج Unity والكائنات القابلة للتأمين.

أخرى

Terraform: يمكنك إنشاء كتالوج باستخدام موفر Databricks Terraform databricks_catalog. يمكنك استرداد معلومات حول الكتالوجات باستخدام databricks_catalogs.

REST API: استخدم POST /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] للحصول على قائمة بالخيارات، قم بتشغيل databricks catalogs create -h. يتم وصف الخيارات أيضا في مرجع واجهة برمجة التطبيقات. اتبع ارتباط واجهة برمجة التطبيقات في الفقرة السابقة.

بعد إنشاء الكتالوج، قم بتعيين امتيازات للكتالوج. راجع امتيازات كتالوج Unity والكائنات القابلة للتأمين.

مزيد من المعلومات