إعداد اتصال Git الخاص لمجلدات Azure Databricks Git (Repos)

تعرف على وكيل خادم Git لمجلدات Databricks Git وتكوينه، وهي خدمة قابلة للتكوين تمكنك من وكيل أوامر Git من مجلدات Git لمساحة عمل Databricks إلى المستودعات المحلية التي يقدمها GitHub Enterprise Server وAzure DevOps Server وBitbucket Server وGitLab المدار ذاتيا.

إشعار

يجب على المستخدمين الذين لديهم وكيل خادم Databricks Git تم تكوينه أثناء المعاينة ترقية أذونات نظام المجموعة للحصول على أفضل أداء. راجع إزالة أذونات CAN_ATTACH_TO العمومية.

تم تصميم وكيل خادم Databricks Git خصيصا للعمل مع إصدار DBR المضمن في دفتر ملاحظات التكوين. لا ينصح المستخدمون بتحديث إصدار DBR من نظام مجموعة الوكيل.

ما هو وكيل خادم Git لمجلدات Databricks Git؟

وكيل خادم Databricks Git لمجلدات Git هي ميزة تسمح لك بوكيل أوامر Git من مساحة عمل Azure Databricks إلى خادم Git محلي.

تمثل مجلدات Databricks Git (سابقا Repos) مستودع Git المتصل كمجلدات. يتم التحكم في محتويات هذه المجلدات بواسطة مزامنتها مع مستودع Git المتصل. بشكل افتراضي، يمكن مزامنة مجلدات Git فقط مع موفري Git العامين (مثل GitHub العام وGitLab وAzure DevOps وغيرها). ومع ذلك، إذا كنت تستضيف خادم Git المحلي الخاص بك (مثل GitHub Enterprise Server أو Bitbucket Server أو GitLab المدار ذاتيا)، فيجب عليك استخدام وكيل خادم Git مع مجلدات Git لتوفير وصول Databricks إلى خادم Git الخاص بك. يجب أن يكون خادم Git الخاص بك متاحا من مستوى بيانات Azure Databricks (عقدة برنامج التشغيل).

كيف يعمل Git Server Proxy لمجلدات Databricks Git؟

وكيل خادم Git لمجلدات Databricks Git وكلاء أوامر Git من وحدة التحكم Databricks إلى "نظام مجموعة وكيل" قيد التشغيل في مستوى حساب مساحة عمل Databricks. في هذا السياق، نظام مجموعة الوكيل هو نظام مجموعة تم تكوينه لتشغيل خدمة وكيل لأوامر Git من مجلدات Databricks Git إلى مستودع Git المستضاف ذاتيا. تتلقى خدمة الوكيل هذه أوامر Git من وحدة التحكم Databricks وتحيلها إلى مثيل خادم Git الخاص بك.

يوضح الرسم التخطيطي أدناه بنية النظام الشاملة:

هام

يوفر Databricks دفتر ملاحظات تمكين يمكنك تشغيله لتكوين مثيل خادم Git الخاص بك إلى أوامر الوكيل لمجلدات Databricks Git. احصل على دفتر ملاحظات التمكين على GitHub.

حاليا، لم يعد وكيل خادم Git يتطلب CAN_ATTACH_TO إذنا لجميع المستخدمين. يمكن للمسؤولين الذين لديهم مجموعات وكيل موجودة الآن تعديل إذن ACL لنظام المجموعة لتمكين هذه الميزة. لتمكينها:

1. حدد Compute من الشريط الجانبي، ثم انقر فوق قائمة kebab بجوار إدخال Compute ل Git Server Proxy الذي تقوم بتشغيله:

   

2. من مربع الحوار، قم بإزالة الإدخال يمكن إرفاق إلى لكافة المستخدمين:

   

كيف أعمل إعداد Git Server Proxy لمجلدات Databricks Git؟

يصف هذا القسم كيفية إعداد مثيل خادم Git ل Git Server Proxy لمجلدات Databricks Git وإنشاء الوكيل والتحقق من صحة التكوين الخاص بك.

قبل البدء

قبل تمكين الوكيل، ضع في اعتبارك المتطلبات الأساسية التالية ومهام التخطيط:

• مساحة العمل الخاصة بك لديها ميزة مجلدات Databricks Git ممكنة.
• يمكن الوصول إلى مثيل خادم Git الخاص بك من وحدة حساب مساحة عمل Azure Databricks VPC، وقد تم تمكين كل من HTTPS ورموز الوصول الشخصية (PATs).

إشعار

يعمل وكيل خادم Git ل Databricks في جميع المناطق التي يدعمها VPC الخاص بك.

الخطوة 1: إعداد مثيل خادم Git

هام

يجب أن تكون مسؤولا في مساحة العمل مع حقوق الوصول لإنشاء مورد حساب وإكمال هذه المهمة.

لتكوين مثيل خادم Git الخاص بك:

1. امنح عقدة برنامج تشغيل نظام مجموعة الوكيل حق الوصول إلى خادم Git الخاص بك.

   يمكن أن يكون لخادم allowlist Git الخاص بمؤسستك عناوين IP التي يسمح بالوصول منها.

   1. إقران عنوان IP صادر ثابت لنسبة استخدام الشبكة التي تنشأ من نظام مجموعة الوكيل. يمكنك القيام بذلك باستخدام Azure Firewall أو جهاز الخروج.
   2. أضف عنوان IP من الخطوة السابقة إلى قائمة السماح لخادم Git.

2. قم بتعيين مثيل خادم Git للسماح بنقل HTTPS.

   • بالنسبة إلى GitHub Enterprise، راجع عنوان URL البعيد الذي يجب استخدامه في تعليمات GitHub Enterprise.
   • بالنسبة إلى Bitbucket، انتقل إلى صفحة إدارة خادم Bitbucket وحدد إعدادات الخادم. في قسم استضافة HTTP(S) SCM، قم بتمكين خانة الاختيار تمكين HTTP(S).

الخطوة 2: تشغيل دفتر ملاحظات التمكين

لتمكين الوكيل:

1. سجل الدخول إلى مساحة عمل Azure Databricks كمسؤول مساحة عمل مع حقوق الوصول لإنشاء نظام مجموعة.

2. قم باستيراد دفتر الملاحظات هذا، الذي يختار أصغر نوع مثيل متوفر من موفر السحابة لتشغيل وكيل Git.:

   دفتر الملاحظات: تمكين وكيل خادم Git لمجلدات Databricks Git لاتصال خادم Git الخاص في مجلدات Git.

3. انقر فوق "تشغيل الكل" لتشغيل دفتر الملاحظات الذي يقوم بتنفيذ المهام التالية:

   • إنشاء مورد حساب عقدة واحدة باسم "Databricks Git Proxy"، والذي لا ينهي تلقائيا. هذه هي "خدمة وكيل Git" التي ستقوم بمعالجة أوامر Git وإعادة توجيهها من مساحة عمل Azure Databricks إلى خادم Git المحلي.
   • تمكين علامة ميزة تتحكم في ما إذا كانت طلبات Git في مجلدات Databricks Git مدعومة عبر مثيل الحساب.

   كأفضل ممارسة، ضع في اعتبارك إنشاء مهمة بسيطة لتشغيل مورد حساب وكيل Git. يمكن أن يكون هذا دفتر ملاحظات بسيطا يطبع أو يسجل الحالة مثل "خدمة وكيل Git قيد التشغيل." قم بتعيين المهمة للتشغيل على فترات زمنية منتظمة للتأكد من أن خدمة وكيل Git متاحة دائما للمستخدمين.

إشعار

يؤدي تشغيل مورد حساب إضافي طويل الأمد لاستضافة برنامج الوكيل إلى تكبد وحدات DBUs إضافية. لتقليل التكاليف، يقوم دفتر الملاحظات بتكوين الوكيل لاستخدام مورد حساب عقدة واحدة مع نوع عقدة غير مكلفة. ومع ذلك، قد تحتاج إلى تعديل خيارات الحوسبة لتناسب احتياجاتك. لمزيد من المعلومات حول تسعير مثيل الحساب، راجع حاسبة تسعير Databricks.

الخطوة 3: التحقق من صحة تكوين خادم Git

للتحقق من صحة تكوين خادم Git الخاص بك، حاول استنساخ مستودع مستضاف على خادم Git الخاص بك عبر نظام مجموعة الوكيل. يعني النسخ الناجح أنك قمت بتمكين وكيل خادم Git لمساحة العمل الخاصة بك بنجاح.

الخطوة 4: إنشاء مستودعات ممكنة بالوكيل

بعد قيام المستخدمين بتكوين بيانات اعتماد Git الخاصة بهم، لا يلزم اتخاذ خطوات إضافية لإنشاء أو مزامنة المستودعات الخاصة بك. لتكوين بيانات الاعتماد وإنشاء مستودع في مجلدات Databricks Git، راجع تكوين بيانات اعتماد Git وتوصيل مستودع بعيد ب Azure Databricks.

إزالة أذونات CAN_ATTACH_TO العمومية

يمكن للمسؤولين الذين لديهم مجموعات وكيل موجودة الآن تعديل إذن ACL لنظام المجموعة للاستفادة من سلوك وكيل خادم Git المتاح بشكل عام.

إذا قمت مسبقا بتكوين وكيل خادم Databricks Git بامتيازات CAN_ATTACH_TO ، فاستخدم الخطوات التالية لإزالة هذه الأذونات:

1. حدد Compute من الشريط الجانبي، ثم انقر فوق قائمة kebab بجوار إدخال Compute لوكيل خادم Git الذي تقوم بتشغيله:

   

2. من مربع الحوار، قم بإزالة الإدخال يمكن إرفاق إلى لكافة المستخدمين:

   

استكشاف الأخطاء وإصلاحها

هل واجهت خطأ أثناء تكوين وكيل خادم Git لمجلدات Databricks Git؟ فيما يلي بعض المشكلات الشائعة وطرق تشخيصها بشكل أكثر فعالية.

قائمة اختيار المشاكل الشائعة

قبل البدء في تشخيص خطأ، تأكد من إكمال الخطوات التالية:

• تأكد من تشغيل نظام مجموعة الوكيل.
• تأكد من أنك مسؤول مساحة عمل.
• قم بتشغيل دفتر ملاحظات التمكين مرة أخرى والتقاط النتائج، إذا لم تكن قد قمت بالفعل. إذا لم تتمكن من تصحيح المشكلة، يمكن لدعم Databricks مراجعة النتائج. يمكنك تصدير دفتر ملاحظات التمكين وإرساله كأرشيف DBC.

تغيير تكوين وكيل Git

إذا كانت خدمة وكيل Git لا تعمل مع التكوين الافتراضي، يمكنك تعيين متغيرات بيئة معينة لإجراء تغييرات عليها لدعم البنية الأساسية للشبكة بشكل أفضل.

استخدم متغيرات البيئة التالية لتحديث التكوين لخدمة وكيل Git:

متغير البيئة	التنسيق	‏‏الوصف
GIT_PROXY_ENABLE_SSL_VERIFICATION	true/false	قم بتعيين هذا إلى false إذا كنت تستخدم شهادة موقعة ذاتيا لخادم Git الخاص بك.
GIT_PROXY_CA_CERT_PATH	مسار الملف (سلسلة)	قم بتعيين هذا إلى المسار إلى ملف شهادة CA المستخدم للتحقق من SSL. مثال: /FileStore/myCA.pem
GIT_PROXY_HTTP_PROXY	https://<hostname>:<port #>	قم بتعيين هذا إلى عنوان URL ل HTTPS لوكيل جدار الحماية الخاص بشبكتك لحركة مرور HTTP.
GIT_PROXY_CUSTOM_HTTP_PORT	رقم المنفذ (عدد صحيح)	قم بتعيين هذا إلى رقم المنفذ المعين لمنفذ HTTP الخاص بخادم Git.

لتعيين متغيرات البيئة هذه، انتقل إلى علامة التبويب Compute في مساحة عمل Azure Databricks وحدد تكوين الحساب لخدمة وكيل Git. في أسفل جزء التكوين ، قم بتوسيع خيارات متقدمة وحدد علامة التبويب Spark ضمنها. قم بتعيين واحد أو أكثر من متغيرات البيئة هذه عن طريق إضافتها إلى منطقة نص متغيرات البيئة.

فحص السجلات على نظام مجموعة الوكيل

يحتوي الملف في /databricks/git-proxy/git-proxy.log على نظام مجموعة الوكيل على سجلات مفيدة لأغراض تصحيح الأخطاء.

يجب أن يبدأ ملف السجل بالخط Data-plane proxy server binding to ('', 8000)… إذا لم يكن كذلك، فهذا يعني أن الخادم الوكيل لم يبدأ بشكل صحيح. حاول إعادة تشغيل نظام المجموعة، أو احذف نظام المجموعة الذي أنشأته وقم بتشغيل دفتر ملاحظات التمكين مرة أخرى.

إذا كان ملف السجل يبدأ بهذا السطر، فراجع عبارات السجل التي تتبعه لكل طلب Git بدأته عملية Git في مجلدات Databricks Git.

على سبيل المثال:

  do_GET: https://server-address/path/to/repo/info/refs?service=git-upload-pack 10.139.0.25 - - [09/Jun/2021 06:53:02] /
  "GET /server-address/path/to/repo/info/refs?service=git-upload-pack HTTP/1.1" 200`

يمكن أن تكون سجلات الأخطاء المكتوبة إلى هذا الملف مفيدة لمساعدتك أو مشاكل تصحيح أخطاء دعم Databricks.

رسائل الخطأ الشائعة ودقتها

• تعذر تأسيس اتصال آمن بسبب مشاكل SSL

  قد ترى الخطأ التالي:

    https://git.consult-prodigy.com/Prodigy/databricks_test: Secure connection to https://git.consult-prodigy.com/Prodigy/databricks_test could not be established because of SLL problems
  

  غالبا ما يعني هذا أنك تستخدم مستودعا يتطلب شهادات SSL خاصة. تحقق من محتوى الملف على /databricks/git-proxy/git-proxy.log نظام مجموعة الوكيل. إذا كان يقول فشل التحقق من صحة الشهادة، فيجب عليك إضافة شهادة المرجع إلى سلسلة شهادات النظام. أولا، استخراج شهادة الجذر (باستخدام المتصفح أو خيار آخر) وتحميلها إلى DBFS. ثم قم بتحرير مجموعة Git folders Git Proxy لاستخدام GIT_PROXY_CA_CERT_PATH متغير البيئة للإشارة إلى ملف الشهادة الجذر. لمزيد من المعلومات حول تحرير متغيرات بيئة نظام المجموعة، راجع متغيرات البيئة.

  بعد إكمال هذه الخطوة، أعد تشغيل نظام المجموعة.

• فشل استنساخ المستودع مع ظهور الخطأ "بيانات اعتماد Git مفقودة/غير صالحة"

  أولا، تحقق من تكوين بيانات اعتماد Git في إعدادات المستخدم.

  قد تواجه هذا الخطأ:

    Error: Invalid Git credentials. Go to User Settings -> Git Integration and check that your personal access token or app password has the correct repo access.
  

  إذا كانت مؤسستك تستخدم SAML SSO، فتأكد من تخويل الرمز المميز (يمكن القيام بذلك من صفحة إدارة الرمز المميز للوصول الشخصي (PAT) لخادم Git الخاص بك).

الأسئلة الشائعة

ما هي الآثار الأمنية لوكيل خادم Git؟

أهم الأشياء التي يجب معرفتها هي:

• لا يؤثر الوكيل على بنية الأمان لمستوى التحكم في Databricks.
• يمكنك الحصول على مجموعة خادم وكيل Git واحدة فقط لكل مساحة عمل.

هل يتم توجيه جميع حركة مرور Git المتعلقة بمجلدات Databricks Git من خلال مجموعة الوكيل، حتى بالنسبة لمستودعات Git العامة؟

نعم. في الإصدار الحالي، لا تفرق مساحة عمل Azure Databricks بين المستودعات proxied وغير proxied.

هل تعمل ميزة وكيل Git مع موفري خادم مؤسسة Git الآخرين؟

تدعم مجلدات Databricks Git GitHub Enterprise وBitbucket Server وAzure DevOps Server وGitLab المدار ذاتيا. يجب أن يعمل موفرو خادم Git الآخرون للمؤسسات أيضا إذا كانوا يتوافقون مع مواصفات Git الشائعة.

هل تدعم مجلدات Databricks Git توقيع GPG على التثبيتات؟

‏‏لا.

هل تدعم مجلدات Databricks Git نقل SSH لعمليات Git؟

‏‏لا. يتم دعم HTTPS فقط.

هل استخدام منفذ HTTPS غير افتراضي على خادم Git مدعوم؟

حاليا، يفترض دفتر ملاحظات التمكين أن خادم Git الخاص بك يستخدم منفذ HTTPS الافتراضي 443. يمكنك تعيين متغير GIT_PROXY_CUSTOM_HTTP_PORT البيئة للكتابة فوق قيمة المنفذ بقيمة مفضلة.

هل يمكنك مشاركة وكيل واحد لمساحات عمل متعددة أو هل تحتاج إلى نظام مجموعة وكيل واحد لكل مساحة عمل؟

تحتاج إلى نظام مجموعة وكيل واحد لكل مساحة عمل Azure Databricks.

هل يعمل الوكيل مع إصدار دفتر ملاحظات واحد قديم؟

لا، لا يعمل الوكيل مع إصدار دفتر ملاحظات واحد قديم. يجب على المستخدمين الترحيل إلى إصدار مجلدات Databricks Git.

هل يمكن ل Databricks إخفاء عناوين URL لخادم Git التي يتم نسخها عن بعد؟ هل يمكن للمستخدمين إدخال عناوين URL الأصلية لخادم Git بدلا من عناوين URL proxied؟

نعم لكلا السؤالين. لا يحتاج المستخدمون إلى ضبط سلوكهم للوكيل. مع تنفيذ الوكيل الحالي، يتم توجيه جميع حركة مرور Git لمجلدات Databricks Git من خلال الوكيل. يدخل المستخدمون عنوان URL العادي ل Git repo مثل https://git.company.com/org/repo-name.git.

كم مرة سيعمل المستخدمون مع عناوين URL ل Git؟

عادة ما يضيف المستخدم عنوان URL Git فقط عند إنشاء مستودع جديد أو سحب مستودع موجود لم يتم سحبه بالفعل.

هل الميزة بشفافية بيانات مصادقة الوكيل إلى خادم Git؟

نعم، يستخدم الوكيل الرمز المميز لخادم Git لحساب المستخدم للمصادقة على خادم Git.

هل هناك وصول Databricks إلى رمز خادم Git؟

تصل خدمة وكيل Azure Databricks إلى مستودع Git على خادم Git باستخدام بيانات الاعتماد التي يوفرها المستخدم ومزامنة أي ملفات تعليمات برمجية في المستودع مع المستودع. يتم تقييد الوصول من خلال الأذونات المحددة في رمز الوصول الشخصي الذي يوفره المستخدم (PAT).