أغسطس 2023

  • مقالة

تم إصدار هذه الميزات وتحسينات النظام الأساسي ل Azure Databricks في أغسطس 2023.

إشعار

يتم تنظيم الإصدارات. قد لا يتم تحديث مساحة عمل Azure Databricks حتى أسبوع أو أكثر بعد تاريخ الإصدار الأولي.

31 أغسطس 2023

تظهر الجداول المسجلة في كتالوج Unity الآن في البحث التنقلي في الشريط العلوي. راجع البحث عن كائنات مساحة العمل.

تم تحديث Databricks CLI إلى الإصدار 0.203.3 (معاينة عامة)

30 أغسطس 2023

تم تحديث واجهة سطر الأوامر Databricks (Databricks CLI) إلى الإصدار 0.203.3. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.203.3.

برنامج تشغيل Databricks JDBC 2.6.34

30 أغسطس 2023

لقد أصدرنا الإصدار 2.6.34 من برنامج تشغيل Databricks JDBC (تنزيل). يعالج هذا الإصدار عددا من مشكلات الثغرات الأمنية عن طريق ترقية مكتبات الجهات الخارجية. بالإضافة إلى ذلك، يعمل هذا الإصدار على إصلاح المشكلات التالية:

  • تسرب مؤشر الترابط عندما يفشل الاستعلام في الاتصال بالخادم.
  • التعليقات المفقودة في REMARKS عمود بيانات تعريف الجدول.
  • عندما تقوم عملية إغلاق مجموعة النتائج بإرجاع خطأ، لا يقوم الموصل بتنظيف عملية معالجة الإدخالات من مؤشر ترابط رسالة كشف أخطاء الاتصال.

يعمل الإصدار أيضا على تحسين معالجة رسائل الخطأ عن طريق الالتزام SQLState ورموز الخطأ من الخادم، ويتحقق من إصدار بروتوكول الخادم بشكل صحيح.

تم تحديث Databricks SDK for Go إلى الإصدار 0.18.0 (بيتا)

29 أغسطس 2023

يقدم Databricks SDK ل Go الإصدار 0.18.0 17 تغييرا في واجهة برمجة التطبيقات العاجلة، ويضيف 30 واجهة برمجة تطبيقات، ويضيف حوالي دزينة من الحقول. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.18.0.

تم تحديث Databricks SDK ل Python إلى الإصدار 0.7.0 (بيتا)

29 أغسطس 2023

يقدم Databricks SDK للإصدار 0.7.0 من Python تغييرا فاصلا لواجهة برمجة تطبيقات الملفات بالإضافة إلى 17 تغييرا إضافيا في التعطل. يضيف هذا الإصدار أيضا 14 حقلا ويضيف 27 فئة بيانات. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.7.0.

تم تحديث موفر Databricks Terraform إلى الإصدار 1.24.1

29 أغسطس 2023

يتضمن الإصدار 1.24.1 من موفر Databricks Terraform تصحيحا للتحقق من إمكانية الوصول إلى مساحة العمل. للحصول على التفاصيل، راجع سجل التغيير للإصدار 1.24.1.

تم تمديد البرامج النصية Init على نهاية العمر الافتراضي ل DBFS إلى 1 ديسمبر 2023

29 أغسطس 2023

أعلنت Databricks سابقا أن البرامج النصية init على DBFS ستصل إلى نهاية العمر الافتراضي في 1 سبتمبر 2023. تم تمديد تاريخ انتهاء العمر الافتراضي إلى 1 ديسمبر 2023.

Databricks Runtime 14.0 (Beta)

29 أغسطس 2023

Databricks Runtime 14.0 وDatabricks Runtime 14.0 ML متاحان الآن كإصدارات بيتا.

راجع Databricks Runtime 14.0 وDatabricks Runtime 14.0 التعلم الآلي.

تجربة التنقل الموحدة هي GA

28 أغسطس 2023

تتوفر الآن تجربة التنقل الموحدة في Azure Databricks بشكل عام. لم يعد بإمكان المستخدمين العودة إلى تجربة التنقل الكلاسيكية. لمزيد من المعلومات، راجع التنقل في مساحة العمل.

تم تحديث موفر Databricks Terraform إلى الإصدار 1.24.0

25 أغسطس 2023

يضيف الإصدار 1.24.0 من موفر Databricks Terraform دعم واجهة برمجة التطبيقات على مستوى الحساب لكائنات كتالوج Unity، ويضيف acl_principal_id إلى العديد من مصادر البيانات، والمزيد. للحصول على التفاصيل، راجع سجل التغيير للإصدار 1.24.0.

تمت إزالة إعداد Databricks Runtime for Genomics من صفحة إعدادات مسؤول مساحة العمل

25 أغسطس 2023

لم يعد بإمكان مسؤولي مساحة العمل تمكين وقت تشغيل Databricks ل Genomics أو تعطيله من صفحة إعدادات مسؤول مساحة العمل أو واجهة برمجة تطبيقات تكوين مساحة العمل. تم إهمال وقت تشغيل Databricks Genomics وتمت إزالة دعم Databricks Runtime for Genomics في 24 سبتمبر 2022.

تم إهمال وقت تشغيل Databricks Genomics. للحصول على مصدر مفتوح المكافئة، راجع repos ل genomics-pipelines و Glow. تم إصدار مكتبات المعلوماتية الحيوية التي كانت جزءا من وقت التشغيل كحاوية Docker، والتي يمكن سحبها من صفحة ProjectGlow Dockerhub .

لمزيد من المعلومات حول نهج وجدولة إهمال Databricks Runtime، راجع إصدارات Databricks Runtime LTS المدعومة.

تمت إزالة إعداد خدمات الحاوية من صفحة إعدادات مسؤول مساحة العمل

25 أغسطس 2023

لم يعد بإمكان مسؤولي مساحة العمل تمكين خدمات الحاويات أو تعطيلها من صفحة إعدادات مسؤول مساحة العمل. تمكنك خدمات الحاويات من استخدام حاويات العملاء على مجموعاتك. يتم تمكينه افتراضيا على جميع مساحات العمل الجديدة. لا يزال من الممكن تمكين خدمات الحاوية أو تعطيلها باستخدام واجهة برمجة تطبيقات تكوين مساحة العمل. لمزيد من المعلومات، راجع تمكين خدمات الحاوية.

تم تحديث Databricks CLI إلى الإصدار 0.203.2 (معاينة عامة)

24 أغسطس 2023

تم تحديث واجهة سطر الأوامر Databricks (Databricks CLI) إلى الإصدار 0.203.2. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.203.2.

انتقل إلى تعريف الدالات والمتغيرات في دفاتر ملاحظات Python

24 أغسطس 2023

في Databricks Runtime 12.2 LTS وما فوق، عند إرفاق دفتر ملاحظات Python بمجموعة، يمكنك الانتقال تلقائيا إلى تعريف متغير أو دالة تم تعريفها في دفتر الملاحظات هذا. راجع الانتقال إلى التعريف للحصول على التفاصيل.

متصفح المخطط الموحد هو GA

24 أغسطس 2023

يتوفر مستعرض المخطط الموحد الآن بشكل عام عبر مستكشف الكتالوج ومحرر SQL ودفاتر الملاحظات. راجع ما هو مستكشف الكتالوج؟.

Databricks Runtime 13.3 LTS هو GA

22 أغسطس 2023

Databricks Runtime 13.3 LTS وDatabricks Runtime 13.3 LTS ML متاحان الآن بشكل عام.

راجع Databricks Runtime 13.3 LTS وDatabricks Runtime 13.3 LTS التعلم الآلي.

تقديم العلامات باستخدام كتالوج Unity

22 أغسطس 2023

يمكنك الآن تطبيق العلامات على العناصر القابلة للتأمين في كتالوج Unity. تساعدك العلامات على تنظيم العناصر القابلة للتأمين وتبسيط البحث عن أصول البيانات واكتشافها. راجع تطبيق العلامات.

قائمة السماح لنصوص init وJARs وإحداثيات Maven على المجموعات المشتركة لكتالوج Unity في المعاينة العامة

23 أغسطس 2023

يمكنك الآن استخدام كتالوج allowlist Unity للتحكم في تثبيت البرامج النصية init وJARs وMaven على الحساب مع وضع الوصول المشترك الذي يقوم بتشغيل Databricks Runtime 13.3 وما فوق. راجع Allowlist libraries and init scripts on shared compute.

دعم وحدات التخزين للبرنامج النصي init وJARs في المعاينة العامة

23 أغسطس 2023

يمكنك الآن استخدام وحدات تخزين كتالوج Unity لتخزين البرامج النصية init وJARs على الحساب مع أوضاع الوصول المعينة أو المشتركة التي تعمل على Databricks Runtime 13.3 وما فوق. راجع المكتبات ذات نطاق نظام المجموعة وتثبيت المكتبات من وحدة تخزين.

عمليات تثبيت إخراج ملف Repos .ipynb أسهل في Databricks

21 أغسطس 2023

أضافت Databricks Repos ميزات لتسهيل التحكم في إخراج ملف .ipynb والاطلاع على:

  • يمكن لإعادة المستودعات إنشاء ملف تكوين commit_output لك.
  • تتيح لك الإعلامات في واجهة المستخدم معرفة حالة تثبيتات الإخراج.
  • من القائمة ملف، يمكنك التحكم في ما إذا كانت مخرجات المفكرة ملتزمة أم لا.

راجع التحكم في تثبيتات إخراج دفتر الملاحظات .ipynb.

دعم دفتر ملاحظات IPYNB في Databricks Repos هو GA

21 أغسطس 2023

دعم ملف دفتر ملاحظات IPYNB في Databricks Repos هو GA. لمزيد من المعلومات حول Repos، راجع:

تم تحديث Databricks SDK for Go إلى الإصدار 0.17.0 (بيتا)

18 أغسطس 2023

يضيف Databricks SDK ل Go الإصدار 0.17.0 أكثر من 30 واجهة برمجة تطبيقات ويعيد تسمية حوالي 10 واجهات برمجة تطبيقات. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.17.0.

تم تحديث Databricks SDK ل Python إلى الإصدار 0.6.0 (بيتا)

18 أغسطس 2023

يضيف Databricks SDK للإصدار 0.6.0 من Python حوالي 20 فئة بيانات، ويضيف حوالي 10 واجهات برمجة تطبيقات، ويتضمن حوالي 20 إعادة تسمية. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.6.0.

تم تحديث Databricks CLI إلى الإصدار 0.203.1 (معاينة عامة)

16 أغسطس 2023

تم تحديث واجهة سطر الأوامر Databricks (Databricks CLI) إلى الإصدار 0.203.1. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.203.1.

مستعرض المخطط الموحد هو الآن GA

16 أغسطس 2023

تتوفر الآن طريقة موحدة للتنقل في بياناتك لدفاتر الملاحظات ومحرر SQL ومستكشف الكتالوج، بما في ذلك الإمكانات الجديدة التالية:

  • نسخة مكثفة من الشجرة.
  • عرض عدد عناصر كتالوج Unity على مستوى المخطط عند التصفية.
  • انقر بزر الماوس الأيمن فوق القائمة لعرض الإجراءات.

قد تؤثر تغييرات الشبكة الفرعية بلا خادم على إذا قمت بترميز المعرفات في برنامج نصي أو قالب

15 أغسطس 2023

إذا كنت تستخدم جدار حماية Azure Storage، حتى نهاية أغسطس، فإن بعض معرفات الشبكة الفرعية تتغير. لا يؤثر هذا على معظم العملاء لأن Azure يقوم تلقائيا بترحيل معرفات الشبكة الفرعية في قواعد جدار حماية التخزين الموجودة. لا يؤثر هذا الترحيل على أحمال العمل الحالية.

إذا قمت بترميز قائمة الشبكات الفرعية بلا خادم في قالب أو برنامج نصي يقوم بتحديث قواعد جدار حماية تخزين Azure، يجب أن تحصل على أحدث قائمة بمعرفات الشبكة الفرعية قبل محاولة تحديث القواعد. للحصول على أحدث المعرفات لكل منطقة، راجع أمان شبكة مستودع SQL بلا خادم.

تم تحديث Databricks SDK for Go إلى الإصدار 0.16.0 (بيتا)

14 أغسطس 2023

يضيف Databricks SDK ل Go الإصدار 0.16.0 حوالي دزينة من الحقول، ويزيل حوالي نصف دزينة من الحقول، ويغير تواقيع حوالي نصف دزينة من واجهات برمجة التطبيقات. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.16.0.

شريك الاتصال يدعم التعداد

14 أغسطس 2023

يمكنك الآن استخدام Partner الاتصال لتوصيل مساحة عمل Azure Databricks بالتعداد. لمزيد من المعلومات، راجع الاتصال التعداد.

مفاتيح HSM المدارة في Azure Key Vault مدعومة الآن للمفاتيح التي يديرها العميل

14 أغسطس 2023

بعض خدمات Azure Databricks ودعم البيانات إضافة مفتاح يديره العميل للمساعدة في حماية الوصول إلى البيانات المشفرة والتحكم فيه. يحتوي Azure Databricks على ثلاث ميزات رئيسية يديرها العملاء تتضمن أنواعا مختلفة من البيانات والمواقع. تدعم جميع هذه الميزات الثلاث الآن المفاتيح المدارة من قبل العملاء من HSM المدار في Azure Key Vault (وحدات أمان الأجهزة) جنبا إلى جنب مع خزائن Azure Key Vault. راجع المفاتيح التي يديرها العميل للتشفير.

تم تحديث Databricks SDK ل Python إلى الإصدار 0.5.0 (بيتا)

11 أغسطس 2023

يقوم Databricks SDK للإصدار 0.5.0 من Python بتغيير تواقيع واجهات برمجة تطبيقات نصف دستة، ويضيف دزينة حقول، ويزيل نصف دزينة من الحقول، ويضيف بعض فئات البيانات. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.5.0.

دعم الكتابة البرمجية لملفات مساحة العمل

11 أغسطس 2023

تدعم المجموعات التي تستخدم Databricks Runtime 11.2 وما فوق الكتابة إلى ملفات مساحة العمل. يمكنك إنشاء الملفات والدلائل وتحديثها وحذفها برمجيا داخل مساحة العمل الخاصة بك.

تم تحديث Databricks CLI إلى الإصدار 0.203.0 (معاينة عامة)

10 أغسطس 2023

يعمل الإصدار 0.203.0 من واجهة سطر الأوامر Databricks (Databricks CLI) على auth login تحسين الأمر والمزيد. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.203.0.

تم تحديث موفر Databricks Terraform إلى الإصدار 1.23.0

9 أغسطس 2023

يمتد RunJobTask الإصدار 1.23.0 من موفر Databricks Terraform مع حقول مدعومة إضافية في databricks_job، ويضيف دعم المصدر ل databricks_model_serving، والمزيد. للحصول على التفاصيل، راجع سجل التغيير للإصدار 1.23.0.

يمكن الآن إعادة تسمية المجموعات

8 أغسطس 2023

يمكنك الآن إعادة تسمية مجموعات الحسابات الموجودة والمجموعات المحلية لمساحة العمل. راجع تغيير اسم مجموعة.

تم تحديث Databricks SDK for Go إلى الإصدار 0.15.0 (بيتا)

7 أغسطس 2023

يقوم Databricks SDK للإصدار Go 0.15.0 بإعادة بناء التعليمات البرمجية لواجهات برمجة التطبيقات المتعلقة بالأذونات لجعلها أكثر قابلية للفهم وأسهل في الاستخدام. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.15.0.

تم تحديث Databricks SDK ل Python إلى الإصدار 0.4.0 (بيتا)

7 أغسطس 2023

يقوم Databricks SDK لإصدار Python 0.4.0 بإعادة بناء التعليمات البرمجية لواجهات برمجة التطبيقات المتعلقة بالأذونات لجعلها أكثر قابلية للفهم وأسهل في الاستخدام. للحصول على التفاصيل، راجع سجل التغيير للإصدار 0.4.0.

تمت إزالة إعداد تكوين منع iFraming التابع لجهة خارجية

7 أغسطس 2023

يقلل Azure Databricks من مخاطر مجالات الجهات الخارجية من iFraming Azure Databricks عن طريق إضافة عناوين HTTP المناسبة. لا يزال منع iFraming التابع لجهة خارجية ممكنا بشكل افتراضي ولكن Azure Databricks أزال إعداد مسؤول مساحة العمل لتعطيله. إذا قمت مسبقا بتعطيل iFraming التابع لجهة خارجية لمساحة عمل، فستستمر الميزة في التعطيل لمساحة العمل هذه. لإعادة تمكين iFraming التابع لجهة خارجية، اتصل بفريق حساب Azure Databricks.

تم تحديث ملحق Databricks ل Visual Studio Code إلى الإصدار 1.1.1

4 أغسطس 2023

يوفر ملحق Databricks للإصدار 1.1.1 من Visual Studio Code العديد من الإصلاحات الثانوية، على سبيل المثال التعامل بشكل صحيح مع HOME متغير البيئة على Windows، والمزيد. للحصول على التفاصيل، راجع سجل التغيير للإصدار 1.1.1.

LangChain متوفر في 13.1 وما فوق

4 أغسطس 2023

يتوفر LangChain كنكهة MLflow تجريبية تسمح لعملاء LangChain للاستفادة من الأدوات القوية وقدرات تتبع التجارب ل MLflow مباشرة من بيئة Azure Databricks.

LangChain هو إطار عمل برمجي مصمم للمساعدة في إنشاء تطبيقات تستخدم نماذج اللغات الكبيرة (LLMs) ودمجها مع البيانات الخارجية لتحقيق المزيد من سياق التدريب ل LLMs.

يتضمن langchain وقت تشغيل Databricks التعلم الآلي في Databricks Runtime 13.1 ML وما فوق.

هندسة الميزات في كتالوج Unity هي معاينة عامة

3 أغسطس 2023

مع هندسة الميزات في كتالوج Unity، يصبح كتالوج Unity مخزن الميزات الخاص بك. يمكنك استخدام أي جدول Delta مع مفتاح أساسي كجدول ميزات لتدريب النموذج أو الاستدلال. يوفر كتالوج Unity اكتشاف الميزات وإدارتها.

معالجة الأخطاء المحسنة لحالات الفشل المستمر المتكررة في الوظائف

3 أغسطس 2023

تستخدم المهام المستمرة التي تتجاوز عتبة حالات الفشل المتتالية الآن مخطط التراجع الأسي لإعادة محاولة تشغيل الوظائف بكفاءة والسماح للوظائف بالتعافي من المشكلات العابرة. في السابق، تم إيقاف المهام المستمرة التي تتجاوز حد الفشل مؤقتا ولم تتم إعادة المحاولة.

مستودعات SQL بلا خادم متوفرة الآن في مناطق إضافية

3 أغسطس 2023

تتوفر مستودعات SQL بلا خادم في مناطق إضافية: شرق أستراليا، وكندا الوسطى، وغرب الولايات المتحدة 2، وجنوب وسط الولايات المتحدة، وجنوب شرق آسيا. راجع مناطق Azure Databricks.

إذا كنت تخطط لاستخدام جدار حماية Azure Storage، فقم بتكوين جدار الحماية للسماح بالوصول من الشبكات الفرعية لمستودع SQL بلا خادم. راجع أمان شبكة مستودع SQL بلا خادم.

مشاركة المخططات باستخدام Delta Sharing (معاينة عامة)

2 أغسطس 2023

يمكنك الآن استخدام Delta Sharing لمشاركة مخطط بأكمله، مما يمنح المستلم حق الوصول إلى جميع الجداول وطرق العرض في المخطط في اللحظة التي تشاركها فيها، إلى جانب أي جداول وطرق عرض تتم إضافتها إلى المخطط في المستقبل. تتطلب إضافة المخططات إلى مشاركة باستخدام أوامر SQL مستودع SQL على إصدار حساب SQL 2023.35 أو أعلى، أو نظام مجموعة يقوم بتشغيل Databricks Runtime 13.2 أو أعلى. القيام بنفس الشيء باستخدام مستكشف الكتالوج ليس لديه متطلبات حساب. راجع إضافة مخططات إلى مشاركة.

تشغيل المهام بشكل مشروط في مهام Azure Databricks

2 أغسطس 2023

يمكنك استخدام الشرط الجديد Run if لتشغيل مهمة مهمة استنادا إلى حالة تبعيات المهمة، ما يوفر مزيدا من المرونة عند تنفيذ سير عمل مع مهمة Azure Databricks. على سبيل المثال، يمكنك استخدام Run if الشرط لتشغيل مهمة عند فشل بعض تبعيات المهمة أو كلها. راجع تشغيل المهام بشكل مشروط في مهمة Azure Databricks.

تم تحديث موفر Databricks Terraform إلى الإصدار 1.22.0

1 أغسطس 2023

يضيف الإصدار 1.22.0 من موفر Databricks Terraform موردا databricks_access_control_rule_set ويضيف databricks_metastoredatabricks_metastore مصادر البيانات والمزيد. للحصول على التفاصيل، راجع سجل التغيير للإصدار 1.22.0.

ميزات الأمان والتوافق المحسنة

1 أغسطس 2023

يمكنك تمكين ملف تعريف أمان التوافق، الذي يوفر مراقبة إضافية، وصورة حساب مشددة، وميزات أخرى، على مساحات العمل الخاصة بك. ملف تعريف أمان التوافق مطلوب لاستخدام Azure Databricks لمعالجة البيانات التي ينظمها PCI-DSS، ولكن يمكنك اختيار تمكين ملف التعريف إذا كنت لا تعالج مثل هذه البيانات. أنت وحدك المسؤول عن ضمان امتثالك لجميع القوانين واللوائح المعمول بها.

بدلا من ذلك، يمكنك تمكين مراقبة الأمان المحسنة بشكل منفصل، والتي توفر مراقبة إضافية وصورة حوسبة مشددة.

تتوفر كلتا الميزتين كجزء من الوظيفة الإضافية الجديدة Enhanced Security and Compliance. إذا قمت بتمكين أي من هذه الميزات على مساحة عمل، فسيتم تحصيل رسوم منك مقابل الوظيفة الإضافية الجديدة كما هو موضح في صفحة التسعير. تتطلب كلتا الميزتين مستوى التسعير المتميز.

Lakehouse Monitoring هو معاينة عامة

1 أغسطس 2023

يدمج Databricks Lakehouse Monitoring البيانات ومراقبة جودة النموذج في النظام الأساسي Databricks. فهو يوفر مقاييس جودة خارج الصندوق مثل الإحصائيات الموجزة والتغييرات في التوزيع بمرور الوقت وأداء النموذج بما في ذلك الإنصاف والتحيز. ينشئ Lakehouse Monitoring تلقائيا لوحة معلومات ملخصة لمساعدتك على تصور جودة البيانات بمرور الوقت. يمكنك أيضا إعداد التنبيهات استنادا إلى البيانات.

Databricks Runtime 13.3 LTS (Beta)

1 أغسطس 2023

Databricks Runtime 13.3 LTS وDatabricks Runtime 13.3 LTS ML متوفران الآن كإصدارات بيتا.

راجع Databricks Runtime 13.3 LTS وDatabricks Runtime 13.3 LTS التعلم الآلي.

تتوفر عمليات Git الجديدة بشكل عام: دمج الفروع وإعادة تأسيسها وسحبها مع حل التعارض

1 أغسطس 2023

تتوفر عمليات Git التالية الآن بشكل عام في Databricks Repos:

  • دمج وإعادة إنشاء: يمكنك الآن دمج Git أو إعادة إنشاء فرعين مباشرة في Azure Databricks. وهذا يبسط عملية الجمع بين الفروع ويوفر القدرة على حل التعارضات التي تنشأ أثناء العملية.
  • السحب مع حل التعارض: يمكنك الآن استخدام Databricks Repos لإدارة وحل التعارضات التي تحدث عند السحب من مستودع Git البعيد باستخدام Azure Databricks.

باستخدام أدوات حل التعارض الجديدة القوية هذه، يصبح التعاون في التعليمات البرمجية باستخدام Databricks Repos أكثر انسيابية وكفاءة.