إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
يتيح Azure Synapse Analytics لمحركات الحوسبة المختلفة في مساحة العمل مشاركة قواعد البيانات والجداول بين مجموعات Apache Spark ومجموعة SQL بدون خادم.
تدعم المشاركة ما يسمى بنمط مستودع البيانات الحديث وتمنح محركات SQL في مساحة العمل الوصول إلى قواعد البيانات والجداول التي تم إنشاؤها باستخدام Spark. كما يسمح لمحركات SQL بإنشاء كائناتها الخاصة التي لا يتم مشاركتها مع المحركات الأخرى.
مهم
قد تظهر الجداول التي تم إنشاؤها في سبارك والتي تحتوي على أكثر من 1,024 عمودا في مستكشف الكائنات، لكن لا يمكن استعلامها من مجموعة SQL بدون خادم بسبب عدم اكتمال مزامنة البيانات الوصفية.
الحل البديل: تجنب إنشاء جداول Spark التي تحتوي على أكثر من 1024 عمودا إذا كان يجب استعلامها من مجموعة SQL بدون خادم. أعد تصميم المخطط وأعد إنشاء الجدول.
دعم مستودع البيانات الحديث
يدعم نموذج البيانات الوصفية المشتركة نمط مستودع البيانات الحديث بالطريقة التالية:
يتم إعداد البيانات من بحيرة البيانات وتنظيمها بكفاءة باستخدام Spark من خلال تخزين البيانات المعدة في جداول مدعومة بباركيت (ربما مقسمة) وتحتوي على عدة قواعد بيانات محتملة.
تصبح قواعد البيانات التي أنشأها Spark وجميع جداولها مرئية في أي من مثيلات تجمع Spark في مساحة عمل Azure Synapse ويمكن استخدامها من أي من مهام Spark. هذه القدرة تخضع للأذونات لأن جميع مجموعات سبارك في مساحة العمل تشترك في نفس مخزن الكتالوج الميتا الأساسي.
قواعد البيانات التي أنشأتها Spark وتصبح جداولها المدعومة ب Parquet أو CSV مرئية في مجموعة SQL بدون خادم في مساحة العمل. يتم إنشاء قواعد البيانات تلقائيا في بيانات تعريف SQL بدون خادم، ويتم الوصول إلى كل من الجداول الخارجية والمدارة التي تنشئها مهمة Spark كجداول خارجية في بيانات بيانات SQL بدون خادم في
dboمخطط قاعدة البيانات المقابلة.
يحدث مزامنة الكائنات بشكل غير متزامن. ستتأخر الكائنات قليلا لبضع ثوان حتى تظهر في سياق SQL. بمجرد ظهورها، يمكن الاستعلام عنها، لكن محركات SQL التي لديها صلاحية الوصول إليها، لا يتم تحديثها أو تغييرها.
كائنات البيانات الوصفية المشتركة
يسمح لك Spark بإنشاء قواعد بيانات، جداول خارجية، جداول مدارة، وعرضات. نظرا لأن عروض سبارك تتطلب محرك سبارك لمعالجة عبارة سبارك SQL التعريفية، ولا يمكن معالجتها بواسطة محرك SQL، فإن قواعد البيانات والجداول الخارجية والمدارة الموجودة عليها التي تستخدم تنسيق تخزين باركيت أو CSV فقط هي التي تشارك مع محرك SQL الخاص بمساحة العمل. تشارك مناظر الشرارة فقط بين حالات مسبح سبارك.
لمحة عن نموذج الأمان
قواعد بيانات وجداول سبارك، إلى جانب تمثيلاتها المتزامنة في محرك SQL، مؤمنة على مستوى التخزين الأساسي. عندما يتم الاستعلام من الجدول بواسطة أي من المحركات التي يحق لمقدم الاستعلام استخدامها، يتم تمرير مبدأ الأمان الخاص بمقدم الاستعلام إلى الملفات الأساسية. يتم التحقق من الأذونات على مستوى نظام الملفات.
لمزيد من المعلومات، راجع قاعدة بيانات Azure Synapse Analytics المشتركة.
صيانة التغيير
إذا تم حذف أو تغيير كائن بيانات وصفية باستخدام Spark، يتم التقاط التغييرات ونشرها إلى مجموعة SQL بدون خادم. المزامنة غير متزامنة وتنعكس التغييرات في محرك SQL بعد تأخير قصير.