ما الجديد في HDInsight على AKS؟ (معاينة)
إشعار
سنتقاعد Azure HDInsight على AKS في 31 يناير 2025. قبل 31 يناير 2025، ستحتاج إلى ترحيل أحمال العمل الخاصة بك إلى Microsoft Fabric أو منتج Azure مكافئ لتجنب الإنهاء المفاجئ لأحمال العمل الخاصة بك. سيتم إيقاف المجموعات المتبقية على اشتراكك وإزالتها من المضيف.
سيتوفر الدعم الأساسي فقط حتى تاريخ الإيقاف.
هام
هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.
في HDInsight على AKS، تتمتع جميع إدارة نظام المجموعة والعمليات بدعم أصلي لإدارة الخدمة على مدخل Azure للمجموعات الفردية.
في HDInsight على AKS، يتم تقديم مفهومين جديدين:
- يتم استخدام تجمعات نظام المجموعة لتجميع المجموعات وإدارتها.
- تستخدم المجموعات لحسابات مصدر مفتوح، تتم استضافتها داخل تجمع نظام المجموعة.
تجمعات نظام المجموعة
يعمل HDInsight على AKS على خدمة Azure Kubernetes (AKS). مورد المستوى الأعلى هو تجمع نظام المجموعة ويدير جميع المجموعات التي تعمل على نفس نظام مجموعة AKS. عند إنشاء تجمع نظام مجموعة، يتم إنشاء مجموعة AKS أساسية في نفس الوقت لاستضافة جميع المجموعات في التجمع. تجمعات نظام المجموعة هي تجميع منطقي للمجموعات، ما يساعد في بناء إمكانية تشغيل متداخلة قوية عبر أنواع مجموعات متعددة ويسمح للمؤسسات بالحصول على المجموعات في نفس الشبكة الظاهرية. توفر مجموعات المجموعات وصولا سريعا وفعالا من حيث التكلفة إلى جميع أنواع المجموعات التي تم إنشاؤها عند الطلب وعلى نطاق واسع. يتوافق تجمع مجموعة واحد مع مجموعة واحدة في البنية الأساسية ل AKS.
أنظمة المجموعات
المجموعات هي أحمال عمل حساب فردية مصدر مفتوح، مثل Apache Spark وApache Flink و Trino، والتي يمكن إنشاؤها بسرعة في بضع دقائق مع تكوينات محددة مسبقا وبضع نقرات. على الرغم من التشغيل على نفس تجمع نظام المجموعة، يمكن أن يكون لكل مجموعة تكوينات خاصة بها، مثل نوع نظام المجموعة، والإصدار، وحجم الجهاز الظاهري للعقدة، وعدد العقد. تعمل المجموعات على موارد حساب منفصلة مع DNS ونقاط النهاية الخاصة بها.
الميزات قيد المعاينة حاليًا
تعرض قائمة الجدول التالية ميزات HDInsight على AKS الموجودة حاليا في المعاينة. يتم فرز ميزات المعاينة أبجديا.
| المنطقة | الميزات |
|---|---|
| أساسيات | إنشاء تجمع ومجموعات باستخدام المدخل، ودعم Web secure shell (ssh)، والقدرة على اختيار عدد العقد العاملة أثناء إنشاء نظام المجموعة |
| التخزين | دعم تخزين ADLS Gen2 |
| Metastore | دعم Metastore الخارجي ل Trino وSpark وFlink، التكامل مع HDInsight |
| الأمان | دعم ARM RBAC، ودعم المصادقة المستندة إلى MSI، وخيار توفير الوصول إلى نظام المجموعة للمستخدمين الآخرين |
| التسجيل والمراقبة | تجميع السجل في تحليلات سجل Azure، لسجلات الخادم، نظام المجموعة ومقاييس الخدمة عبر Prometheus المدارة وGrafana، مقاييس خادم الدعم في Azure monitor، صفحة حالة الخدمة لمراقبة حالة الخدمة |
| تحجيم تلقائي | التحجيم التلقائي المستند إلى التحميل، والمقياس التلقائي المستند إلى الجدول |
| تخصيص وتكوين أنظمة المجموعات | دعم إجراءات البرنامج النصي أثناء إنشاء نظام المجموعة، ودعم إدارة المكتبة، وإعدادات تكوين الخدمة بعد إنشاء نظام المجموعة |
| Trino | دعم كتالوجات Trino ودعم Trino CLI ودعم DBeaver لإرسال الاستعلام وإضافة المكونات الإضافية والموصلات أو إزالتها ودعم تسجيل أحداث الاستعلام ودعم إحصائيات استعلام الفحص لأي موصل في لوحة معلومات Trino ودعم لوحة معلومات Trino لمراقبة الاستعلامات والتخزين المؤقت للاستعلام والتكامل مع Power BI والتكامل مع Apache Superset ، Redash، دعم موصلات متعددة |
| وصلة | دعم واجهة مستخدم الويب الأصلية ل Flink، ودعم Flink مع HMS ل DStream، وإرسال المهام إلى نظام المجموعة باستخدام واجهة برمجة تطبيقات REST ومدخل Azure، وتشغيل البرامج المحزمة كملفات JAR عبر Flink CLI، ودعم نقاط الحفظ المستمرة، ودعم تحديث خيارات التكوين عند تشغيل المهمة، والاتصال بخدمات Azure المتعددة: Azure Cosmos DB، Azure Databricks وAzure Data Explorer وAzure Event Hubs وAzure IoT Hub وAzure Pipelines وAzure Data Factory Workflow Orchestration Manager وHDInsight Kafka وإرسال المهام إلى نظام المجموعة باستخدام Flink CLI وCDC مع Flink |
| Spark | Jupyter Notebook، دعم Delta lake 2.0، دعم Zeppelin، دعم ATS، دعم واجهة خادم Yarn History، إرسال المهمة باستخدام SSH، إرسال المهمة باستخدام SDK ودفتر الملاحظات التعلم الآلي |
مخطط الميزات
| ميزة | المخطط الزمني للإصدار المقدر | الحالة |
|---|---|---|
| Autoscale - Load Based - Trino | الربع الأول 2024 | مكتمل |
| تبديل المقياس التلقائي المستند إلى التحميل المدرك عشوائيا ل Spark | الربع الثاني 2024 | قيد التقدم |
| الترقية الموضعية | الربع الثاني 2024 | مكتمل |
| دعم المثيل المحجوز | الربع الثاني 2024 | قيد التقدم |
| المصادقة المستندة إلى MSI ل Metastore (SQL) | الربع الأول 2024 | قيد التقدم |
| Spark 3.4 | الربع الثاني 2024 | قيد التقدم |
| Trino 426 | الربع الأول 2024 | مكتمل |
| Ranger ل RBAC | الربع الثاني 2024 | قيد التقدم |
| دعم وضع التطبيق ل Flink | الربع الأول 2024 | مكتمل |
| Flink 1.17 | الربع الأول 2024 | مكتمل |
| دعم Spark ACID | الربع الأول 2024 | قيد التقدم |
| وحدات SKU القابلة للتكوين ل Headnode وSSH | الربع الثاني 2024 | قيد التقدم |
| دعم بوابة Flink SQL | الربع الأول 2024 | مكتمل |
| أنظمة المجموعات الخاصة ل HDInsight على AKS | الربع الأول 2024 | مكتمل |
| دعم Ranger ل Spark SQL | الربع الرابع من عام 2024 | قيد التقدم |
| Ranger ACLs على طبقة التخزين | الربع الرابع من عام 2024 | قيد التقدم |
| دعم One lake كحاوية أساسية | الربع الثاني 2024 | قيد التقدم |