نظرة عامة على Azure Data Lake Storage Gen1 في HDInsight

  • مقالة

Azure Data Lake Storage Gen1 هو مستودع واسع النطاق على مستوى المؤسسة لأحمال العمل التحليلية للبيانات الضخمة. باستخدام Azure Data Lake، يمكنك الحصول على البيانات من أي حجم ونوع وسرعة استيعاب. وفي مكان واحد للتحليلات التشغيلية والاستكشافية.

يمكن الوصول إلى Data Lake Storage Gen1 من Hadoop (متوفر مع مجموعة HDInsight) باستخدام واجهات برمجة تطبيقات REST المتوافقة مع WebHDFS. تم تصميم Data Lake Storage Gen1 لتمكين تحليل البيانات المخزنة وتم تحسينه لكفاءة الأداء في سيناريوهات تحليلات البيانات. يتضمن Gen1 الإمكانيات التي تعتبر ضرورية لحالات استخدام المؤسسات الفعلية. وتشمل هذه الإمكانيات الأمان، وإمكانية الإدارة، والقدرة على التكيف، والموثوقية، والتوافر.

لمزيد من المعلومات حول Data Lake Storage Gen1، راجع تفاصيل نظرة عامة على Azure Data Lake Storage Gen1.

تتضمن الإمكانيات الرئيسية لدى Data Lake Storage Gen1 ما يلي.

التوافق مع Hadoop

Data Lake Storage Gen1 هو نظام ملفات Apache Hadoop متوافق مع بيئة HDFS وHadoop. يمكن لتطبيقات أو خدمات HDInsight التي تستخدم واجهة برمجة تطبيقات WebHDFS أن تتكامل بسهولة مع Data Lake Storage Gen1. يعرض Data Lake Storage Gen1 أيضًا واجهة REST متوافقة مع WebHDFS للتطبيقات.

يمكنك بسهولة تحليل البيانات المخزنة في Data Lake Storage Gen1 باستخدام أطر عمل تحليلية لدى Hadoop. أطر عمل مثل MapReduce أو Apache Hive. يمكن توفير أنظمة مجموعات Azure HDInsight وتكوينها للوصول مباشرة إلى البيانات المخزنة في Data Lake Storage Gen1.

تخزين غير محدود، ملفات بيتابايت

يوفر Data Lake Storage Gen1 مساحة تخزين غير محدودة ومناسب لتخزين مجموعة متنوعة من البيانات للتحليلات. لا يفرض قيوداً على أحجام الحسابات أو أحجام الملفات. أو كمية البيانات التي يمكن تخزينها في مستودع البيانات. تتراوح الملفات الفردية في الحجم من وحدات كيلوبايت إلى وحدات بيتابايت، ما يجعل Data Lake Storage Gen1 خياراً رائعاً لتخزين أي نوع من البيانات. يتم تخزين البيانات بشكل دائم عن طريق عمل نسخ متعددة. ولا توجد حدود للفترة التي يمكن فيها تخزين البيانات في مستودع البيانات.

تحسين الأداء لتحليلات البيانات الضخمة

تم تصميم Data Lake Storage Gen1 لأنظمة التحليل. الأنظمة التي تتطلب معدل نقل ضخم للاستعلام عن كميات كبيرة من البيانات وتحليلها. ينشر مستودع البيانات أجزاء من ملف عبر عدد من خوادم التخزين الفردية. عند تحليل البيانات، يعمل هذا الإعداد على تحسين معدل نقل القراءة عند قراءة الملف بالتوازي.

مدى الاستعداد للمؤسسات: متوفر وآمن للغاية

يوفر Data Lake Storage Gen1 التوافر والموثوقية وفقاً لمعايير الصناعة. يتم تخزين أصول بياناتك بشكل دائم: نُسخ زائدة عن الحاجة للحماية من أي أعطال غير متوقعة. يمكن للمؤسسات استخدام Data Lake Storage Gen1 في حلولها كجزء مهم من نظام البيانات الأساسي.

يوفر Data Lake Storage Gen1 أيضاً أماناً على مستوى المؤسسة للبيانات المخزنة. لمزيد من المعلومات، راجع تأمين البيانات في Azure Data Lake Storage Gen1.

بنيات بيانات مرنة

يمكن لـ Data Lake Storage Gen1 تخزين أي بيانات في صيغتها الأصلية، دون الحاجة إلى تحويلات سابقة. لا يتطلب Data Lake Storage Gen1 مخطط ليتم تعريفه قبل تحميل البيانات. يقوم إطار العمل التحليلي الفردي بتفسير البيانات وتعريف المخطط في وقت التحليل. يمكن أن يقوم Data Lake Storage Gen1 بمعالجة البيانات المصنفة. والبيانات شبه المصنفة وغير المصنفة.

حاويات Data Lake Storage Gen1 للبيانات هي أساس المجلدات والملفات. أنت تعمل على البيانات المخزنة باستخدام حزم SDK ومدخل Microsoft Azure وAzure Powershell. يمكن للبيانات التي وضعت في المخزن مع هذه الواجهات والحاويات، تخزين أي نوع من البيانات. لا يقوم Data Lake Storage Gen1 بأي معالجة خاصة للبيانات المستندة إلى نوع البيانات.

أمان البيانات في Data Lake Storage Gen1

يستخدم Data Lake Storage Gen1 معرف Microsoft Entra للمصادقة ويستخدم قوائم التحكم في الوصول (ACLs) لإدارة الوصول إلى بياناتك.

الميزة الوصف
المصادقة يتكامل Data Lake Storage Gen1 مع معرف Microsoft Entra لإدارة الهوية والوصول لجميع البيانات المخزنة في Data Lake Storage Gen1. وبسبب التكامل، يستفيد Data Lake Storage Gen1 من جميع ميزات Microsoft Entra. تتضمن هذه الميزات: مصادقة متعددة العوامل والوصول المشروط وعنصر تحكم الوصول المستند إلى دور Azure. وأيضاً، مراقبة استخدام التطبيق، ومراقبة الأمان والتنبيه، وغير ذلك. يدعم "Data Lake Storage Gen1" بروتوكول OAuth 2.0 للحماية داخل واجهة REST. راجع المصادقة داخل Azure Data Lake Storage Gen1 باستخدام معرف Microsoft Entra
عنصر تحكم الوصول يوفر Data Lake Storage Gen1 التحكم في إمكانية الوصول من خلال دعم أذونات نمط POSIX التي تم كشفها من قِبل بروتوكول WebHDFS. يمكن تمكين قوائم التحكم بالوصول في المجلد الجذر، والمجلدات الفرعية، والملفات الفردية. لمزيد من المعلومات حول كيفية عمل قوائم التحكم بالوصول في سياقData Lake Storage Gen1، راجع التحكم في إمكانية الوصول في Data Lake Storage Gen1.
التشفير يوفر Data Lake Storage Gen1 تشفير البيانات المخزنة في الحساب. يمكنك تحديد إعدادات التشفير في أثناء إنشاء حساب "Data Lake Storage Gen1". يمكنك الاختيار ما بين تشفير بياناتك أو عدم تشفيرها. لمزيد من المعلومات، راجع التشفير في Data Lake Storage Gen1. للحصول على إرشادات حول كيفية توفير الإعدادات المرتبطة بالتشفير، راجع بدء استخدام Azure Data Lake Storage Gen1 من خلال مدخل Microsoft Azure.

لمعرفة المزيد حول تأمين البيانات في Data Lake Storage Gen1، راجع تأمين البيانات المخزنة في Azure Data Lake Storage Gen1.

التطبيقات المتوافقة مع Data Lake Storage Gen1

يتوافق Data Lake Storage Gen1 مع معظم المكونات مفتوحة المصدر في بيئة Hadoop. كما أنه يتكامل بشكل جيد مع خدمات Azure الأخرى. اتبع الارتباطات أدناه لمعرفة المزيد حول كيفية استخدام Data Lake Storage Gen1 مع كل من المكونات المفتوحة المصدر وخدمات Azure الأخرى.

نظام ملفات Data Lake Storage Gen1 (adl://)

في بيئات Hadoop، يمكنك الوصول إلى Data Lake Storage Gen1 من خلال نظام الملفات الجديد، نظام AzureDataLakeFilesystem (adl://). يمكن تحسين أداء التطبيقات والخدمات التي تستخدم adl:// بطرق غير متوفرة حالياً في WebHDFS. ونتيجة لذلك، يمكنك الحصول على المرونة إما للاستفادة من أفضل أداء باستخدام adl:// الموصى به. أو بالاحتفاظ بالتعليمات البرمجية الموجودة عن طريق الاستمرار في استخدام واجهة برمجة تطبيقات WebHDFS مباشرةً. يستفيد Azure HDInsight بأقصى استفادة من نظام AzureDataLakeFilesystem لتوفير أفضل أداء على Data Lake Storage Gen1.

قم بالوصول إلى بياناتك في Data Lake Storage Gen1 باستخدام معرف الموارد المنتظم التالي:

adl://<data_lake_storage_gen1_name>.azuredatalakestore.net

لمزيد من المعلومات حول كيفية الوصول إلى البيانات في Data Lake Storage Gen1، راجع الإجراءات المتوفرة على البيانات المخزنة.

الخطوات التالية