مشاركة عبر

الوصول إلى سجلات التشخيص ل Azure Data Lake Storage Gen1

  • مقالة

تعرف على كيفية تمكين التسجيل التشخيصي لحساب Azure Data Lake Storage Gen1 وكيفية عرض السجلات التي تم جمعها لحسابك.

يمكن للمؤسسات تمكين التسجيل التشخيصي لحساب Azure Data Lake Storage Gen1 لجمع مسارات تدقيق الوصول إلى البيانات التي توفر معلومات مثل قائمة المستخدمين الذين يصلون إلى البيانات، ومدى تكرار الوصول إلى البيانات، ومقدار البيانات المخزنة في الحساب، وما إلى ذلك. عند التمكين، يتم تسجيل التشخيصات و/أو الطلبات على أساس أفضل جهد. يتم إنشاء كل من إدخالات سجل الطلبات والتشخيص فقط إذا كانت هناك طلبات تم إجراؤها مقابل نقطة نهاية الخدمة.

المتطلبات الأساسية

تمكين التسجيل التشخيصي لحساب Data Lake Storage Gen1

  1. سجل الدخول إلى مدخل Microsoft Azure الجديد.

  2. افتح حساب Data Lake Storage Gen1، ومن جزء حساب Data Lake Storage Gen1، انقر فوق إعدادات التشخيص.

  3. في جزء إعدادات التشخيص ، انقر فوق تشغيل التشخيصات.

    لقطة شاشة لحساب Data Lake Storage Gen 1 مع خيار إعداد التشخيص وخيار تشغيل التشخيص الذي تم استدعاؤه.

  4. في جزء Diagnostics settings ، قم بإجراء التغييرات التالية لتكوين التسجيل التشخيصي.

    لقطة شاشة لقسم إعداد التشخيص مع مربع النص Name وخيار Save الذي تم استدعاؤه.

    • بالنسبة إلى Name، أدخل قيمة لتكوين سجل التشخيص.

    • يمكنك اختيار تخزين/معالجة البيانات بطرق مختلفة.

      • حدد خيار الأرشفة إلى حساب تخزين لتخزين السجلات إلى حساب تخزين Azure. يمكنك استخدام هذا الخيار إذا كنت تريد أرشفة البيانات التي ستتم معالجتها دفعة واحدة في وقت لاحق. إذا قمت بتحديد هذا الخيار، يجب توفير حساب تخزين Azure لحفظ السجلات فيه.

      • حدد خيار Stream إلى مركز أحداث لدفق بيانات السجل إلى Azure Event Hub. على الأرجح ستستخدم هذا الخيار إذا كان لديك مسار معالجة انتقال البيانات من الخادم لتحليل السجلات الواردة في الوقت الفعلي. إذا حددت هذا الخيار، يجب توفير تفاصيل Azure Event Hub الذي تريد استخدامه.

      • حدد خيار إرسال إلى Log Analytics لاستخدام خدمة Azure Monitor لتحليل بيانات السجل التي تم إنشاؤها. إذا حددت هذا الخيار، يجب توفير تفاصيل مساحة عمل Log Analytics التي ستستخدمها لإجراء تحليل السجل. راجع عرض البيانات التي تم جمعها باستخدام سجلات Azure Monitor أو تحليلها للبحث عن تفاصيل حول استخدام سجلات Azure Monitor.

    • حدد ما إذا كنت تريد الحصول على سجلات التدقيق أو سجلات الطلب أو كليهما.

    • حدد عدد الأيام التي يجب الاحتفاظ بالبيانات لها. لا ينطبق الاستبقاء إلا إذا كنت تستخدم حساب تخزين Azure لأرشفة بيانات السجل.

    • انقر فوق Save.

بمجرد تمكين إعدادات التشخيص، يمكنك مشاهدة السجلات في علامة التبويب سجلات التشخيص .

عرض سجلات التشخيص لحساب Data Lake Storage Gen1

هناك طريقتان لعرض بيانات السجل لحساب Data Lake Storage Gen1 الخاص بك.

  • من طريقة عرض إعدادات الحساب Data Lake Storage Gen1
  • من حساب تخزين Azure حيث يتم تخزين البيانات

استخدام طريقة عرض إعدادات Data Lake Storage Gen1

  1. من جزء إعدادات حساب Data Lake Storage Gen1، انقر فوق سجلات التشخيص.

    عرض سجلات التشخيص

  2. في جزء Diagnostics Logs ، يجب أن تشاهد السجلات المصنفة حسب سجلات التدقيقوسجلات الطلبات.

    • تسجل سجلات الطلب كل طلب واجهة برمجة تطبيقات يتم إجراؤه على حساب Data Lake Storage Gen1.
    • تشبه سجلات التدقيق سجلات الطلب ولكنها توفر تصنيفا أكثر تفصيلا للعمليات التي يتم إجراؤها على حساب Data Lake Storage Gen1. على سبيل المثال، قد يؤدي استدعاء واجهة برمجة تطبيقات تحميل واحد في سجلات الطلب إلى عمليات "إلحاق" متعددة في سجلات التدقيق.

  3. لتنزيل السجلات، انقر فوق الارتباط تنزيل مقابل كل إدخال سجل.

من حساب Azure Storage الذي يحتوي على بيانات السجل

  1. افتح جزء حساب Azure Storage المقترن Data Lake Storage Gen1 للتسجيل، ثم انقر فوق Blobs. تسرد شفرة خدمة Blob حاويتين.

    لقطة شاشة لجزء Data Lake Storage Gen 1 حدد خيار Blobs وشفرة خدمة المدونة مع استدعاء أسماء خدمتي كائن ثنائي كبير الحجم.

    • يحتوي container insights-logs-audit على سجلات التدقيق.
    • تحتوي نتائج تحليلات الحاوية-logs-requests على سجلات الطلب.

  2. داخل هذه الحاويات، يتم تخزين السجلات ضمن البنية التالية.

    لقطة شاشة لبنية السجل أثناء تخزينها في الحاوية.

    على سبيل المثال، يمكن أن يكون المسار الكامل لسجل التدقيق https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    وبالمثل، يمكن أن يكون المسار الكامل لسجل الطلب https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

فهم بنية بيانات السجل

سجلات التدقيق والطلب بتنسيق JSON. في هذا القسم، ننظر إلى بنية JSON لسجلات الطلب والتدقيق.

سجلات الطلب

فيما يلي إدخال عينة في سجل الطلب بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على عنصر جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

مخطط سجل الطلب

الاسم النوع الوصف
الوقت سلسلة الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل
resourceId سلسلة معرف المورد الذي تمت العملية عليه
الفئة سلسلة فئة السجل. على سبيل المثال، ⁧⁩الطلبات⁧⁩.
operationName سلسلة اسم العملية التي تم تسجيلها. على سبيل المثال، getfilestatus.
resultType سلسلة حالة العملية، على سبيل المثال، 200.
CallerIpAddress سلسلة عنوان IP للعميل الذي يقدم الطلب
correlationId سلسلة معرف السجل الذي يمكن استخدامه لتجميع مجموعة من إدخالات السجل ذات الصلة
الهوية العنصر الهوية التي أنشأت السجل
خصائص JSON انظر أدناه للحصول على التفاصيل

مخطط خصائص سجل الطلب

الاسم النوع الوصف
HttpMethod سلسلة أسلوب HTTP المستخدم للعملية. على سبيل المثال، GET.
المسار سلسلة المسار الذي تم تنفيذ العملية عليه
RequestContentLength int طول محتوى طلب HTTP
ClientRequestId سلسلة المعرف الذي يعرف هذا الطلب بشكل فريد
StartTime سلسلة الوقت الذي تلقى فيه الخادم الطلب
endTime سلسلة الوقت الذي أرسل فيه الخادم استجابة
حجم التخزين Long الحجم بالبايت الذي تم دخوله إلى Data Lake Store
حجم دخول المتجر Long الحجم بالبايت الخارج من Data Lake Store
QueryParameters سلسلة الوصف: هذه هي معلمات استعلام http. مثال 1: api-version=2014-01-01&op=getfilestatus Example 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

سجلات التدقيق

فيما يلي إدخال عينة في سجل التدقيق بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على كائن جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

مخطط سجل التدقيق

الاسم النوع الوصف
الوقت سلسلة الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل
resourceId سلسلة معرف المورد الذي تمت العملية عليه
الفئة سلسلة فئة السجل. على سبيل المثال، التدقيق.
operationName سلسلة اسم العملية التي تم تسجيلها. على سبيل المثال، getfilestatus.
resultType سلسلة حالة العملية، على سبيل المثال، 200.
resultSignature سلسلة تفاصيل إضافية حول العملية.
correlationId سلسلة معرف السجل الذي يمكن استخدامه لتجميع مجموعة من إدخالات السجل ذات الصلة
الهوية عنصر الهوية التي أنشأت السجل
خصائص JSON انظر أدناه للحصول على التفاصيل

مخطط خصائص سجل التدقيق

الاسم النوع الوصف
اسم الدفق سلسلة المسار الذي تم تنفيذ العملية عليه

عينات لمعالجة بيانات السجل

عند إرسال سجلات من Azure Data Lake Storage Gen1 إلى سجلات Azure Monitor (راجع عرض البيانات التي تم جمعها باستخدام سجلات Azure Monitor أو تحليلها للبحث عن تفاصيل حول استخدام سجلات Azure Monitor)، سيعيد الاستعلام التالي جدولا يحتوي على قائمة بأسماء عرض المستخدم ووقت الأحداث وعدد الأحداث لوقت الحدث جنبا إلى جنب مع مخطط بياني مرئي. يمكن تعديله بسهولة لإظهار GUID للمستخدم أو سمات أخرى:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

يوفر Azure Data Lake Storage Gen1 عينة حول كيفية معالجة بيانات السجل وتحليلها. يمكنك العثور على العينة في https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

راجع أيضًا