مشاركة عبر

الوصول إلى سجلات التشخيص ل Azure Data Lake Analytics

  • مقالة

هام

تم إيقاف Azure Data Lake Analytics في 29 فبراير 2024. تعرف على المزيد من خلال هذا الإعلان.

بالنسبة لتحليلات البيانات، يمكن لمؤسستك استخدام Azure Synapse Analytics أو Microsoft Fabric.

يسمح لك التسجيل التشخيصي بجمع مسارات تدقيق الوصول إلى البيانات. توفر هذه السجلات معلومات مثل:

  • قائمة بالمستخدمين الذين يصلون إلى البيانات.
  • عدد المرات التي يتم فيها الوصول إلى البيانات.
  • مقدار البيانات المخزنة في الحساب.

تمكين التسجيل

  1. قم بتسجيل الدخول إلى مدخل Azure .

  2. افتح حساب Data Lake Analytics وحدد Diagnostic settings من قسم Monitoring . بعد ذلك، حدد + Add diagnostic setting.

    لقطة شاشة تعرض إجراء

  3. من إعداد Diagnostics، أدخل اسما لتكوين التسجيل هذا ثم حدد خيارات التسجيل.

    لقطة شاشة تعرض الإعدادات لتشغيل التشخيصات لجمع سجلات التدقيق والطلب تمكين

    • يمكنك اختيار تخزين/معالجة البيانات بأربع طرق مختلفة.

      • حدد الأرشفة إلى حساب تخزين لتخزين السجلات في حساب تخزين Azure. استخدم هذا الخيار إذا كنت تريد أرشفة البيانات. إذا قمت بتحديد هذا الخيار، يجب توفير حساب تخزين Azure لحفظ السجلات إليه.

      • حدد Stream إلى مركز أحداث لدفق بيانات السجل إلى Azure Event Hubs. استخدم هذا الخيار إذا كان لديك مسار معالجة انتقال البيانات من الخادم يقوم بتحليل السجلات الواردة في الوقت الفعلي. إذا قمت بتحديد هذا الخيار، يجب توفير تفاصيل مراكز أحداث Azure التي تريد استخدامها.

      • حدد إرسال إلى مساحة عمل Log Analytics لإرسال البيانات إلى خدمة Azure Monitor. استخدم هذا الخيار إذا كنت تريد استخدام سجلات Azure Monitor لجمع السجلات وتحليلها.

      • حدد إرسال إلى حل الشريك إذا كنت تريد استخدام تكامل شريكنا. لمزيد من المعلومات، يمكنك اتباع هذا الارتباط.

    • حدد ما إذا كنت تريد الحصول على سجلات التدقيق أو سجلات الطلب أو كليهما. يلتقط سجل الطلب كل طلب واجهة برمجة تطبيقات. يسجل سجل التدقيق جميع العمليات التي يتم تشغيلها بواسطة طلب واجهة برمجة التطبيقات هذا.

    • بالنسبة إلى الأرشفة إلى حساب تخزين، حدد عدد الأيام للاحتفاظ بالبيانات.

    • حدد ⁧⁩حفظ⁧⁩.

      ملاحظة

      يجب تحديد إما Archive to a storage account أو Stream إلى Event Hub أو Send to Log Analytics workspace أو Send to partner solution قبل تحديد الزر Save.

استخدام حساب Azure Storage الذي يحتوي على بيانات السجل

  1. لعرض حاويات الكائن الثنائي كبير الحجم التي تحتوي على بيانات التسجيل، افتح حساب تخزين Azure المستخدم ل Data Lake Analytics للتسجيل، ثم حدد Containers.

    • يحتوي container insights-logs-audit على سجلات التدقيق.
    • تحتوي نتائج تحليلات الحاوية-logs-requests على سجلات الطلب.

  2. داخل الحاويات، يتم تخزين السجلات ضمن بنية الملف التالية:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    ملاحظة

    ## تحتوي الإدخالات في المسار على السنة والشهر واليوم والساعة التي تم فيها إنشاء السجل. يقوم Data Lake Analytics بإنشاء ملف واحد كل ساعة، لذلك m= يحتوي دائما على قيمة 00.

    على سبيل المثال، يمكن أن يكون المسار الكامل لسجل التدقيق:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    وبالمثل، يمكن أن يكون المسار الكامل لسجل الطلب:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

معالجة بيانات السجل

يوفر Azure Data Lake Analytics عينة حول كيفية معالجة بيانات السجل وتحليلها. يمكنك العثور على العينة في https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

بنية السجل

سجلات التدقيق والطلب بتنسيق JSON منظم.

سجلات الطلب

فيما يلي إدخال عينة في سجل الطلب بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على عنصر جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

مخطط سجل الطلب

الاسم النوع الوصف
الوقت سلسلة الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل
resourceId سلسلة معرف المورد الذي تمت العملية عليه
الفئة سلسلة فئة السجل. على سبيل المثال، ⁧⁩الطلبات⁧⁩.
operationName سلسلة اسم العملية التي تم تسجيلها. على سبيل المثال، GetAggregatedJobHistory.
resultType سلسلة حالة العملية، على سبيل المثال، 200.
CallerIpAddress سلسلة عنوان IP للعميل الذي يقدم الطلب
correlationId سلسلة معرف السجل. يمكن استخدام هذه القيمة لتجميع مجموعة من إدخالات السجل ذات الصلة.
الهوية عنصر الهوية التي أنشأت السجل
خصائص JSON راجع القسم التالي (مخطط خصائص سجل الطلب) للحصول على التفاصيل

مخطط خصائص سجل الطلب

الاسم النوع الوصف
HttpMethod سلسلة أسلوب HTTP المستخدم للعملية. على سبيل المثال، GET.
المسار سلسلة المسار الذي تم تنفيذ العملية عليه
RequestContentLength int طول محتوى طلب HTTP
ClientRequestId سلسلة المعرف الذي يعرف هذا الطلب بشكل فريد
StartTime سلسلة الوقت الذي تلقى فيه الخادم الطلب
endTime سلسلة الوقت الذي أرسل فيه الخادم استجابة

سجلات التدقيق

فيما يلي إدخال عينة في سجل التدقيق بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على كائن جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

مخطط سجل التدقيق

الاسم النوع الوصف
الوقت سلسلة الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل
resourceId سلسلة معرف المورد الذي تمت العملية عليه
الفئة سلسلة فئة السجل. على سبيل المثال، التدقيق.
operationName سلسلة اسم العملية التي تم تسجيلها. على سبيل المثال، JobSubmitted.
resultType سلسلة حالة فرعية لحالة الوظيفة (operationName).
resultSignature سلسلة تفاصيل إضافية حول حالة الوظيفة (operationName).
الهوية سلسلة المستخدم الذي طلب العملية. على سبيل المثال، ⁧susan@contoso.com⁩.
خصائص JSON راجع القسم التالي (مخطط خصائص سجل التدقيق) للحصول على التفاصيل

ملاحظة

يوفر resultType و resultSignature معلومات حول نتيجة العملية، ويحتويان على قيمة فقط إذا اكتملت العملية. على سبيل المثال، تحتوي فقط على قيمة عندما يحتوي operationName على قيمة JobStarted أو JobEnded.

مخطط خصائص سجل التدقيق

الاسم النوع الوصف
معرف المهمة سلسلة المعرف المعين للوظيفة
JobName سلسلة الاسم الذي تم توفيره للوظيفة
وقت تشغيل المهمة سلسلة وقت التشغيل المستخدم لمعالجة المهمة
وقت الإرسال سلسلة الوقت (بالتوقيت العالمي المتفق عليه) الذي تم فيه تقديم المهمة
StartTime سلسلة الوقت الذي بدأت فيه المهمة في العمل بعد الإرسال (بالتوقيت العالمي المتفق عليه)
endTime سلسلة وقت انتهاء المهمة
تماثل سلسلة عدد وحدات Data Lake Analytics المطلوبة لهذه المهمة أثناء الإرسال

ملاحظة

يوفر SubmitTimeوStartTimeوEndTimeوالتوازي معلومات حول عملية. تحتوي هذه الإدخالات على قيمة فقط إذا بدأت هذه العملية أو اكتملت. على سبيل المثال، يحتوي SubmitTime فقط على قيمة بعد أن يحتوي operationName على القيمة JobSubmitted.

الخطوات التالية