الوصول إلى سجلات التشخيص ل Azure Data Lake Storage Gen1
تعرف على كيفية تمكين التسجيل التشخيصي لحساب Azure Data Lake Storage Gen1 وكيفية عرض السجلات التي تم جمعها لحسابك.
يمكن للمؤسسات تمكين التسجيل التشخيصي لحساب Azure Data Lake Storage Gen1 لجمع مسارات تدقيق الوصول إلى البيانات التي توفر معلومات مثل قائمة المستخدمين الذين يصلون إلى البيانات، ومدى تكرار الوصول إلى البيانات، ومقدار البيانات المخزنة في الحساب، وما إلى ذلك. عند التمكين، يتم تسجيل التشخيصات و/أو الطلبات على أساس أفضل جهد. يتم إنشاء كل من إدخالات سجل الطلبات والتشخيص فقط إذا كانت هناك طلبات تم إجراؤها مقابل نقطة نهاية الخدمة.
المتطلبات الأساسية
- اشتراك Azure. راجع الحصول على الإصدار التجريبي المجاني من Azure .
- حساب Azure Data Lake Storage Gen1. اتبع الإرشادات في بدء Azure Data Lake Storage Gen1 باستخدام مدخل Microsoft Azure.
تمكين التسجيل التشخيصي لحساب Data Lake Storage Gen1
سجل الدخول إلى مدخل Microsoft Azure الجديد.
افتح حساب Data Lake Storage Gen1، ومن جزء حساب Data Lake Storage Gen1، انقر فوق إعدادات التشخيص.
في جزء إعدادات التشخيص ، انقر فوق تشغيل التشخيصات.
في جزء Diagnostics settings ، قم بإجراء التغييرات التالية لتكوين التسجيل التشخيصي.
بالنسبة إلى Name، أدخل قيمة لتكوين سجل التشخيص.
يمكنك اختيار تخزين/معالجة البيانات بطرق مختلفة.
حدد خيار الأرشفة إلى حساب تخزين لتخزين السجلات إلى حساب تخزين Azure. يمكنك استخدام هذا الخيار إذا كنت تريد أرشفة البيانات التي ستتم معالجتها دفعة واحدة في وقت لاحق. إذا قمت بتحديد هذا الخيار، يجب توفير حساب تخزين Azure لحفظ السجلات فيه.
حدد خيار Stream إلى مركز أحداث لدفق بيانات السجل إلى Azure Event Hub. على الأرجح ستستخدم هذا الخيار إذا كان لديك مسار معالجة انتقال البيانات من الخادم لتحليل السجلات الواردة في الوقت الفعلي. إذا حددت هذا الخيار، يجب توفير تفاصيل Azure Event Hub الذي تريد استخدامه.
حدد خيار إرسال إلى Log Analytics لاستخدام خدمة Azure Monitor لتحليل بيانات السجل التي تم إنشاؤها. إذا حددت هذا الخيار، يجب توفير تفاصيل مساحة عمل Log Analytics التي ستستخدمها لإجراء تحليل السجل. راجع عرض البيانات التي تم جمعها باستخدام سجلات Azure Monitor أو تحليلها للبحث عن تفاصيل حول استخدام سجلات Azure Monitor.
حدد ما إذا كنت تريد الحصول على سجلات التدقيق أو سجلات الطلب أو كليهما.
حدد عدد الأيام التي يجب الاحتفاظ بالبيانات لها. لا ينطبق الاستبقاء إلا إذا كنت تستخدم حساب تخزين Azure لأرشفة بيانات السجل.
انقر فوق Save.
بمجرد تمكين إعدادات التشخيص، يمكنك مشاهدة السجلات في علامة التبويب سجلات التشخيص .
عرض سجلات التشخيص لحساب Data Lake Storage Gen1
هناك طريقتان لعرض بيانات السجل لحساب Data Lake Storage Gen1 الخاص بك.
- من طريقة عرض إعدادات الحساب Data Lake Storage Gen1
- من حساب تخزين Azure حيث يتم تخزين البيانات
استخدام طريقة عرض إعدادات Data Lake Storage Gen1
من جزء إعدادات حساب Data Lake Storage Gen1، انقر فوق سجلات التشخيص.
في جزء Diagnostics Logs ، يجب أن تشاهد السجلات المصنفة حسب سجلات التدقيقوسجلات الطلبات.
- تسجل سجلات الطلب كل طلب واجهة برمجة تطبيقات يتم إجراؤه على حساب Data Lake Storage Gen1.
- تشبه سجلات التدقيق سجلات الطلب ولكنها توفر تصنيفا أكثر تفصيلا للعمليات التي يتم إجراؤها على حساب Data Lake Storage Gen1. على سبيل المثال، قد يؤدي استدعاء واجهة برمجة تطبيقات تحميل واحد في سجلات الطلب إلى عمليات "إلحاق" متعددة في سجلات التدقيق.
لتنزيل السجلات، انقر فوق الارتباط تنزيل مقابل كل إدخال سجل.
من حساب Azure Storage الذي يحتوي على بيانات السجل
افتح جزء حساب Azure Storage المقترن Data Lake Storage Gen1 للتسجيل، ثم انقر فوق Blobs. تسرد شفرة خدمة Blob حاويتين.
- يحتوي container insights-logs-audit على سجلات التدقيق.
- تحتوي نتائج تحليلات الحاوية-logs-requests على سجلات الطلب.
داخل هذه الحاويات، يتم تخزين السجلات ضمن البنية التالية.
على سبيل المثال، يمكن أن يكون المسار الكامل لسجل التدقيق
https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json
وبالمثل، يمكن أن يكون المسار الكامل لسجل الطلب
https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json
فهم بنية بيانات السجل
سجلات التدقيق والطلب بتنسيق JSON. في هذا القسم، ننظر إلى بنية JSON لسجلات الطلب والتدقيق.
سجلات الطلب
فيما يلي إدخال عينة في سجل الطلب بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على عنصر جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل.
{
"records":
[
. . . .
,
{
"time": "2016-07-07T21:02:53.456Z",
"resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
"category": "Requests",
"operationName": "GETCustomerIngressEgress",
"resultType": "200",
"callerIpAddress": "::ffff:1.1.1.1",
"correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
"identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
"properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
}
,
. . . .
]
}
مخطط سجل الطلب
الاسم | النوع | الوصف |
---|---|---|
الوقت | سلسلة | الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل |
resourceId | سلسلة | معرف المورد الذي تمت العملية عليه |
الفئة | سلسلة | فئة السجل. على سبيل المثال، الطلبات. |
operationName | سلسلة | اسم العملية التي تم تسجيلها. على سبيل المثال، getfilestatus. |
resultType | سلسلة | حالة العملية، على سبيل المثال، 200. |
CallerIpAddress | سلسلة | عنوان IP للعميل الذي يقدم الطلب |
correlationId | سلسلة | معرف السجل الذي يمكن استخدامه لتجميع مجموعة من إدخالات السجل ذات الصلة |
الهوية | العنصر | الهوية التي أنشأت السجل |
خصائص | JSON | انظر أدناه للحصول على التفاصيل |
مخطط خصائص سجل الطلب
الاسم | النوع | الوصف |
---|---|---|
HttpMethod | سلسلة | أسلوب HTTP المستخدم للعملية. على سبيل المثال، GET. |
المسار | سلسلة | المسار الذي تم تنفيذ العملية عليه |
RequestContentLength | int | طول محتوى طلب HTTP |
ClientRequestId | سلسلة | المعرف الذي يعرف هذا الطلب بشكل فريد |
StartTime | سلسلة | الوقت الذي تلقى فيه الخادم الطلب |
endTime | سلسلة | الوقت الذي أرسل فيه الخادم استجابة |
حجم التخزين | Long | الحجم بالبايت الذي تم دخوله إلى Data Lake Store |
حجم دخول المتجر | Long | الحجم بالبايت الخارج من Data Lake Store |
QueryParameters | سلسلة | الوصف: هذه هي معلمات استعلام http. مثال 1: api-version=2014-01-01&op=getfilestatus Example 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01 |
سجلات التدقيق
فيما يلي إدخال عينة في سجل التدقيق بتنسيق JSON. يحتوي كل كائن ثنائي كبير الحجم على كائن جذر واحد يسمى السجلات التي تحتوي على صفيف من عناصر السجل
{
"records":
[
. . . .
,
{
"time": "2016-07-08T19:08:59.359Z",
"resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
"category": "Audit",
"operationName": "SeOpenStream",
"resultType": "0",
"resultSignature": "0",
"correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
"identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
"properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
}
,
. . . .
]
}
مخطط سجل التدقيق
الاسم | النوع | الوصف |
---|---|---|
الوقت | سلسلة | الطابع الزمني (بالتوقيت العالمي المتفق عليه) للسجل |
resourceId | سلسلة | معرف المورد الذي تمت العملية عليه |
الفئة | سلسلة | فئة السجل. على سبيل المثال، التدقيق. |
operationName | سلسلة | اسم العملية التي تم تسجيلها. على سبيل المثال، getfilestatus. |
resultType | سلسلة | حالة العملية، على سبيل المثال، 200. |
resultSignature | سلسلة | تفاصيل إضافية حول العملية. |
correlationId | سلسلة | معرف السجل الذي يمكن استخدامه لتجميع مجموعة من إدخالات السجل ذات الصلة |
الهوية | عنصر | الهوية التي أنشأت السجل |
خصائص | JSON | انظر أدناه للحصول على التفاصيل |
مخطط خصائص سجل التدقيق
الاسم | النوع | الوصف |
---|---|---|
اسم الدفق | سلسلة | المسار الذي تم تنفيذ العملية عليه |
عينات لمعالجة بيانات السجل
عند إرسال سجلات من Azure Data Lake Storage Gen1 إلى سجلات Azure Monitor (راجع عرض البيانات التي تم جمعها باستخدام سجلات Azure Monitor أو تحليلها للبحث عن تفاصيل حول استخدام سجلات Azure Monitor)، سيعيد الاستعلام التالي جدولا يحتوي على قائمة بأسماء عرض المستخدم ووقت الأحداث وعدد الأحداث لوقت الحدث جنبا إلى جنب مع مخطط بياني مرئي. يمكن تعديله بسهولة لإظهار GUID للمستخدم أو سمات أخرى:
search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated
يوفر Azure Data Lake Storage Gen1 عينة حول كيفية معالجة بيانات السجل وتحليلها. يمكنك العثور على العينة في https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.