مرجع جداول النظام للحساب
هام
هذه الميزة في المعاينة العامة. يجب تمكين المخطط ليكون مرئيا في الكتالوج.system لمزيد من المعلومات، راجع تمكين مخططات جدول النظام
توفر لك هذه المقالة دليلا مرجعيا لجداول نظام الحوسبة. يمكنك استخدام هذه الجداول لمراقبة نشاط ومقاييس حساب جميع الأغراض والمهام في حسابك:
clusters: يسجل تكوينات الحساب في حسابك.node_types: يتضمن سجلا واحدا لكل نوع من أنواع العقد المتوفرة حاليا، بما في ذلك معلومات الأجهزة.node_timeline: يتضمن سجلات دقيقة تلو دقيقة لمقاييس استخدام الحساب الخاص بك.
مخطط جدول نظام المجموعة
جدول نظام المجموعة هو جدول أبعاد متغير ببطء يحتوي على التاريخ الكامل لتكوينات الحوسبة بمرور الوقت لحساب جميع الأغراض والمهام.
يوجد جدول نظام المجموعات في system.compute.clusters ويحتوي على المخطط التالي:
| اسم العمود | نوع البيانات | الوصف | مثال |
|---|---|---|---|
account_id |
سلسلة | معرف الحساب حيث تم إنشاء نظام المجموعة هذا. | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
سلسلة | معرف مساحة العمل حيث تم إنشاء نظام المجموعة هذا. | 1234567890123456 |
cluster_id |
سلسلة | معرف نظام المجموعة الذي يرتبط به هذا السجل. | 0000-123456-crmpt124 |
cluster_name |
سلسلة | اسم معرف من قبل المستخدم للمجموعة. | My cluster |
owned_by |
سلسلة | اسم مستخدم مالك نظام المجموعة. الإعدادات الافتراضية لمنشئ نظام المجموعة، ولكن يمكن تغييرها من خلال واجهة برمجة تطبيقات المجموعات. | sample_user@email.com |
create_time |
الطابع الزمني | الطابع الزمني للتغيير إلى تعريف الحساب هذا. | 2023-01-09 11:00:00.000 |
delete_time |
الطابع الزمني | الطابع الزمني لوقت حذف نظام المجموعة. القيمة هي null إذا لم يتم حذف نظام المجموعة. |
2023-01-09 11:00:00.000 |
driver_node_type |
سلسلة | اسم نوع عقدة برنامج التشغيل. يطابق هذا اسم نوع المثيل من موفر السحابة. | Standard_D16s_v3 |
worker_node_type |
سلسلة | اسم نوع عقدة العامل. يطابق هذا اسم نوع المثيل من موفر السحابة. | Standard_D16s_v3 |
worker_count |
عدد صحيح كبير | عدد العمال. معرف للمجموعات ذات الحجم الثابت فقط. | 4 |
min_autoscale_workers |
عدد صحيح كبير | الحد الأدنى المعين لعدد العمال. هذا الحقل صالح فقط لمجموعات التحجيم التلقائي. | 1 |
max_autoscale_workers |
عدد صحيح كبير | الحد الأقصى المعين لعدد العمال. هذا الحقل صالح فقط لمجموعات التحجيم التلقائي. | 1 |
auto_termination_minutes |
عدد صحيح كبير | مدة التصفية التلقائية المكونة. | 120 |
enable_elastic_disk |
boolean | حالة تمكين قرص التحجيم التلقائي. | true |
tags |
map | العلامات المعرفة من قبل المستخدم للمجموعة (لا تتضمن علامات افتراضية). | {"ResourceClass":"SingleNode"} |
cluster_source |
سلسلة | يشير إلى منشئ نظام المجموعة: UIو APIو JOBوما إلى ذلك. |
UI |
init_scripts |
صفيف | مجموعة مسارات البرامج النصية init. | "/Users/example@email.com/files/scripts/install-python-pacakges.sh" |
aws_attributes |
بنية | إعدادات محددة ل AWS. | null |
azure_attributes |
بنية | إعدادات Azure المحددة. | {"first_on_demand": "0","availability": "ON_DEMAND_AZURE","spot_bid_max_price": "—1"} |
gcp_attributes |
بنية | إعدادات محددة ل GCP. سيكون هذا الحقل فارغا. | null |
driver_instance_pool_id |
سلسلة | معرف تجمع المثيل إذا تم تكوين برنامج التشغيل أعلى تجمع مثيل. | 1107-555555-crhod16-pool-DIdnjazB |
worker_instance_pool_id |
سلسلة | معرف تجمع المثيل إذا تم تكوين العامل أعلى تجمع مثيل. | 1107-555555-crhod16-pool-DIdnjazB |
dbr_version |
سلسلة | وقت تشغيل Databricks للمجموعة. | 14.x-snapshot-scala2.12 |
change_time |
الطابع الزمني | الطابع الزمني للتغيير إلى تعريف الحساب. | 2023-01-09 11:00:00.000 |
change_date |
date | تغيير التاريخ. يستخدم للاحتفاظ. | 2023-01-09 |
مخطط جدول أنواع العقد
يلتقط جدول نوع العقدة أنواع العقد المتوفرة حاليا بمعلومات الأجهزة الأساسية الخاصة بها. يوجد جدول نظام نوع العقدة في system.compute.node_types ويحتوي على المخطط التالي:
| اسم العمود | نوع البيانات | الوصف | مثال |
|---|---|---|---|
account_id |
سلسلة | معرف الحساب حيث تم إنشاء نظام المجموعة هذا. | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
node_type_name |
سلسلة | معرف فريد لنوع العقدة. | Standard_D16s_v3 |
core_count |
مزدوج | عدد وحدات المعالجة المركزية الظاهرية للمثيل. | 48.0 |
memory_mb |
طويل | إجمالي الذاكرة للمثيل. | 393216 |
gpu_count |
طويل | عدد وحدات معالجة الرسومات للمثيل. | 0 |
مخطط جدول المخطط الزمني للعقدة
يلتقط جدول المخطط الزمني للعقدة بيانات استخدام الموارد على مستوى العقدة بنقاوة الدقيقة. يحتوي كل سجل على بيانات لدقيقة معينة من الوقت لكل مثيل.
يوجد جدول نظام المخطط الزمني للعقدة في system.compute.node_timeline ويحتوي على المخطط التالي:
| اسم العمود | نوع البيانات | الوصف | مثال |
|---|---|---|---|
account_id |
سلسلة | معرف الحساب حيث يتم تشغيل مورد الحوسبة هذا. | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
سلسلة | معرف مساحة العمل حيث يتم تشغيل مورد الحساب هذا. | 1234567890123456 |
cluster_id |
سلسلة | معرف مورد الحساب. | 0000-123456-crmpt124 |
instance_id |
سلسلة | معرف المثيل المحدد. | i-1234a6c12a2681234 |
start_time |
الطابع الزمني | وقت بدء السجل بالتوقيت العالمي المتفق عليه. | 2024-07-16T12:00:00Z |
end_time |
الطابع الزمني | وقت انتهاء السجل بالتوقيت العالمي المتفق عليه. | 2024-07-16T13:00:00Z |
driver |
boolean | ما إذا كان المثيل هو برنامج تشغيل أو عقدة عاملة. | true |
cpu_user_percent |
مزدوج | النسبة المئوية للوقت الذي أمضته وحدة المعالجة المركزية في بلاد المستخدم. | 34.76163817234407 |
cpu_system_percent |
مزدوج | النسبة المئوية للوقت الذي أمضته وحدة المعالجة المركزية في النواة. | 1.0895310279488264 |
cpu_wait_percent |
مزدوج | النسبة المئوية للوقت الذي أمضته وحدة المعالجة المركزية في انتظار الإدخال/الإخراج. | 0.03445157400629276 |
mem_used_percent |
مزدوج | النسبة المئوية لذاكرة الحساب التي تم استخدامها خلال الفترة الزمنية (بما في ذلك الذاكرة المستخدمة بواسطة عمليات الخلفية التي تعمل على الحساب). | 45.34858216779041 |
mem_swap_percent |
مزدوج | النسبة المئوية لاستخدام الذاكرة التي تعزى إلى تبديل الذاكرة. | 0.014648443087939 |
network_sent_bytes |
عدد صحيح كبير | عدد وحدات البايت المرسلة في حركة مرور الشبكة. | 517376 |
network_received_bytes |
عدد صحيح كبير | عدد وحدات البايت المستلمة من نسبة استخدام الشبكة. | 179234 |
disk_free_bytes_per_mount_point |
map | استخدام القرص المجمع حسب نقطة التحميل. هذا تخزين سريع الزوال يتم توفيره فقط أثناء تشغيل الحساب. | {"/var/lib/lxc":123455551234,"/":123456789123,"/local_disk0":123412341234} |
node_type |
سلسلة | اسم نوع العقدة. سيتطابق هذا مع اسم نوع المثيل من موفر السحابة. | Standard_D16s_v3 |
القيود المعروفة
- لا تظهر موارد الحوسبة التي تم وضع علامة عليها محذوفة قبل 23 أكتوبر 2023 في جدول المجموعات. قد يؤدي ذلك إلى عدم تطابق الصلات من
system.billing.usageالجدول مع السجلات في جدول المجموعات. تمت إعادة تعبئة كافة موارد الحساب النشطة. - تتضمن هذه الجداول سجلات لجميع الأغراض وحساب الوظائف فقط. لا تحتوي على سجلات للحساب بلا خادم أو حساب Delta Live Tables أو مستودعات SQL.
- قد لا تظهر العقد التي تم تشغيلها لمدة أقل من 10 دقائق في
node_timelineالجدول.
نماذج الاستعلامات
يمكنك استخدام نماذج الاستعلامات التالية للإجابة عن الأسئلة الشائعة:
- ربط سجلات نظام المجموعة بأحدث سجلات الفوترة
- سمات التكاليف إلى مالك نظام المجموعة
- تحديد موارد الحوسبة ذات أعلى متوسط استخدام وأقصى استخدام
إشعار
تنضم بعض هذه الأمثلة إلى جدول نظام المجموعة مع system.billing.usage الجدول. نظرا لأن سجلات الفوترة عبر المناطق وسجلات نظام المجموعة sepcific المنطقة، فإن سجلات الفوترة تطابق سجلات نظام المجموعة فقط للمنطقة التي تقوم بالاستعلام عنها. لمشاهدة السجلات من منطقة أخرى، يرجى تنفيذ الاستعلام في تلك المنطقة.
ربط سجلات نظام المجموعة بأحدث سجلات الفوترة
يمكن أن يساعدك هذا الاستعلام على فهم الإنفاق بمرور الوقت. بمجرد تحديث usage_start_time إلى أحدث فترة فوترة، فإنه يستحوذ على آخر التحديثات لسجلات الفوترة للانضمام إلى بيانات المجموعات.
يقترن كل سجل مع مالك نظام المجموعة أثناء هذا التشغيل المحدد. لذلك، إذا تغير مالك نظام المجموعة، فستطرح التكاليف إلى المالك الصحيح استنادا إلى وقت استخدام نظام المجموعة.
SELECT
u.record_id,
c.cluster_id,
c.owned_by,
c.change_time,
u.usage_start_time,
u.usage_quantity
FROM
system.billing.usage u
JOIN system.compute.clusters c
JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
FROM system.billing.usage u
JOIN system.compute.clusters c
WHERE
u.usage_metadata.cluster_id is not null
and u.usage_start_time >= '2023-01-01'
and u.usage_metadata.cluster_id = c.cluster_id
and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
GROUP BY all) config
WHERE
u.usage_metadata.cluster_id is not null
and u.usage_start_time >= '2023-01-01'
and u.usage_metadata.cluster_id = c.cluster_id
and u.record_id = config.record_id
and c.cluster_id = config.cluster_id
and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;
سمات التكاليف إلى مالك نظام المجموعة
إذا كنت تبحث عن تقليل تكاليف الحوسبة، يمكنك استخدام هذا الاستعلام لمعرفة مالكي نظام المجموعة في حسابك الذين يستخدمون معظم وحدات DBUs.
SELECT
u.record_id record_id,
c.cluster_id cluster_id,
max_by(c.owned_by, c.change_time) owned_by,
max(c.change_time) change_time,
any_value(u.usage_start_time) usage_start_time,
any_value(u.usage_quantity) usage_quantity
FROM
system.billing.usage u
JOIN system.compute.clusters c
WHERE
u.usage_metadata.cluster_id is not null
and u.usage_start_time >= '2023-01-01'
and u.usage_metadata.cluster_id = c.cluster_id
and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;
تحديد موارد الحوسبة ذات أعلى متوسط استخدام وأقصى استخدام
تحديد حساب جميع الأغراض والوظائف التي لديها أعلى متوسط لاستخدام وحدة المعالجة المركزية وأعلى ذروة استخدام وحدة المعالجة المركزية.
SELECT
distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
avg(cpu_wait_percent) as `Avg CPU Wait`,
max(cpu_wait_percent) as `Max CPU Wait`,
avg(mem_used_percent) as `Avg Memory Utilization`,
max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
node_timeline
WHERE
start_time >= date_add(now(), -1)
GROUP BY
cluster_id,
driver
ORDER BY
3 desc;