إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
تشرح هذه المقالة كيفية تطبيق FinOps في Azure Data Factory.
ما هو FinOps؟
يعرف المجلس الاستشاري الفني لمؤسسة فين أوبس فين أوبس بناء على ذلك:
FinOps هو تخصص متطور في إدارة المالية السحابية وممارسة ثقافية تمكن المؤسسات من تحقيق أقصى قيمة تجارية من خلال مساعدة فرق الهندسة والمالية والتكنولوجيا والأعمال على التعاون في قرارات الإنفاق المعتمدة على البيانات.
في جوهرها، FinOps هي ممارسة ثقافية. إنها الطريقة التي تدير بها الفرق تكاليف السحابة، حيث يتحمل الجميع مسؤولية استخدام السحابة بدعم من مجموعة مركزية لأفضل الممارسات. تعمل الفرق متعددة التخصصات في الهندسة والمالية والمنتجات وغيرها معا لتمكين تسليم المنتج بشكل أسرع، وفي الوقت نفسه يكتسب مزيدا من السيطرة المالية والقدرة على التنبؤ.
كيفية تطبيق FinOps على Azure Data Factory
Azure Data Factory هو خدمة تكامل البيانات وETL (الاستخراج، التحويل، التحميل) من مايكروسوفت في السحابة. لتحقيق ميزانية فعالة وضوابط في التكاليف في مصنع البيانات، نراجع أولا كيفية فهم نموذج التسعير. بعد ذلك، من المهم تحليل إنفاقك على مستوى المصانع وخطوط الأنابيب. يمكنك القيام بذلك من خلال تقارير الاستهلاك المدمجة في Data Factory وعلى مستوى اشتراك Azure باستخدام ميزات إدارة التكاليف وتحليل التكاليف في Azure. أخيرا، نتحدث عن تحديد حدود الإنفاق على اشتراكك في Azure للمساعدة في توفير ضوابط للتكاليف.
فهم تسعير Azure Data Factory
يوضح الرسم البياني أدناه التدفق العام لحساب تسعير مصنع البيانات. يوضح كيفية استخدام حاسبة التسعير Azure لحساب الأسعار. بشكل عام، تشمل الأجزاء الأساسية لفهم فوترة مصنع البيانات هذه التكاليف: التنسيق، التنفيذ، نوع وقت تشغيل التكامل (IR)،حركة البيانات (النسخ)،وتدفقات البيانات.
- تحقق مما إذا كان مصدر البيانات في المصنع أو تكامل المصارف يستخدم الشبكة الافتراضية المدارة (VNET). إذا كان الأمر كذلك، يتم حساب التنسيق والتنفيذ باستخدام شبكة VNET IR المدارة من Azure. إذا لم يكن كذلك، انتقل إلى الخطوة التالية.
- تأكد مما إذا كان المصدر أو المصرف يستخدم وقت تشغيل التكامل المستضاف ذاتيا. إذا كان الأمر كذلك، يتم حساب التنسيق والتنفيذ بواسطة التفاعل الدولي المستضاف ذاتيا، والتكلفة الإجمالية تساوي مجموع التكاليف لكل من التنسيق والتنفيذ. وإذا لم يكن كذلك، يتم حساب التنسيق والتنفيذ بواسطة Azure IR.
- بالنسبة ل Azure IR وVNET IR المدارة من Azure، تأكد مما إذا كنت تستخدم تدفق البيانات. إذا كان الأمر كذلك، فإن التكلفة الإجمالية تساوي مجموع تكاليف عنقود تدفق البيانات، والتنسيق، والتنفيذ. وإلا، فإن التكلفة الإجمالية هي ببساطة مجموع تكاليف التنسيق والتنفيذ.
سيناريوهات الأمثلة
دعونا نلقي نظرة على عدة أمثلة على سيناريوهات مصانع البيانات الشائعة والتكاليف المقدرة المرتبطة بكل عبء عمل. أثناء عملنا على كل مثال، ضع هذه المعايير في اعتبارك لتكاليف مصنع البيانات:
- عند مراجعة فاتورتك، تذكر أن مصنع البيانات يقوم بتقريب الدقيقة لكل مدة نشاط (أي دقيقة وثانية = فوترة لمدة دقيقتين).
- الأمثلة التالية مبنية على سيناريوهات شائعة وتظهر التكاليف المقدرة.
- يمكن أن تتكبد تكاليف أخرى من مخازن البيانات والخدمات الخارجية في Azure التي تستخدمها.
- يمكن أن تختلف تكاليفك الفعلية قليلا عن هذه الأمثلة بناء على شروط عقد المبيعات التي لديك مع مايكروسوفت.
- يوفر هذا الرابط المزيد من الأمثلة: فهم تسعير Azure Data Factory من خلال أمثلة.
مثال: نسخ البيانات وتحويلها باستخدام Azure Databricks كل ساعة
في هذا السيناريو، تريد نسخ البيانات من AWS S3 إلى تخزين Azure Blob وتحويلها باستخدام Azure Databricks بجدول زمني كل ساعة لمدة 8 ساعات يوميا لمدة 30 يوما.
الأسعار المستخدمة في هذا المثال افتراضية ولا تهدف إلى تحديد تسعير دقيق فعلي. لا تظهر تكاليف القراءة/الكتابة والمراقبة لأنها عادة ما تكون ضئيلة ولن تؤثر على التكاليف الإجمالية بشكل كبير. يتم أيضا تقريب عمليات تشغيل النشاط إلى أقرب 1000 في تقديرات حاسبة التسعير.
الإعداد
لإنجاز السيناريو، تحتاج إلى إنشاء مسار مع العناصر التالية:
- نشاط نسخ واحد مع مجموعة بيانات إدخال لنسخ البيانات من AWS S3، ومجموعة بيانات مخرجات للبيانات على تخزين Azure.
- One Azure Databricks activity لتحويل البيانات.
- مشغل مجدول واحد لتنفيذ خط الأنابيب كل ساعة. عندما تريد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك إما تشغيله على الفور أو جدولته. بالإضافة إلى البنية الأساسية لبرنامج ربط العمليات التجارية نفسها، يتم حساب كل مثيل مشغل كتشغيل نشاط واحد.
تقدير التكلفة
راجع حاسبة التسعير في Azure وتدفق النتائج باستخدام الخطوات التالية:
- إذا لم يستخدم كل من المصدر والمخزن VNET المدارة من Azure، انتقل إلى الخطوة 2.
- إذا لم يستخدم كل من المصدر والمخزن IR المستضاف ذاتيا، يتم حساب التنسيق والتنفيذ باستخدام Azure IR.
- نحن نستخدم فقط نشاط النسخ ونشاط خارجي هنا. لا يستخدم نشاط تدفق البيانات، لذا فإن التكلفة الإجمالية تساوي مجموع تكاليف التنسيق والتنفيذ.
السعر المقدر لشهر واحد (8 ساعات يوميا لمدة 30 يوما):
| انواع | عملية الحساب |
|---|---|
| التوزيع الموسيقي (عدد الفعاليات في الآلاف) | 3 عمليات نشاط لكل تنفيذ (واحدة لتشغيل المحفز، و2 لتشغيل النشاط). عدد النشاطات/الشهر = 3 * 8 * 30 = 720. عدد الأنشطة يحسب بألف في الشهر = 1 |
| تنفيذ | 1. ساعات وحدة تكامل البيانات (DIU): • ساعات DIU لكل تنفيذ = 10 دقائق • إعداد DIU الافتراضي = 4 • ساعات DIU / الشهر = (10 دقائق / 60 دقيقة) * 4 * 8 * 30 = 160 2. ساعات تنفيذ نشاط خط الأنابيب الخارجي: • مدة التنفيذ: 10 دقائق • ساعات تنفيذ نشاط خط الأنابيب الخارجية = (10 دقائق / 60 دقيقة) * 8 * 30 = 40 |
مثال على حاسبة التسعير
إجمالي سعر السيناريو لمدة 30 يوما: 41.01 دولار
مثال: استخدام تصحيح تدفق البيانات في رسم الخرائط ليوم عمل عادي
يوضح هذا المثال رسم تكاليف تصحيح تدفق البيانات ليوم عمل نموذجي لمهندس بيانات. الأسعار المستخدمة في المثال التالي افتراضية ولا تهدف إلى تحديد الأسعار الفعلية الدقيقة. لا تظهر تكاليف القراءة/الكتابة والمراقبة لأنها عادة ما تكون ضئيلة ولن تؤثر على التكاليف الإجمالية بشكل كبير. يتم أيضا تقريب عمليات تشغيل النشاط إلى أقرب 1000 في تقديرات حاسبة التسعير.
Azure Data Factory engineer
مهندس مصنع البيانات مسؤول عن تصميم وبناء واختبار تدفقات بيانات رسم الخرائط يوميا. يقوم المهندس بتسجيل الدخول إلى Azure Data Factory Studio في الصباح ويفعل وضع التصحيح لتدفقات البيانات. الوقت الافتراضي للعيش (TTL) لجلسات التصحيح هو 60 دقيقة. يعمل المهندس طوال اليوم لمدة 8 ساعات، لذا لا تنتهي جلسة التصحيح أبدا. لذلك، فإن رسوم المهندس لليوم هي:
8 ساعات * 8 أنوية محسنة للحوسبة * 0.193 دولار لكل ساعة لكل نواة = $12.35
إعداد الموازنة
عند التخطيط لتنفيذ Azure Data Factory، من المهم فهم وتوقع تكاليفك للمساعدة في بناء ميزانية لمشاريع ETL ودمج البيانات.
اختر زر تقرير الاستهلاك من عرض مراقبة خط الأنابيب للحصول على لمحة عن الوحدات التي تم فوترتها لكل تشغيل.
في صفحة المراقبة، يمكنك استخدام تقرير الاستهلاك يدويا لأي تشغيل خط أنابيب من تصحيح أخطاء أو تشغيل يدوي، أو حتى من تشغيل تشغيل تلقائي.
يقدم تقرير استهلاك خطوط أنابيب مصنع البيانات الوحدات المقدرة التي تم فواتيرها. يمكنك تشغيل هذه الاختبارات باستخدام تنفيذ تصحيح لخط الأنابيب الخاص بك على مجموعات بيانات أصغر ثم استنتاج ميزانية الإنتاج من هذه التقديرات.
يقدم تقرير الاستهلاك قيما بالوحدات. لاستخلاص تقدير مالي من هذا، اضرب قيمة الوحدات في هذا التقرير في السعر في منطقتك بناء على حاسبة أسعار Azure. وهذا ينتج تقديرا لتنفيذ خط الأنابيب هذا. أفضل ممارسة هي تنفيذ خط الأنابيب عدة مرات باستخدام مجموعات بيانات مختلفة للحصول على نطاق أساسي من التكاليف واستخدام متوسط تلك الرحلات في الميزانية الخاصة بك.
Azure Cost Optimization
يناقش هذا القسم تحسين التكاليف مع إدارة التكاليف من مايكروسوفت، وAzure Advisor، وللمثيلات المحجوزة في مصنع البيانات.
إدارة التكاليف من مايكروسوفت
يوفر Microsoft Azure أدوات تساعدك على تتبع وتحسين والتحكم في إنفاقك على Azure. إذا كانت إنفاق مصنع البيانات لديك أولوية قصوى، فالتوصية هي إنشاء مجموعة موارد منفصلة في Azure لكل مصنع بيانات. بهذه الطريقة، من السهل بناء الميزانيات، وتتبع الإنفاق، وتطبيق ضوابط التكاليف باستخدام Microsoft Cost Management.
اليوم تعمل المؤسسات بجد أكثر من أي وقت مضى للسيطرة على الإنفاق والقيام بالمزيد بأقل. يمكنك استخدام ميزة الميزانيات في Azure لتحديد حدود الإنفاق على استخدام Azure Data Factory v2 ومجموعة موارد Azure العامة التي تستخدمها لمصنع البيانات.
من نافذة إنشاء الميزانية، استخدم الفلاتر لاختيار إما خدمة Azure Data Factory أو مجموعة موارد.
Azure Advisor
أداة قيمة أخرى لتحسين ميزانية Azure الخاصة بك هي Azure Advisor. مع Azure Advisor، يمكنك الحصول على توصيات لتقليل إنفاقك الإجمالي على Azure. يشمل ذلك الاستفادة من تسعير العينات المحجوزة في Azure Data Factory لتقليل تكاليف رسم تدفقات البيانات. يمكنك أيضا دفع رسوم Azure Data Factory باستخدام رصيد الدفع المسبق الخاص بك في Azure.
Reserved instances in Azure Data Factory
تتوفر نسخ محجوزة في Azure Data Factory لتعيين تدفقات البيانات، والتي يمكنك استخدامها لتوفير السعر العادي لتدفقات البيانات. في الحالات المحجوزة، تقوم بشراء حجوزات لمدة سنة أو ثلاث سنوات مسبقا بمستويات خصم بناء على مدة الحجز. لرؤية عرض مخصص لتوفير التكاليف باستخدام النسخ المحجوزة، انتقل إلى بوابة Azure واختر الحجوزات، ثم اختر مصنع البيانات. من هناك، ستختار نوع تدفقات البيانات التي تستخدمها عادة، ثم تقوم بوابة Azure بتقدير مدخراتك المستقبلية بناء على استخدامك السابق في مصنع البيانات.
حجز سعة تدفق البيانات باستخدام العينات المحجوزة يمكن أن يوفر خصما فوريا على إجمالي إنفاقك في مصنع البيانات المرتبط مباشرة باستخدامك لتدفق البيانات.
تتبع إنفاقك على مصنع البيانات
أثناء بناء بنية تكامل البيانات في Azure، من المهم تتبع إنفاقك مع مرور الوقت. هناك عدة طرق لتتبع ميزانية مصنع البيانات الخاصة بك. بشكل افتراضي، يوفر Data Factory تكلفة ملخصة شاملة لمصنعك بناء على عدادات الفوترة المختلفة التي تستخدمها الخدمة.
كيفية استخدام عرض فوترة خطوط الأنابيب التفصيلي
يمكنك طلب مصنع البيانات تقديم تجميع على مستوى خط الأنابيب لتكاليفك عن طريق تعيين المصنع للاستخدام عبر فوترة خط الأنابيب كخيار ضمن إعدادات المصنع.
هذا العرض يعطيك تفصيلا لإنفاق مصنع البيانات حسب كل خط أنابيب. يمكن أن يكون هذا مفيدا لتحديد التكاليف على مستوى عنصر الخط بدلا من التجميع في المصنع (وهو الوضع الافتراضي).
العرض على مستوى خط الأنابيب لفاتورة مصنع البيانات مفيد لتحديد التكاليف الإجمالية لمصنع البيانات لكل مورد من موارد خط الأنابيب. كما أنه مفيد توفير آلية سهلة الاستخدام لتنفيذ عمليات الاسترداد على مستخدمي المصنع، سواء للاستهلاك الداخلي للمنظمة أو للاستخدام الخارجي للعملاء أو الشركاء.
كيفية استخدام العلامات لتحديد تكلفة خط الأنابيب
آلية أخرى لتتبع التكاليف لموارد مصنع البيانات الخاصة بك هي استخدام الوسم في المصنع. يمكنك تعيين نفس العلامة لمصنع البيانات وموارد Azure الأخرى، ووضعها في نفس الفئة لعرض الفوترة الموحدة الخاصة بها. جميع IRs (خدمات تكامل خوادم SQL) داخل المصنع ترث هذا الوسم. ضع في اعتبارك أنه إذا غيرت بطاقة البيانات في المصنع، عليك إيقاف وإعادة تشغيل جميع ملفات SSIS IR داخل المصنع لكي ترث العلامة الجديدة. لمزيد من التفاصيل، راجع قسم إعادة تكوين SSIS IR.