Excel file format in Azure Data Factory and Azure Synapse Analytics

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

Data Factory في Microsoft Fabric هو الجيل القادم من Azure Data Factory، مع بنية أبسط، وذكاء اصطناعي مدمج، وميزات جديدة. إذا كنت جديدا في تكامل البيانات، ابدأ مع Fabric Data Factory. يمكن لأعباء عمل ADF الحالية الترقية إلى Fabric للوصول إلى قدرات جديدة في علوم البيانات، والتحليلات اللحظية، والتقارير.

تابع هذا المقال عندما ترغب في تحليل ملفات Excel. تدعم الخدمة كلًا من ".xls" و ".xlsx".

يدعم Excel الصيغة للموصلات التالية: Amazon S3، Amazon S3 Compatible Storage، Azure Blob، Azure Data Lake Storage Gen1، Azure Data Lake Storage Gen2، ملفات Azure، File System، FTP، Google Cloud Storage، HDFS، HTTP، Oracle Cloud Storage وSFTP. وهو مدعوم كمصدر ولكن ليس متلقيا.

إشعار

تنسيق ".xls" غير مدعوم أثناء استخدام HTTP.

خصائص مجموعة البيانات

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف مجموعات البيانات، راجع مقالة مجموعات البيانات. يوفر هذا القسم قائمة بالخصائص المدعومة من قبل مجموعة بيانات Excel.

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع لمجموعة البيانات على Excel. ‏‏نعم‬
مكان إعدادات الموقع للملف (الملفات). يحتوي كل موصل يستند إلى ملف على نوع الموقع الخاص به وخصائص مدعومة ضمن location. ‏‏نعم‬
اسم الورقة ورقة عمل Excel تسمية لقراءة البيانات. حدد sheetName أو sheetIndex
فهرس الورقة فهرس ورقة عمل Excel لقراءة البيانات، بدءا من 0. حدد sheetName أو sheetIndex
النطاق نطاق الخلية في ورقة العمل المحددة لتحديد موقع البيانات الانتقائية، على سبيل المثال:
- غير محدد: لقراءة ورقة العمل بأكملها كجدول من أول صف وعمود غير فارغين
- A3يقرأ جدول بدءاً من الخلية المحددة، ويكشف ديناميكياً كافة الصفوف أدناه وجميع الأعمدة إلى اليمين
- A3:H5: يقرأ هذا النطاق الثابت كجدول
- A3:A3يقرأ هذه الخلية المفردة		 لا
firstRowAsHeader يحدد ما إذا كان سيتم التعامل مع الصف الأول في ورقة العمل / النطاق المحدد كخط رأس مع أسماء الأعمدة.
القيم المسموح بها هي صوابو خطأ (افتراضياً).		 لا
قيمة خالية يحدد تمثيل السلسلة للقيمة الخالية.
القيمة الافتراضية هي سلسلة فارغة.		 لا
ضغط مجموعة من الخصائص لتكوين ضغط الملف. قم بتكوين هذا القسم عندما تريد الضغط / فك الضغط أثناء تنفيذ النشاط. لا
النوع
(أسفل compression)		 برنامج ترميز الضغط المستخدم لقراءة / كتابة ملفات JSON.
القيم المسموح بها هي bzip2، أو gzip، أو deflate، أو ZipDeflate، أو TarGzip، أو Tar، أو snappy، أو lz4. لا يتم ضغط الافتراضي.
Note حاليا Copy activity لا يدعم "snappy" و"lz4"، وتدفق بيانات التعيين لا يدعم "ZipDeflate" و"TarGzip" و"Tar".
ملاحظة عند استخدام نشاط النسخ لفك ضغط ملف (ملفات) ZipDeflate والكتابة إلى مخزن البيانات المستندة إلى الملف، يتم استخراج الملفات إلى المجلد: <path specified in dataset>/<folder named as source zip file>/.		 ‏‏لا.
المستوى
(أسفل compression)		 نسبة الضغط.
القيم المسموح بها هي Optimal أو Fastest.
- الأسرع: يجب أن تكتمل عملية الضغط في أسرع وقت ممكن، حتى إذا لم يتم ضغط الملف الناتج على النحو الأمثل.
- الأمثل : يجب ضغط عملية الضغط على النحو الأمثل، حتى لو استغرقت العملية وقتاً أطول حتى تكتمل. لمزيد من المعلومات، يمكنك الاطلاع على موضوع مستوى الضغط.		 لا

فيما يلي مثال على مجموعة بيانات Excel على مساحة تخزين Azure Blob:

{
    "name": "ExcelDataset",
    "properties": {
        "type": "Excel",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "sheetName": "MyWorksheet",
            "range": "A3:H5",
            "firstRowAsHeader": true
        }
    }
}

خصائص Copy activity

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع مقالة التدفقات. يوفر هذا القسم قائمة بالخصائص المدعومة من مصدر Excel.

Excel كمصدر

يتم دعم الخصائص التالية في جزء نسخ النشاط *Source*.

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع لمصدر نشاط النسخ على ExcelSource . ‏‏نعم‬
إعدادات المخزن lمجموعة من الخصائص حول كيفية قراءة البيانات من مخزن بيانات. يحتوي كل موصل يستند إلى ملف إعدادات القراءة المدعومة الخاصة به ضمن storeSettings. لا 
"activities": [
    {
        "name": "CopyFromExcel",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "ExcelSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            ...
        }
        ...
    }
]

تعيين خصائص تدفق البيانات

في تدفقات البيانات الخريطة يمكنك قراءة Excel الصيغة في مخازن البيانات التالية: مساحة تخزين Azure Blob، Azure Data Lake Storage Gen1، Azure Data Lake Storage Gen2، Amazon S3 و SFTP. يمكنك الإشارة إلى ملفات Excel إما باستخدام مجموعة البيانات Excel أو باستخدام inline dataset.

خصائص المصدر

الجدول أدناه يسرد الخصائص المدعومة من مصدر Excel. يمكنك تحرير هذه الخصائص في علامة التبويب خيارات المصدر. عند استخدام مجموعة البيانات المضمنة، سترى إعدادات ملف إضافية، وهي نفس الخصائص الموضحة في قسم خصائص مجموعة البيانات.

Name الوصف مطلوب القيم المسموح بها خاصية البرنامج النصي لتدفق البيانات
مسارات محرف البدل ستتم معالجة جميع الملفات المطابقة لمسار محرف البدل. يتجاوز المجلد ومسار الملف المحددين في مجموعة البيانات. no سلسلة[] wildcardPaths
مسار جذر التقسيم بالنسبة لبيانات الملف المقسمة، يمكنك إدخال مسار جذر القسم لقراءة المجلدات المقسمة كأعمدة no السلسلة‬ partitionRootPath
قائمة الملفات ما إذا كان المصدر يشير إلى ملف نصي يسرد الملفات المراد معالجتها no true أو false قائمة الملفات
عمود لتخزين اسم الملف إنشاء عمود جديد باسم الملف المصدر ومساره no السلسلة‬ rowUrlColumn
بعد الانتهاء احذف أو انقل الملفات بعد المعالجة. مسار الملف يبدأ من جذر الحاوية no حذف: true أو false
نقل: ['<from>', '<to>']		 إزالة الملفات
نقل الملفات
التصفية حسب آخر تعديل اختيار تصفية الملفات استناداً إلى آخر مرة تم تبديلها no طابع زمني تم التعديل بعد ذلك
modifiedBefore
السماح بعدم العثور على أي ملفات إذا كان صحيحا، لا يتم طرح خطأ إذا لم يتم العثور على ملفات no true أو false ignoreNoFilesFound

مثال المصدر

الصورة أدناه هي مثال على تكوين مصدر Excel في تعيين تدفقات البيانات باستخدام وضع مجموعة البيانات.

Excel المصدر

البرنامج النصي لتدفق البيانات المرتبط هو:

source(allowSchemaDrift: true,
    validateSchema: false,
    wildcardPaths:['*.xls']) ~> ExcelSource

إذا كنت تستخدم مجموعة بيانات مضمنة، فسترى خيارات المصدر التالية في تعيين تدفق البيانات.

Excel مجموعة البيانات الداخلية المصدر

البرنامج النصي لتدفق البيانات المرتبط هو:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'excel',
    fileSystem: 'container',
    folderPath: 'path',
    fileName: 'sample.xls',
    sheetName: 'worksheet',
    firstRowAsHeader: true) ~> ExcelSourceInlineDataset

إشعار

تدفق البيانات في رسم الخرائط لا يدعم قراءة ملفات Excel المحمية، حيث قد تحتوي هذه الملفات على إشعارات سرية أو تفرض قيود وصول محددة تحد من الوصول إلى محتوياتها.

التعامل مع ملفات Excel الكبيرة جدا

موصل Excel لا يدعم القراءة المتدفقة لنشاط Copy activity ويجب تحميل الملف بالكامل إلى الذاكرة قبل قراءة البيانات. لاستيراد المخطط، معاينة البيانات، أو تحديث مجموعة بيانات Excel، يجب إرجاع البيانات قبل انتهاء مهلة طلب http (100 ثانية). بالنسبة لملفات Excel الكبيرة، قد لا تنتهي هذه العمليات ضمن تلك الفترة، مما يسبب خطأ في انتهاء المهلة. إذا كنت ترغب في نقل ملفات Excel الكبيرة (>100MB) إلى مخزن بيانات آخر، يمكنك استخدام أحد الخيارات التالية لتجاوز هذا القيد:

  • استخدم وقت تشغيل التكامل المستضاف ذاتيا (SHIR)، ثم استخدم Copy activity لنقل ملف Excel الكبير إلى مخزن بيانات آخر باستخدام SHIR.
  • قسم ملف Excel الكبير إلى عدة ملفات أصغر، ثم استخدم Copy activity لنقل المجلد الذي يحتوي على الملفات.
  • استخدم نشاط تدفق البيانات لنقل ملف Excel الكبير إلى مخزن بيانات آخر. يدعم Dataflow تدفق القراءة لجهاز Excel ويمكنه تحريك/نقل الملفات الكبيرة بسرعة.
  • قم بتحويل ملف Excel الكبير يدويا إلى صيغة CSV، ثم استخدم Copy activity لنقل الملف.

المحتوى ذو الصلة

  • Last updated on