مشاركة عبر

عمليات نظام الملفات على Azure Data Lake Storage Gen1 باستخدام Python

  • مقالة

في هذه المقالة، ستتعلم كيفية استخدام Python SDK لتنفيذ عمليات نظام الملفات على Azure Data Lake Storage Gen1. للحصول على إرشادات حول كيفية تنفيذ عمليات إدارة الحساب على Data Lake Storage Gen1 باستخدام Python، راجع عمليات إدارة الحساب على Data Lake Storage Gen1 باستخدام Python.

المتطلبات الأساسية

قم بتثبيت الوحدات

للعمل مع Data Lake Storage Gen1 باستخدام Python، تحتاج إلى تثبيت ثلاث وحدات نمطية.

  • azure-mgmt-resource الوحدة النمطية، التي تتضمن وحدات Azure ل Active Directory، وما إلى ذلك.
  • azure-mgmt-datalake-store الوحدة النمطية، والتي تتضمن عمليات إدارة حساب Azure Data Lake Storage Gen1. لمزيد من المعلومات حول هذه الوحدة النمطية، راجع مرجع الوحدة النمطية azure-mgmt-datalake-store.
  • azure-datalake-store الوحدة النمطية، التي تتضمن عمليات نظام ملفات Azure Data Lake Storage Gen1. لمزيد من المعلومات حول هذه الوحدة النمطية، راجع مرجع الوحدة النمطية azure-datalake-store file-system.

استخدم الأوامر التالية لتثبيت الوحدات النمطية.

pip install azure-mgmt-resource
pip install azure-mgmt-datalake-store
pip install azure-datalake-store

إنشاء تطبيق Python جديد

  1. في IDE الذي تختاره، أنشئ تطبيق Python جديدا، على سبيل المثال، mysample.py.

  2. أضف الأسطر التالية لاستيراد الوحدات النمطية المطلوبة

    ## Use this only for Azure AD service-to-service authentication
from azure.common.credentials import ServicePrincipalCredentials

## Use this only for Azure AD end-user authentication
from azure.common.credentials import UserPassCredentials

## Use this only for Azure AD multi-factor authentication
from msrestazure.azure_active_directory import AADTokenCredentials

## Required for Azure Data Lake Storage Gen1 account management
from azure.mgmt.datalake.store import DataLakeStoreAccountManagementClient
from azure.mgmt.datalake.store.models import DataLakeStoreAccount

## Required for Azure Data Lake Storage Gen1 filesystem management
from azure.datalake.store import core, lib, multithread

## Common Azure imports
from azure.mgmt.resource.resources import ResourceManagementClient
from azure.mgmt.resource.resources.models import ResourceGroup

## Use these as needed for your application
import logging, getpass, pprint, uuid, time

  3. احفظ التغييرات في mysample.py.

المصادقة

في هذا القسم، نتحدث عن الطرق المختلفة للمصادقة مع Microsoft Entra ID. الخيارات المتاحة هي:

إنشاء عميل نظام الملفات

تنشئ القصاصة البرمجية التالية أولا عميل حساب Data Lake Storage Gen1. يستخدم كائن العميل لإنشاء حساب Data Lake Storage Gen1. وأخيرا، تنشئ القصاصة البرمجية كائن عميل نظام ملفات.

## Declare variables
subscriptionId = 'FILL-IN-HERE'
adlsAccountName = 'FILL-IN-HERE'

## Create a filesystem client object
adlsFileSystemClient = core.AzureDLFileSystem(adlCreds, store_name=adlsAccountName)

إنشاء دليل

## Create a directory
adlsFileSystemClient.mkdir('/mysampledirectory')

تحميل ملف

## Upload a file
multithread.ADLUploader(adlsFileSystemClient, lpath='C:\\data\\mysamplefile.txt', rpath='/mysampledirectory/mysamplefile.txt', nthreads=64, overwrite=True, buffersize=4194304, blocksize=4194304)

تنزيل ملف

## Download a file
multithread.ADLDownloader(adlsFileSystemClient, lpath='C:\\data\\mysamplefile.txt.out', rpath='/mysampledirectory/mysamplefile.txt', nthreads=64, overwrite=True, buffersize=4194304, blocksize=4194304)

حذف دليل

## Delete a directory
adlsFileSystemClient.rm('/mysampledirectory', recursive=True)

الخطوات التالية

راجع أيضًا