Bagikan melalui

Menyalin blob dengan penjadwalan asinkron menggunakan Python

  • Artikel

Artikel ini memperlihatkan cara menyalin blob dengan penjadwalan asinkron menggunakan pustaka klien Azure Storage untuk Python. Anda dapat menyalin blob dari sumber dalam akun penyimpanan yang sama, dari sumber di akun penyimpanan yang berbeda, atau dari objek yang dapat diakses yang diambil melalui permintaan HTTP GET pada URL tertentu. Anda juga dapat membatalkan operasi penyalinan yang tertunda.

Metode pustaka klien yang tercakup dalam artikel ini menggunakan operasi Copy Blob REST API, dan dapat digunakan saat Anda ingin melakukan salinan dengan penjadwalan asinkron. Untuk sebagian besar skenario penyalinan tempat Anda ingin memindahkan data ke akun penyimpanan dan memiliki URL untuk objek sumber, lihat Menyalin blob dari URL objek sumber dengan Python.

Prasyarat

Menyiapkan lingkungan Anda

Jika Anda tidak memiliki proyek yang sudah ada, bagian ini menunjukkan kepada Anda cara menyiapkan proyek untuk bekerja dengan pustaka klien Azure Blob Storage untuk Python. Untuk detail selengkapnya, lihat Mulai menggunakan Azure Blob Storage dan Python.

Untuk bekerja dengan contoh kode dalam artikel ini, ikuti langkah-langkah ini untuk menyiapkan proyek Anda.

Memasang paket

Instal paket berikut menggunakan pip install:

pip install azure-storage-blob azure-identity

Menambahkan pernyataan impor

Tambahkan pernyataan import berikut:

import datetime
from azure.identity import DefaultAzureCredential
from azure.storage.blob import (
    BlobServiceClient,
    BlobClient,
    BlobLeaseClient,
    BlobSasPermissions,
    generate_blob_sas
)

Authorization

Mekanisme otorisasi harus memiliki izin yang diperlukan untuk melakukan operasi penyalinan, atau membatalkan salinan yang tertunda. Untuk otorisasi dengan MICROSOFT Entra ID (disarankan), peran bawaan Azure RBAC yang paling tidak istimewa bervariasi berdasarkan beberapa faktor. Untuk mempelajari lebih lanjut, lihat panduan otorisasi untuk Salin Blob (REST API) atau Batalkan Salin Blob (REST API).

Membuat objek klien

Untuk menyambungkan aplikasi ke Blob Storage, buat instans BlobServiceClient. Contoh berikut menunjukkan cara membuat objek klien menggunakan DefaultAzureCredential untuk otorisasi:

# TODO: Replace <storage-account-name> with your actual storage account name
account_url = "https://<storage-account-name>.blob.core.windows.net"
credential = DefaultAzureCredential()

# Create the BlobServiceClient object
blob_service_client = BlobServiceClient(account_url, credential=credential)

Anda juga dapat membuat objek klien untuk kontainer atau blob tertentu, baik secara langsung atau dari BlobServiceClient objek. Untuk mempelajari selengkapnya tentang membuat dan mengelola objek klien, lihat Membuat dan mengelola objek klien yang berinteraksi dengan sumber daya data.

Tentang menyalin blob dengan penjadwalan asinkron

Copy Blob Operasi dapat selesai secara asinkron dan dilakukan berdasarkan upaya terbaik, yang berarti bahwa operasi tidak dijamin untuk segera dimulai atau diselesaikan dalam jangka waktu yang ditentukan. Operasi salin dijadwalkan di latar belakang dan dilakukan karena server memiliki sumber daya yang tersedia. Operasi dapat diselesaikan secara sinkron jika salinan terjadi dalam akun penyimpanan yang sama.

Copy Blob Operasi dapat melakukan salah satu tindakan berikut:

  • Salin blob sumber ke blob tujuan dengan nama yang berbeda. Blob tujuan dapat berupa blob yang ada dari jenis blob yang sama (blok, tambahkan, atau halaman), atau blob baru yang dibuat oleh operasi salin.
  • Salin blob sumber ke blob tujuan dengan nama yang sama, yang menggantikan blob tujuan. Jenis operasi salin ini menghapus blok yang tidak dikomit dan menimpa metadata blob tujuan.
  • Salin file sumber dalam layanan File Azure ke blob tujuan. Blob tujuan bisa menjadi blob blok yang ada, atau bisa menjadi blob blok baru yang dibuat oleh operasi salin. Menyalin dari file ke blob halaman atau menambahkan blob tidak didukung.
  • Salin snapshot di atas blob dasarnya. Dengan mempromosikan snapshot ke posisi blob dasar, Anda dapat memulihkan versi blob yang lebih lama.
  • Salin blob sumber ke blob tujuan dengan nama yang berbeda. Blob tujuan yang dihasilkan adalah blob yang dapat ditulis dan bukan snapshot.

Blob sumber untuk operasi salin mungkin salah satu jenis berikut: blob blok, blob penambahan, blob halaman, rekam jepret blob, atau versi blob. Operasi salin selalu menyalin seluruh blob atau file sumber. Menyalin rentang byte atau set blok tidak didukung.

Jika blob tujuan sudah ada, blob harus dari jenis blob yang sama dengan blob sumber, dan blob tujuan yang ada ditimpa. Blob tujuan tidak dapat dimodifikasi saat operasi salin sedang berlangsung, dan blob tujuan hanya dapat memiliki satu operasi salin yang luar biasa.

Untuk mempelajari selengkapnya tentang Copy Blob operasi ini, termasuk informasi tentang properti, tag indeks, metadata, dan penagihan, lihat Menyalin komentar Blob.

Menyalin blob dengan penjadwalan asinkron

Bagian ini memberikan gambaran umum metode yang disediakan oleh pustaka klien Azure Storage untuk Python untuk melakukan operasi salin dengan penjadwalan asinkron.

Metode berikut membungkus operasi Copy Blob REST API, dan memulai salinan data asinkron dari blob sumber:

mengembalikan start_copy_from_url kamus yang berisi copy_status dan copy_id. Properti copy_status berhasil jika salinan selesai secara sinkron atau tertunda jika salinan telah dimulai secara asinkron.

Menyalin blob dari sumber dalam Azure

Jika Anda menyalin blob dalam akun penyimpanan yang sama, operasi dapat diselesaikan secara sinkron. Akses ke blob sumber dapat diotorisasi melalui ID Microsoft Entra, tanda tangan akses bersama (SAS), atau kunci akun. Untuk operasi penyalinan sinkron alteratif, lihat Menyalin blob dari URL objek sumber dengan Python.

Jika sumber salin adalah blob di akun penyimpanan yang berbeda, operasi dapat diselesaikan secara asinkron. Blob sumber harus publik atau diotorisasi melalui token SAS. Token SAS perlu menyertakan izin Baca ('r'). Untuk mempelajari selengkapnya tentang token SAS, lihat Mendelegasikan akses dengan tanda tangan akses bersama.

Contoh berikut menunjukkan skenario untuk menyalin blob sumber dari akun penyimpanan yang berbeda dengan penjadwalan asinkron. Dalam contoh ini, kami membuat URL blob sumber dengan token SAS delegasi pengguna yang ditambahkan. Contoh menunjukkan cara membuat token SAS menggunakan pustaka klien, tetapi Anda juga dapat menyediakannya sendiri. Contohnya juga menunjukkan cara menyewa blob sumber selama operasi salin untuk mencegah perubahan pada blob dari klien yang berbeda. Copy Blob Operasi menyimpan ETag nilai blob sumber saat operasi penyalinan dimulai. ETag Jika nilai diubah sebelum operasi salin selesai, operasi gagal.

def copy_from_source_in_azure_async(self, source_blob: BlobClient, destination_blob: BlobClient, blob_service_client: BlobServiceClient):
    # Lease the source blob during copy to prevent other clients from modifying it
    lease = BlobLeaseClient(client=source_blob)

    sas_token = self.generate_user_delegation_sas(blob_service_client=blob_service_client, source_blob=source_blob)
    source_blob_sas_url = source_blob.url + "?" + sas_token

    # Create an infinite lease by passing -1 as the lease duration
    lease.acquire(lease_duration=-1)

    # Start the copy operation - specify False for the requires_sync parameter
    copy_operation = dict()
    copy_operation = destination_blob.start_copy_from_url(source_url=source_blob_sas_url, requires_sync=False)
    
    # If start_copy_from_url returns copy_status of 'pending', the operation has been started asynchronously
    # You can optionally add logic here to wait for the copy operation to complete

    # Release the lease on the source blob
    lease.break_lease()

def generate_user_delegation_sas(self, blob_service_client: BlobServiceClient, source_blob: BlobClient):
    # Get a user delegation key
    delegation_key_start_time = datetime.datetime.now(datetime.timezone.utc)
    delegation_key_expiry_time = delegation_key_start_time + datetime.timedelta(hours=1)
    key = blob_service_client.get_user_delegation_key(
        key_start_time=delegation_key_start_time,
        key_expiry_time=delegation_key_expiry_time
    )

    # Create a SAS token that's valid for one hour, as an example
    sas_token = generate_blob_sas(
        account_name=blob_service_client.account_name,
        container_name=source_blob.container_name,
        blob_name=source_blob.blob_name,
        account_key=None,
        user_delegation_key=key,
        permission=BlobSasPermissions(read=True),
        expiry=datetime.datetime.now(datetime.timezone.utc) + datetime.timedelta(hours=1),
        start=datetime.datetime.now(datetime.timezone.utc)
    )

    return sas_token

Catatan

Token SAS delegasi pengguna menawarkan keamanan yang lebih besar, karena ditandatangani dengan kredensial Microsoft Entra alih-alih kunci akun. Untuk membuat token SAS delegasi pengguna, perwakilan keamanan Microsoft Entra memerlukan izin yang sesuai. Untuk persyaratan otorisasi, lihat Mendapatkan Kunci Delegasi Pengguna.

Menyalin blob dari sumber di luar Azure

Anda dapat melakukan operasi salin pada objek sumber apa pun yang dapat diambil melalui permintaan HTTP GET pada URL tertentu, termasuk objek yang dapat diakses di luar Azure. Contoh berikut menunjukkan skenario untuk menyalin blob dari URL objek sumber yang dapat diakses.

def copy_from_external_source_async(self, source_url: str, destination_blob: BlobClient):
    # Start the copy operation - specify False for the requires_sync parameter
    copy_operation = dict()
    copy_operation = destination_blob.start_copy_from_url(source_url=source_url, requires_sync=False)
    
    # If start_copy_from_url returns copy_status of 'pending', the operation has been started asynchronously
    # You can optionally add logic here to wait for the copy operation to complete

Memeriksa status operasi penyalinan

Untuk memeriksa status operasi asinkron Copy Blob , Anda dapat melakukan polling metode get_blob_properties dan memeriksa status penyalinan.

Contoh kode berikut menunjukkan cara memeriksa status operasi penyalinan yang tertunda:

def check_copy_status(self, destination_blob: BlobClient):
    # Get the copy status from the destination blob properties
    copy_status = destination_blob.get_blob_properties().copy.status

    return copy_status

Membatalkan operasi salin

Membatalkan operasi yang tertunda Copy Blob menghasilkan blob tujuan dengan panjang nol. Namun, metadata untuk blob tujuan memiliki nilai baru yang disalin dari blob sumber atau diatur secara eksplisit selama operasi salin. Untuk menjaga metadata asli dari sebelum salinan, buat snapshot dari blob tujuan sebelum memanggil salah satu metode salin.

Untuk membatalkan operasi penyalinan yang tertunda, panggil operasi berikut:

Metode ini membungkus operasi Abort Copy Blob REST API, yang membatalkan operasi yang tertunda Copy Blob . Contoh kode berikut menunjukkan cara membatalkan operasi yang tertunda Copy Blob :

def abort_copy(self, destination_blob: BlobClient):
    # Get the copy operation details from the destination blob properties
    copy_status = destination_blob.get_blob_properties().copy.status
    copy_id = destination_blob.get_blob_properties().copy.id

    # Check the copy status and abort if pending
    if copy_status == 'pending':
        destination_blob.abort_copy(copy_id)
        print(f"Copy operation {copy_id} has been aborted")

Sumber

Untuk mempelajari selengkapnya tentang menyalin blob dengan penjadwalan asinkron menggunakan pustaka klien Azure Blob Storage untuk Python, lihat sumber daya berikut ini.

Sampel kode

Operasi REST API

Azure SDK untuk Python berisi pustaka yang dibangun di atas Azure REST API, memungkinkan Anda berinteraksi dengan operasi REST API melalui paradigma Python yang sudah dikenal. Metode pustaka klien yang tercakup dalam artikel ini menggunakan operasi REST API berikut:

Sumber daya pustaka klien

Konten terkait

  • Artikel ini adalah bagian dari panduan pengembang Blob Storage untuk Python. Untuk mempelajari lebih lanjut, lihat daftar lengkap artikel panduan pengembang di Membangun aplikasi Python Anda.