Menyalin data dari Penyimpanan yang Kompatibel Amazon S3 dengan menggunakan Azure Data Factory atau Synapse Analytics

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara menyalin data dari Penyimpanan yang Kompatibel Amazon Simple Storage Service (Amazon S3). Untuk mempelajari selengkapnya, baca artikel pengantar untuk Azure Data Factory dan Synapse Analytics.

Kemampuan yang didukung

Konektor Penyimpanan Kompatibel Amazon S3 ini didukung untuk aktivitas berikut:

Kemampuan yang didukung IR
Aktivitas penyalinan (sumber/-) ① ②
Aktivitas pencarian ① ②
Aktivitas GetMetadata ① ②
Aktivitas penghapusan ① ②

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Secara khusus, konektor Penyimpanan yang Kompatibel Amazon S3 ini mendukung penyalinan file apa adanya atau menguraikan file dengan format file dan pemadatan codec yang didukung. Konektor menggunakan AWS Signature Versi 4 untuk mengautentikasi permintaan ke S3. Anda dapat menggunakan konektor Penyimpanan yang Kompatibel Amazon S3 ini untuk menyalin data dari penyedia penyimpanan yang kompatibel S3. Tentukan URL layanan terkait dalam konfigurasi layanan tertaut.

Memerlukan izin

Untuk menyalin data dari Penyimpanan yang Kompatibel Amazon S3, pastikan Anda telah diberi izin berikut untuk operasi objek Amazon S3: s3:GetObject dan s3:GetObjectVersion.

Jika Anda menggunakan UI Data Factory untuk menulis, tambahan s3:ListAllMyBuckets dan s3:ListBucket/s3:GetBucketLocation izin diperlukan untuk operasi seperti menguji koneksi ke layanan tertaut dan penjelajahan dari root. Jika Anda tidak ingin memberikan izin ini, Anda dapat memilih opsi "Uji koneksi ke jalur file" atau "Telusuri dari jalur tertentu" dari UI.

Untuk daftar lengkap izin Amazon S3, lihat Menentukan Izin dalam Kebijakan di situs AWS.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

Membuat layanan tertaut ke Penyimpanan yang Kompatibel dengan Amazon S3 menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Penyimpanan yang Kompatibel dengan Amazon S3 di antarmuka pengguna portal Microsoft Azure.

  1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

  2. Cari Amazon dan pilih konektor Penyimpanan yang Kompatibel dengan Amazon S3.

    Select the Amazon S3 Compatible Storage connector.

  3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

    Configure a linked service to Amazon S3 Compatible Storage.

Detail konfigurasi konektor

Bagian berikut ini menyediakan detail tentang properti yang digunakan untuk menentukan entitas Data Factory tertentu untuk Penyimpanan yang Kompatibel Amazon S3.

Properti layanan tertaut

Properti berikut ini didukung untuk layanan tertaut yang Kompatibel Amazon S3:

Properti Deskripsi Wajib
jenis Properti jenis harus diatur ke AmazonS3Compatible. Ya
accessKeyId ID dari kunci akses rahasia. Ya
secretAccessKey Kunci akses rahasia itu sendiri. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensikan rahasia yang disimpan di Azure Key Vault. Ya
serviceUrl Tentukan titik akhir S3 kustom https://<service url>. Tidak
forcePathStyle Menunjukkan apakah akan menggunakan akses gaya jalur S3 alih-alih akses gaya yang dihosting virtual. Nilai yang diizinkan adalah: false (default), true.
Periksa dokumentasi setiap penyimpanan data tentang apakah akses gaya jalur diperlukan atau tidak.		 Tidak
connectVia Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Anda dapat menggunakan runtime integrasi Azure atau runtime integrasi yang dihost sendiri (jika penyimpanan data Anda berada di jaringan privat). Jika properti ini tidak ditentukan, layanan menggunakan runtime integrasi Azure default. Tidak

Contoh:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan Data.

Azure Data Factory mendukung jenis format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

Properti berikut ini didukung untuk Kompatibel Amazon S3 pada location pengaturan dalam himpunan data berbasis format:

Properti Deskripsi Wajib
jenis Properti jenis pada location dalam set data harus diatur ke AmazonS3CompatibleLocation. Ya
bucketName Nama bucket Penyimpanan yang Kompatibel S3. Ya
folderPath Jalur ke folder di bawah wadah yang diberikan. Jika Anda ingin menggunakan kartubebas untuk memfilter folder, lewati pengaturan ini dan tentukan di pengaturan sumber aktivitas. Tidak
fileName Nama file di bawah jalur wadah dan folder yang diberikan. Jika Anda ingin menggunakan kartubebas untuk memfilter file, lewati pengaturan ini dan tentukan di pengaturan sumber aktivitas. Tidak
versi Versi objek Penyimpanan yang Kompatibel S3, jika pembuatan versi Penyimpanan yang Kompatibel S3 diaktifkan. Jika tidak ditentukan, versi terbaru akan diambil. Tidak

Contoh:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung sumber Penyimpanan yang Kompatibel Amazon S3.

Penyimpanan yang Kompatibel Amazon S3 sebagai jenis sumber

Azure Data Factory mendukung jenis format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

Properti berikut didukung untuk Penyimpanan yang Kompatibel Amazon S3 pada pengaturan storeSettings dalam sumber penyalinan berbasis format:

Properti Deskripsi Wajib
jenis Properti jenis pada storeSettings harus diatur ke AmazonS3CompatibleReadSettings. Ya
Menemukan file yang akan disalin:
OPSI 1: jalur statik
 Menyalin dari wadah atau jalur folder/file yang diberikan dan ditentukan dalam himpunan data. Jika Anda ingin menyalin semua file dari satu wadah atau folder, tentukan juga wildcardFileName sebagai *.
OPSI 2: Awalan Penyimpanan yang Kompatibel S3
- awalan		 Awalan untuk nama kunci Penyimpanan yang Kompatibel S3 di bawah wadah yang diberikan, dengan konfigurasi dalam set data untuk memfilter sumber file Penyimpanan yang Kompatibel S3. Tombol Penyimpanan yang Kompatibel S3 dengan nama awal bucket_in_dataset/this_prefix dipilih. Ini menggunakan filter sisi layanan Penyimpanan yang Kompatibel S3, yang memberikan performa yang lebih baik daripada filter kartubebas.

Ketika Anda menggunakan awalan dan memilih untuk menyalin ke sink berbasis file dengan mempertahankan hierarki, perhatikan bahwa sub-jalur setelah awalan "/" terakhir akan dipertahankan. Misalnya, Anda memiliki sumber bucket/folder/subfolder/file.txt, dan mengonfigurasi prefiks sebagai folder/sub, maka jalur file yang dipertahankan adalah subfolder/file.txt.		 Tidak
OPSI 3: kartubebas
- wildcardFolderPath		 Jalur folder dengan karakter kartubebas di bawah wadah yang diberikan dikonfigurasi dalam himpunan data untuk memfilter folder sumber.
Kartubebas yang diizinkan adalah: * (cocok dengan nol atau lebih karakter) dan ? (cocok dengan karakter nol atau satu). Gunakan ^ untuk karakter escape jika nama folder Anda memiliki karakter kartubebas atau karakter escape di dalamnya.
Lihat contoh lainnya dalam Contoh filter folder dan file.		 Tidak
OPSI 3: kartubebas
- wildcardFileName		 Nama file dengan kartubebas di bawah jalur wadah dan folder yang diberikan (atau jalur folder kartubebas) untuk memfilter file sumber.
Kartubebas yang diizinkan adalah: * (cocok dengan nol atau lebih karakter) dan ? (cocok dengan karakter nol atau satu). Gunakan ^ untuk karakter escape jika nama file Anda memiliki karakter kartubebas atau karakter escape di dalamnya. Lihat contoh lainnya dalam Contoh filter folder dan file.		 Ya
OPSI 4: daftar file
- fileListPath		 Mengindikasikan untuk menyalin set file yang diberikan. Arahkan ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris, yang merupakan jalur relatif ke jalur yang dikonfigurasi dalam himpunan data.
Saat Anda menggunakan opsi ini, jangan tentukan nama file di himpunan data. Lihat contoh lainnya dalam Contoh daftar file.		 Tidak
Pengaturan tambahan:
recursive Menunjukkan apakah data dibaca secara rekursif dari subfolder atau hanya dari folder yang ditentukan. Perhatikan bahwa ketika recursive diatur ke true dan sink adalah penyimpanan berbasis file, folder kosong atau subfolder tidak disalin atau dibuat di sink.
Nilai yang diizinkan adalah true (default) dan false.
Properti ini tidak berlaku saat Anda mengonfigurasi fileListPath.		 Tidak
deleteFilesAfterCompletion Menunjukkan apakah file biner akan dihapus dari penyimpanan sumber setelah berhasil pindah ke penyimpanan tujuan. Penghapusan file dilakukan per file, jadi ketika aktivitas salin gagal, Anda akan melihat beberapa file telah disalin ke tujuan dan dihapus dari sumbernya, sementara file yang lain masih berada di penyimpanan sumber.
Properti ini hanya valid dalam skenario penyalinan file biner. Nilai default: false.		 Tidak
modifiedDatetimeStart File difilter berdasarkan atribut: terakhir diubah.
File akan dipilih jika waktu modifikasi terakhir file tersebut lebih besar dari atau sama dengan modifiedDatetimeStart dan kurang dari modifiedDatetimeEnd. Waktu diterapkan ke zona waktu UTC dalam format "2018-12-01T05:00:00Z".
Properti dapat menjadi NULL, yang berarti tidak ada filter atribut file yang akan diterapkan ke himpunan data. Ketika modifiedDatetimeStart memiliki nilai tanggalwaktu tetapi modifiedDatetimeEnd adalah NUL, hal ini berarti file dengan nilai atribut yang terakhir diubah memiliki nilai lebih besar dari atau sama dengan nilai tanggalwaktu yang dipilih. Ketika modifiedDatetimeEnd memiliki nilai tanggalwaktu tetapi modifiedDatetimeStartadalah NUL, file dengan nilai atributnya yang terakhir diubah lebih kecil dari nilai tanggalwaktu akan dipilih.
Properti ini tidak berlaku saat Anda mengonfigurasi fileListPath.		 Tidak
modifiedDatetimeEnd Sama dengan atas. Tidak
enablePartitionDiscovery Untuk file yang dipartisi, tentukan apakah Anda akan memilah partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan.
Nilai yang diperbolehkan adalah false (default) dan true.		 Tidak
partitionRootPath Ketika penemuan partisi diaktifkan, tentukan jalur akar absolut untuk membaca folder yang dipartisi sebagai kolom data.

Jika tidak ditentukan, secara default,
- Ketika Anda menggunakan jalur file dalam himpunan data atau daftar file pada sumber, jalur akar partisi adalah jalur yang dikonfigurasi dalam himpunan data.
- Ketika Anda menggunakan filter folder kartubebas, jalur akar partisi adalah sub-jalur sebelum kartubebas pertama.
- Ketika Anda menggunakan awalan, jalur akar partisi adalah sub-path sebelum "/" terakhir.

Misalnya, dengan asumsi Anda mengonfigurasi jalur dalam himpunan data sebagai "root/folder/year=2020/month=08/day=27":
- Jika Anda menentukan jalur akar partisi sebagai "root/folder/year=2020", aktivitas salin akan menghasilkan dua kolom lagi month dan day dengan nilai masing-masing "08" dan "27", selain kolom di dalam file.
- Jika jalur akar partisi tidak ditentukan, tidak ada kolom tambahan yang akan dihasilkan.		 Tidak
maxConcurrentConnections Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan. Tidak

Contoh:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Contoh filter folder dan file

Bagian ini menjelaskan perilaku yang dihasilkan dari jalur folder dan nama file dengan filter kartubebas.

wadah kunci recursive Struktur folder sumber dan hasil filter (file dalam huruf tebal akan diambil)
wadah Folder*/* salah wadah
    FolderA
        File1.csv
        File2.json
        Subfolder1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
wadah Folder*/* benar wadah
    FolderA
        File1.csv
        File2.json
        Subfolder1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
wadah Folder*/*.csv salah wadah
    FolderA
        File1.csv
        File2.json
        Subfolder1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
wadah Folder*/*.csv benar wadah
    FolderA
        File1.csv
        File2.json
        Subfolder1
            File3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv

Contoh daftar file

Bagian ini menjelaskan perilaku yang dihasilkan menggunakan jalur daftar file di sumber aktivitas penyalinan.

Asumsikan bahwa Anda memiliki struktur folder sumber berikut dan ingin menyalin file dengan huruf tebal:

Struktur sumber sampel Konten dalam FileListToCopy.txt Konfigurasi
wadah
    FolderA
        File1.csv
        File2.json
        Subfolder1
            File3.csv
            File4.json
            File5.csv
    Metadata
        FileListToCopy.txt		 File1.csv
Subfolder1/File3.csv
Subfolder1/File5.csv		 Dalam himpunan data:
- Wadah: bucket
- Jalur folder: FolderA

Di sumber aktivitas Salin:
- Jalur daftar file: bucket/Metadata/FileListToCopy.txt

Jalur daftar file menunjuk ke file teks di penyimpanan data yang sama yang menyertakan daftar file yang ingin Anda salin, satu file per baris dengan jalur relatif ke jalur yang dikonfigurasi dalam himpunan data.

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Properti aktivitas GetMetadata

Untuk mempelajari detail tentang properti ini, lihat aktivitas GetMetadata.

Properti aktivitas penghapusan

Untuk mempelajari detail tentang properti ini, lihat Aktivitas penghapusan.

Konten terkait

Untuk daftar penyimpanan data yang didukung aktivitas Salin sebagai sumber dan sink, lihat Penyimpanan data yang didukung.