Memigrasikan data dari Google Cloud Storage ke Azure Blob Storage dengan Azure Storage Mover

Fitur migrasi sumber S3 (Simple Storage Service) di Azure Storage Mover mentransfer data dengan aman dari penyimpanan objek Google Cloud Storage (GCS) yang kompatibel dengan S3 ke Azure Blob Storage.

Tidak seperti migrasi AWS S3 (Amazon Simple Storage Services) yang menggunakan konektor multicloud Azure Arc, migrasi sumber yang kompatibel dengan S3 menggunakan pendekatan yang disederhanakan. Saat Anda menyimpan URL titik akhir sumber dan kredensial HMAC (Kode Autentikasi Pesan berbasis hash) dengan aman di Azure Key Vault, Anda tidak memerlukan konektor multicloud atau penemuan sumber otomatis.

Artikel ini memandu Anda melalui proses lengkap mengonfigurasi Storage Mover untuk memigrasikan data Anda dari sumber yang kompatibel dengan GCS S3 ke Azure Blob Storage. Proses ini terdiri dari menyimpan kredensial sumber di Azure Key Vault, mengonfigurasi titik akhir sumber dan target, dan membuat dan menjalankan pekerjaan migrasi.

Prasyarat

Sebelum memulai, pastikan Anda memiliki:

  • Langganan Azure aktif dengan izin untuk membuat dan mengelola sumber daya Azure Storage Mover.
  • Akun Google Cloud dengan akses ke wadah GCS tempat Anda ingin bermigrasi.
  • Akun Azure Storage untuk digunakan sebagai tujuan.
  • Sumber daya Storage Mover yang diterapkan di langganan Azure Anda.
  • Azure Key Vault untuk menyimpan kredensial HMAC sumber Anda dengan aman.
  • Kunci HMAC yang dihasilkan untuk wadah GCS Anda. Lihat Membuat kunci HMAC untuk GCS.
  • Penyiapan koneksi privat pada Azure, jika data sumber Anda hanya dapat diakses melalui jaringan privat.

Limits

Fitur migrasi sumber GCS yang kompatibel dengan S3 di Azure Storage Mover memiliki batas berikut:

  • Setiap pekerjaan migrasi mendukung transfer 500 juta objek.
  • Maksimum 10 tugas secara bersamaan didukung untuk setiap langganan. Jika Anda perlu menjalankan lebih dari 10, buat permintaan dukungan.
  • Hanya akses HTTPS ke sumber yang kompatibel dengan S3 yang didukung.
  • Sumber yang kompatibel dengan S3 harus mendukung autentikasi gaya AWS Signature Version 4 (SigV4).

Hal yang perlu diketahui

Sebelum Anda memulai migrasi, tinjau pertimbangan berikut khusus untuk migrasi sumber yang kompatibel dengan GCS S3:

Metode autentikasi

Akses yang kompatibel dengan GCS S3 menggunakan kunci HMAC (ID Kunci Akses dan Kunci Rahasia) yang terkait dengan akun layanan GCS atau akun pengguna. Kunci ini memungkinkan GCS merespons permintaan API S3 standar dengan menggunakan proses autentikasi AWS Signature Versi 4.

Membuat kunci HMAC untuk GCS

Untuk mengakses wadah GCS menggunakan antarmuka yang kompatibel dengan S3, Anda perlu membuat kunci HMAC di Google Cloud Console.

  1. Navigasikan ke Google Cloud Console.

  2. Buka tab Cloud Storage>Setelan>Interoperabilitas.

  3. Jika Anda belum melakukannya, pilih Atur proyek default untuk akses interoperabilitas.

  4. Di bagian Kunci akses untuk akun layanan , pilih akun layanan yang ingin Anda gunakan dan pilih Buat kunci.

  5. Perhatikan nilai Kunci Akses dan Kunci Rahasia . Anda memerlukan nilai-nilai ini di langkah berikutnya.

    Important

    Simpan kunci ini dengan aman. Kunci Rahasia hanya ditampilkan sekali. Kunci hanya terlihat selama pembuatan awal dan tidak dapat diambil nanti.

  6. Pastikan kredensial HMAC memiliki periode validitas minimum satu minggu untuk memastikan penyelesaian pekerjaan dan keamanan yang optimal.

Menyimpan kredensial sumber di Azure Key Vault

Setelah membuat kunci HMAC untuk wadah GCS Anda, simpan sebagai rahasia di Azure Key Vault untuk akses aman oleh layanan Storage Mover.

  1. Menggunakan portal Azure, navigasikan ke Azure Key Vault yang berada dalam langganan yang sama dengan sumber daya Storage Mover Anda.

  2. Di dalam navigasi kiri, perluas menu Objek dan pilih Rahasia. Selanjutnya, pilih Buat/Impor.

    Tangkapan layar menyoroti lokasi item menu rahasia Key Vault di navigasi kiri.

    Tangkapan layar menyoroti lokasi item menu Hasilkan Rahasia Key Vault.

  3. Buat rahasia untuk Kunci Akses:

    • Nama: Berikan nama yang bermakna (misalnya, gcs-access-key).
    • Nilai rahasia: Tempelkan nilai Kunci Akses HMAC dari bagian sebelumnya.
    • Pilih Buat.

    Tangkapan layar menampilkan bidang yang relevan dengan jendela Key Vault 'Buat rahasia' untuk menyimpan kunci akses Anda.

  4. Buat rahasia kedua untuk Kunci Rahasia:

    • Nama: Berikan nama yang bermakna (misalnya, gcs-secret-key).
    • Nilai rahasia: Tempelkan nilai Kunci Rahasia HMAC dari bagian sebelumnya.
    • Pilih Buat.

    Tangkapan layar menampilkan bidang yang relevan dengan jendela Key Vault 'Buat rahasia' untuk menyimpan kunci rahasia Anda.

  5. Perhatikan URI Pengidentifikasi Rahasia lengkap untuk setiap rahasia. Anda memerlukan pengidentifikasi ini saat membuat titik akhir sumber.

Note

Untuk memastikan keamanan yang optimal, sebaiknya nonaktifkan akses publik pada Key Vault yang berisi rahasia HMAC dan menambahkan Storage Mover sebagai layanan tepercaya.

Untuk informasi selengkapnya, lihat Mengatur dan mengambil rahasia dari Key Vault menggunakan portal Azure.


Mengonfigurasi titik akhir sumber dan target

Setelah Menyimpan kredensial HMAC dalam Azure Key Vault, langkah selanjutnya adalah membuat titik akhir sumber dan target migrasi Anda.

Dalam konteks layanan Azure Storage Mover, titik akhir adalah sumber daya yang berisi jalur ke lokasi sumber atau target dan informasi relevan lainnya. Definisi pekerjaan Storage Mover menggunakan titik akhir untuk menentukan lokasi sumber dan target untuk operasi salin.

Mengonfigurasi titik akhir sumber yang kompatibel dengan GCS S3

Titik akhir sumber mengidentifikasi lokasi tempat data Anda dimigrasikan. Titik akhir sumber digunakan untuk menentukan asal data yang ditentukan dalam proyek migrasi Anda.

Langkah-langkah berikut menjelaskan proses pembuatan titik akhir sumber.

  1. Navigasikan ke instans Storage Mover Anda di Azure portal.

  2. Dari grup Manajemen sumber daya di navigasi kiri, pilih Titik akhir penyimpanan. Pilih tab Titik akhir sumber , lalu pilih Buat titik akhir untuk membuka panel Buat titik akhir sumber .

  3. Di panel Buat titik akhir sumber :

    • Pilih Migrasi multicloud sebagai jenis Migrasi.
    • Pilih GCS Object Storage- S3 sebagai Jenis sumber.
    • URL Sumber: Masukkan URL HTTPS lengkap ke wadah GCS Anda dalam format yang kompatibel dengan S3. Gunakan format: https://storage.googleapis.com/<bucket-name>/ atau https://storage.googleapis.com/<bucket-name>/<prefix>/ untuk memigrasikan hanya subkumpulan objek.
    • Akses Key Vault URI Rahasia: Masukkan URI lengkap rahasia yang berisi Kunci Akses HMAC Anda
    • Rahasia Key Vault URI Rahasia: Masukkan URI lengkap rahasia yang berisi Kunci Rahasia HMAC Anda
    • Secara opsional, berikan Deskripsi untuk titik akhir.
  4. Verifikasi bahwa pilihan Anda sudah benar dan pilih Buat untuk membuat titik akhir.

    Tangkapan layar menampilkan bidang yang relevan dengan jendela Storage Mover 'Buat titik akhir sumber'.

    Note

    Saat titik akhir sumber dibuat, identitas terkelola yang ditetapkan sistem secara otomatis disediakan. Identitas ini memerlukan akses ke peran Role-Based Access Control (RBAC) Key Vault Secrets User pada Azure Key Vault Anda untuk mengambil kredensial HMAC selama migrasi. Portal mencoba menetapkan peran ini secara otomatis. Jika penugasan gagal karena izin yang tidak mencukup, tetapkan secara manual atau hubungi administrator Azure Anda untuk memberikan peran secara manual.

Mengonfigurasi titik akhir target Azure Blob Storage

  1. Dari grup Manajemen sumber daya di navigasi kiri, pilih Titik akhir penyimpanan. Pilih tab Titik akhir target , lalu pilih Tambahkan titik akhir untuk membuka panel Buat titik akhir target .

  2. Di panel Buat titik akhir target :

    • Pilih akun Langganan dan Penyimpanan Anda dari daftar drop-down masing-masing.
    • Pilih Kontainer Blob dari bidang Jenis Target .
    • Pilih kontainer Blob yang ingin Anda migrasikan dari daftar drop-down.
    • Secara opsional, berikan Deskripsi untuk titik akhir.
  3. Verifikasi bahwa pilihan Anda sudah benar dan pilih Buat untuk membuat titik akhir.

Menetapkan peran RBAC

Saat Anda membuat titik akhir melalui portal Azure, peran RBAC yang diperlukan secara otomatis ditetapkan ke identitas terkelola yang ditetapkan sistem:

Titik Akhir Role Sumber daya target
Titik akhir sumber Pengguna Rahasia Key Vault Azure Key Vault Anda
Titik akhir target Kontributor Data untuk Blob Penyimpanan Kontainer Azure Blob Anda

Jika penugasan otomatis gagal (misalnya, karena izin yang tidak mencukup), Anda harus menetapkan peran ini secara manual atau menghubungi administrator Azure Anda.

Membuat proyek migrasi dan definisi kerja

Setelah Anda menentukan titik akhir sumber dan target untuk migrasi Anda, langkah selanjutnya adalah membuat proyek migrasi Storage Mover dan definisi kerja.

Proyek migrasi memungkinkan Anda mengatur migrasi besar ke unit yang lebih kecil dan lebih mudah dikelola. Definisi pekerjaan menjelaskan sumber daya dan opsi migrasi untuk serangkaian operasi penyalinan tertentu. Sumber daya ini termasuk, misalnya, titik akhir sumber dan target, dan pengaturan migrasi apa pun yang ingin Anda terapkan.

Ikuti langkah-langkah di bagian ini untuk membuat proyek migrasi dan menjalankan pekerjaan migrasi.

Membuat proyek

  1. Buka bagian Proyek di bawah Rencanakan + jalankan migrasi pada instance Storage Mover Anda, lalu pilih Buat proyek di tab Proyek.

  2. Masukkan nilai untuk bidang berikut:

    • Nama: Nama yang bermakna untuk proyek migrasi.
    • Deskripsi proyek: Deskripsi yang berguna untuk proyek.
  3. Pilih Buat untuk membuat proyek.

    Tangkapan layar menampilkan bidang yang relevan dengan jendela Storage Mover 'Buat proyek'.

Membuat definisi pekerjaan

Pilih proyek setelah muncul, lalu pilih Buat pekerjaan. Wizard pembuatan pekerjaan memiliki empat tab: Dasar, Jadwal, Pengaturan, dan Tinjauan.

Tab Dasar

  1. Masukkan nilai untuk bidang berikut:

    Ladang Nilai
    Tipe migrasi Pilih Migrasi multicloud
    Jenis sumber Pilih Penyimpanan Objek GCS - S3 (Pratinjau)
    Jenis wadah S3 Pilih Publik atau Privat (Pratinjau)
    Nama Nama yang bermakna untuk pekerjaan
    Description (Opsional) Deskripsi untuk pekerjaan (maksimal 1.024 karakter)

    Tangkapan layar menampilkan bidang yang relevan dengan tab Dasar jendela Storage Mover 'Buat proyek'.

  2. Di bagian Sumber :

    • Titik akhir sumber: Pilih Tambahkan titik akhir sumber untuk membuat titik akhir baru, atau pilih titik akhir sumber yang kompatibel dengan GCS S3 yang sudah ada.
    • Subjalur sumber: (Opsional) Tentukan jalur subfolder untuk memigrasikan hanya sebagian dari bucket Anda. Jika dibiarkan kosong, pekerjaan dimulai dari akar wadah.
    • Verifikasi jalur Lengkap yang ditampilkan sudah benar.
  3. Di bagian Target :

    • Titik Akhir Target: Pilih Tambahkan titik akhir target untuk membuat titik akhir baru, atau pilih titik akhir target Azure Blob Storage yang sudah ada.
    • Subjalur tujuan: (Opsional) Tentukan subfolder tujuan. Jika dibiarkan kosong, semua konten dimigrasikan ke akar kontainer. Subjalur yang unik akan membuat subfolder baru.

    Tangkapan layar menampilkan bidang yang relevan dengan bidang jendela Storage Mover 'Buat proyek' di dalam tab Dasar.

  4. Jika Anda memilih Privat untuk jenis wadah S3, bagian Koneksi privat akan muncul:

    • Pilih Tambahkan untuk mengaitkan koneksi privat yang disetujui dengan pekerjaan ini.
    • Hanya koneksi dalam status Disetujui yang dapat ditambahkan.
    • Anda dapat mengaitkan beberapa koneksi privat untuk penyeimbangan beban.

    Note

    Wadah privat memerlukan koneksi privat. Anda harus memiliki setidaknya satu koneksi privat yang disetujui sebelum Anda dapat memulai pekerjaan dengan jenis wadah Privat. Lihat Konektivitas jaringan privat untuk GCS untuk langkah-langkah penyiapan.

  5. Untuk melanjutkan, klik Berikutnya.

Tab Jadwal

Pilih kapan Anda ingin migrasi berjalan:

Option Description
Tidak ada jadwal Memulai migrasi secara manual
Jadwal satu kali Jalankan migrasi sekali pada waktu yang ditentukan
Jadwal berulang Menjalankan migrasi pada jadwal harian, mingguan, atau bulanan

Important

Penjadwalan saat ini tidak tersedia untuk jenis sumber GCS Object Storage - S3. Pekerjaan hanya dapat dijalankan secara manual. Pilih Tidak ada jadwal dan pilih Berikutnya untuk melanjutkan.

Tab pengaturan

  1. Pilih mode Salin yang diinginkan dari daftar drop-down:

    Mode salin Behavior
    Gabungkan konten ke dalam target File disimpan dalam target meskipun tidak ada di sumbernya. File dengan nama dan jalur yang cocok diperbarui agar sesuai dengan sumbernya. Perubahan nama folder di antara penyalinan dapat menyebabkan konten duplikat di lokasi tujuan.
    Salin sumber ke tujuan Menjadikan target replika persis dari sumber. Objek yang dihapus dari sumber juga dihapus dari target.
  2. Tinjau bagian Hasil migrasi untuk memahami bagaimana data Anda dipetakan:

    Hasil Description
    Struktur direktori Target mendukung folder "virtual". Nama file diawali dengan jalur sumbernya dan ditempatkan dalam daftar tunggal. Folder kosong direpresentasikan sebagai blob kosong dengan metadata folder yang dipertahankan dalam metadata kustom.
    Membuat tanda waktu Dipertahankan sebagai metadata blob kustom. Tanda waktu blob-native mencerminkan waktu file dimigrasikan.
    Ubah tanda waktu Dipertahankan sebagai metadata blob kustom. Tidak ada stempel waktu asli blob dengan jenis ini.
    Tanda waktu yang dimodifikasi Dipertahankan sebagai metadata blob kustom. Tanda waktu blob-native mencerminkan waktu file dimigrasikan.
    Tanda waktu terakhir yang diakses Dipertahankan sebagai metadata blob kustom jika ada di sumbernya. Tidak ada stempel waktu asli blob jenis ini.
    Metadata lainnya Disimpan dalam metadata kustom pada blob target. Hanya 4 KiB metadata yang dapat disimpan. Metadata yang lebih besar dari 4 KiB tidak dimigrasikan.
    Protokol migrasi cloud Blob REST API
  3. Untuk melanjutkan, klik Berikutnya.

Tab Ulasan

Tinjau ringkasan konfigurasi Anda:

  • Dasar-dasar: Nama pekerjaan, jenis migrasi
  • Sumber: Jenis sumber, URL sumber dengan nama bucket, nama cloud (GCS), subjalur sumber
  • Target: Akun penyimpanan, kontainer blob Azure, subjalur target
  • Jadwal: Frekuensi migrasi
  • Pengaturan: Mode salin

Jika semua pengaturan sudah benar, pilih Buat untuk menyebarkan pekerjaan. Pilih Sebelumnya untuk membuat perubahan.

Menjalankan pekerjaan migrasi

Memulai pekerjaan

  1. Navigasi ke tab Proyek . Pekerjaan yang baru dibuat muncul dalam daftar di bawah proyek Anda.
  2. Pilih definisi pekerjaan Anda untuk melihat detailnya di tab Properti .
  3. Pilih tombol Mulai pekerjaan .
  4. Di panel Mulai pekerjaan , konfirmasi detail pekerjaan dan pilih Mulai untuk memulai migrasi.

Pekerjaan berjalan di latar belakang. Anda dapat memantau kemajuannya di tab Ringkasan migrasi .

Memantau kemajuan migrasi

Saat Anda menggunakan Storage Mover untuk memigrasikan data, Anda harus memantau operasi penyalinan untuk potensi masalah. Data yang berkaitan dengan operasi yang sedang dilakukan selama migrasi Anda ditampilkan dalam tab Ringkasan migrasi . Data ini memungkinkan Anda melacak kemajuan migrasi Anda dengan memberikan status saat ini dan informasi utama seperti kemajuan, kecepatan, dan perkiraan waktu penyelesaian.

Saat dikonfigurasi, Azure Storage Mover juga menyediakan log penyalinan dan log eksekusi pekerjaan. Log ini memungkinkan Anda melacak hasil migrasi eksekusi pekerjaan dan file individual.

  1. Navigasi ke tab Pekerjaan Migrasi .
  2. Pilih pekerjaan Anda untuk melihat kemajuan, kecepatan, dan perkiraan waktu penyelesaian.
  3. Pilih Log untuk memeriksa kesalahan atau peringatan apa pun.
  4. Setelah migrasi selesai, verifikasi data di Azure Blob Storage.

Untuk mempelajari selengkapnya tentang salinan dan log pekerjaan pada Storage Mover Azure, lihat artikel Cara mengaktifkan salinan dan log pekerjaan Azure Storage Mover.


Validasi pascamigrasi

Validasi data pascamigrasi memastikan bahwa data Anda akurat dan transfer dari GCS ke Azure Blob Storage selesai. Proses validasi ini memverifikasi integritas data dengan membandingkan data yang dimigrasikan dengan data yang sama dari sumbernya.

Ikuti langkah-langkah ini untuk menyelesaikan validasi manual dan membersihkan sumber daya GCS yang tidak digunakan:

  1. Bandingkan sumber dan target: Verifikasi bahwa semua objek yang diharapkan ditransfer dengan membandingkan jumlah objek dan ukuran data total antara wadah GCS dan kontainer Blob Azure.
  2. Periksa integritas data secara acak: Unduh sampel objek yang representatif dari sumber dan tujuan, lalu bandingkan checksum.
  3. Aktifkan sinkronisasi bertahap (jika diperlukan): Jika Anda perlu menjaga wadah GCS dan kontainer Blob Azure sinkron dari waktu ke waktu, jadwalkan eksekusi pekerjaan berulang.
  4. Nonaktifkan sumber: Hapus bucket GCS dan kunci HMAC setelah migrasi benar-benar selesai dan telah diverifikasi. Hapus rahasia yang sesuai dari Azure Key Vault saat tidak lagi diperlukan.

Pemecahan masalah dan dukungan

Jika Anda mengalami masalah selama migrasi, mulai pemecahan masalah dengan mengambil langkah-langkah berikut.

Issue Resolution
Tugas migrasi gagal Periksa log penyalinan dan log tugas untuk melihat pesan kesalahan yang terperinci. Penyebab umum termasuk kredensial yang tidak valid atau masalah konektivitas jaringan.
Kesalahan autentikasi Verifikasi bahwa Kunci Akses HMAC dan Kunci Rahasia yang disimpan di Azure Key Vault sudah benar dan tidak kedaluwarsa. Pastikan identitas terkelola titik akhir sumber memiliki akses Key Vault Secrets User ke Key Vault Anda.
Kesalahan izin pada tujuan Pastikan bahwa identitas terkelola endpoint target memiliki peran Storage Blob Data Contributor pada kontainer Blob target.
Transfer data lambat Pastikan bandwidth jaringan Anda cukup. GCS mungkin menerapkan batas tarif untuk permintaan API yang kompatibel dengan S3. Pertimbangkan untuk mengurangi jumlah tugas yang berjalan secara bersamaan jika pembatasan laju terjadi.
Objek hilang setelah sinkronisasi Karena granularitas tingkat kedua tanda waktu GCS, objek yang dimodifikasi dalam detik yang sama dengan sinkronisasi terakhir mungkin tidak terdeteksi hingga pekerjaan berikutnya berjalan. Tunggu dan jalankan sinkronisasi tambahan.
Objek tak terduga di tujuan Objek placeholder direktori GCS (objek berukuran nol byte yang diakhiri dengan /) secara otomatis diabaikan dan tidak boleh muncul dalam target. Jika terdapat objek yang tidak terduga, tinjau log penyalinan untuk detail lebih lanjut.
URL Sumber ditolak Pastikan URL sumber menggunakan HTTPS, tidak berisi parameter kueri, fragmen, atau alamat IP, dan menunjuk ke nama domain yang sepenuhnya memenuhi syarat yang valid.

Jika Anda tidak dapat mengatasi masalah Anda, buat permintaan Azure support.


Artikel berikut ini dapat membantu Anda menjadi lebih terbiasa dengan layanan Storage Mover: