Transfer data untuk kumpulan data besar dengan bandwidth jaringan sedang hingga tinggi
Artikel ini memberi gambaran umum tentang solusi transfer data ketika Anda memiliki bandwidth jaringan sedang hingga tinggi di lingkungan dan Anda berencana untuk mentransfer kumpulan data besar. Artikel ini juga menjelaskan opsi transfer data yang disarankan dan matriks kemampuan kunci masing-masing untuk skenario ini.
Untuk memahami gambaran umum semua opsi transfer data yang tersedia, buka Memilih solusi transfer data Azure.
Deskripsi skenario
Kumpulan data besar mengacu pada data dalam urutan TB sampai PB. Bandwidth jaringan sedang hingga tinggi mengacu pada 100 Mbps hingga 10 Gbps.
Opsi yang disarankan
Opsi yang disarankan dalam skenario ini bergantung pada apakah Anda memiliki bandwidth jaringan sedang atau bandwidth jaringan tinggi.
Bandwidth jaringan sedang (100 Mbps - 1 Gbps)
Dengan bandwidth jaringan sedang, Anda perlu memproyeksikan waktu transfer data melalui jaringan.
Gunakan tabel berikut untuk memperkirakan waktu dan berdasarkan itu, pilih antara transfer offline atau melalui jaringan. Tabel menunjukkan proyeksi waktu transfer data jaringan, untuk berbagai bandwidth jaringan yang tersedia (dengan asumsi pemanfaatan 90%).
Jika transfer jaringan diproyeksikan terlalu lambat, Anda harus menggunakan perangkat fisik. Opsi yang disarankan dalam hal ini adalah perangkat transfer offline dari keluarga Azure Data Box atau Azure Import/Export menggunakan cakram Anda sendiri.
- Keluarga Azure Data Box untuk transfer offline – Gunakan perangkat Data Box yang disediakan Microsoft untuk memindahkan data dalam jumlah besar ke Azure saat Anda dibatasi oleh waktu, ketersediaan jaringan, atau biaya. Salin data lokal dengan menggunakan alat seperti Robocopy. Bergantung pada ukuran data yang akan ditransfer, Anda dapat memilih dari Cakram Data Box, Data Box, atau Data Box Heavy.
- Azure Import/Export – Gunakan layanan Azure Import/Export untuk mengimpor data dalam jumlah besar dengan aman ke penyimpanan Azure Blob dan Azure Files dengan mengirim drive cakram pribadi Anda. Layanan ini juga dapat digunakan untuk mentransfer data dari penyimpanan Azure Blob ke drive cakram dan dikirim ke situs lokal Anda.
Jika transfer jaringan diproyeksikan masuk akal, maka Anda dapat menggunakan salah satu alat berikut yang dirinci dalam Bandwidth jaringan tinggi.
Bandwidth jaringan tinggi (1 Gbps - 100 Gbps)
Jika bandwidth jaringan yang tersedia tinggi, gunakan salah satu alat berikut.
- AzCopy - Gunakan alat baris perintah ini untuk menyalin data dengan mudah ke dan dari penyimpanan Azure Blobs, Files, dan Table dengan performa optimal. AzCopy mendukung konkurensi dan paralelisme,serta kemampuan untuk melanjutkan operasi penyalinan saat terganggu.
- Azure Storage REST API/SDK – Saat membuat aplikasi, Anda dapat mengembangkan aplikasi di Azure Storage REST API dan menggunakan Azure SDK yang ditawarkan dalam beberapa bahasa.
- Keluarga Azure Data Box untuk transfer online – Azure Stack Edge dan Data Box Gateway merupakan perangkat jaringan online yang bisa memindahkan data ke dalam dan ke luar Azure. Menggunakan perangkat fisik Azure Stack Edge ketika terdapat kebutuhan untuk pengolahan dan pra-pemrosesan data secara bersamaan serta berkelanjutan sebelum mengunggahnya. Data Box Gateway adalah versi virtual perangkat dengan kemampuan transfer data yang sama. Dalam setiap kasus, transfer data dikelola oleh perangkat.
- Azure Data Factory – Data Factory harus digunakan untuk memperluas skala operasi transfer, dan jika ada kebutuhan untuk kemampuan orkestrasi dan pemantauan tingkat perusahaan. Gunakan Data Factory untuk mentransfer file secara teratur di antara beberapa layanan Azure, lokal, atau kombinasi keduanya. Dengan Data Factory, Anda dapat membuat dan menjadwalkan alur kerja berbasis data (disebut sebagai alur) yang mengolah data dari penyimpanan data yang berbeda dan mengotomatiskan pergerakan dan transformasi data.
Perbandingan kapabilitas kunci
Tabel berikut ini meringkas perbedaan kapabilitas utama untuk opsi yang disarankan.
Bandwidth jaringan sedang
Jika menggunakan transfer data offline, gunakan tabel berikut untuk memahami perbedaan kapabilitas utama.
| Cakram Data Box | Data Box | Data Box Heavy | Import/Export | |
|---|---|---|---|---|
| Ukuran data | Hingga 35 TB | Hingga 80 TB per perangkat | Hingga 800 TB per perangkat | Variabel |
| Jenis data | Azure Blobs Azure Files* |
Azure Blobs File Azure |
Azure Blobs File Azure |
Azure Blobs File Azure |
| Bentuk dan ukuran | 5 SSD per pesanan | 1 X 50-lbs. perangkat berukuran desktop per pesanan | 1 X ~500-lbs. perangkat besar per pesanan | Hingga 10 HDD/SSD per pesanan |
| Waktu persiapan awal | Rendah (15 menit) |
Rendah hingga sedang (<30 menit) |
Sedang (1-2 jam) |
Sedang hingga sulit (variabel) |
| Kirim data ke Azure | Ya | Ya | Ya | Ya |
| Ekspor data dari Azure | Tidak | Tidak | Tidak | Ya |
| Enkripsi | AES 128-bit | AES 256-bit | AES 256-bit | AES 128-bit |
| Perangkat Keras | Disediakan Microsoft | Disediakan Microsoft | Disediakan Microsoft | Disediakan pelanggan |
| Antarmuka jaringan | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Integrasi mitra | Beberapa | Tinggi | Tinggi | Beberapa |
| Pengiriman | Dikelola Microsoft | Dikelola Microsoft | Dikelola Microsoft | Dikelola pelanggan |
| Gunakan saat data berpindah | Dalam batas komersil | Dalam batas komersil | Dalam batas komersil | Di seluruh batas geografis, misalnya AS ke UE |
| Harga | Harga | Harga | Harga | Harga |
* Data Box Disk tidak mendukung Berbagi File Besar dan tidak mempertahankan metadata file
Jika menggunakan transfer data online, gunakan tabel di bagian berikut untuk bandwidth jaringan tinggi.
Bandwidth jaringan tinggi
| Alat AzCopy, Azure PowerShell, Azure CLI |
Azure Storage REST API, SDK | Data Box Gateway ataupun Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Jenis data | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files | Mendukung 70+ konektor data untuk penyimpanan dan format data |
| Bentuk dan ukuran | Alat baris perintah | Antarmuka terprogram | Microsoft menyediakan perangkat virtual atau fisik |
Layanan di portal Azure |
| Penyetelan awal satu kali | Mudah | Sedang | Mudah (<30 menit) hingga sedang (1-2 jam) | Luas |
| Pra-proses data | Tidak | Tidak | Ya (Dengan komputasi Edge) | Ya |
| Transfer dari awan lain | Tidak | Tidak | Tidak | Ya |
| Jenis pengguna | IT Pro atau dev | Dev | Profesional IT | Profesional IT |
| Harga | Gratis, biaya keluar data berlaku | Gratis, biaya keluar data berlaku | Harga Azure Stack Edge Harga Data Box Gateway |
Harga |
Langkah berikutnya
Memahami cara:
Gunakan REST API untuk mentransfer data: