Transfer data ke dan dari Azure
Ada beberapa opsi untuk mentransfer data ke dan dari Azure, tergantung pada kebutuhan Anda.
Transfer fisik
Menggunakan perangkat keras fisik untuk mentransfer data ke Azure adalah opsi yang baik ketika:
- Jaringan Anda lambat atau tidak dapat diandalkan.
- Mendapatkan lebih banyak bandwidth jaringan sangat melarang biaya.
- Kebijakan keamanan atau organisasi tidak mengizinkan koneksi keluar saat berhadapan dengan data sensitif.
Jika kekhawatiran utama Anda adalah berapa lama waktu yang diperlukan untuk mentransfer data, Anda mungkin ingin menjalankan pengujian untuk memverifikasi apakah transfer jaringan lebih lambat daripada transportasi fisik.
Ada dua opsi utama untuk mengangkut data secara fisik ke Azure:
Layanan Microsoft Azure Import/Export
Layanan Impor/Ekspor Azure memungkinkan Anda mentransfer data dalam jumlah besar dengan aman ke Azure Blob Storage atau Azure Files dengan mengirimkan hard disk drive SATA internal (HDD) atau SDD ke pusat data Azure. Anda juga dapat menggunakan layanan ini untuk mentransfer data dari Azure Storage ke hard disk drive dan meminta drive dikirimkan kepada Anda untuk memuat lokal.
Azure Data Box
Azure Data Box adalah appliance yang disediakan Microsoft yang berfungsi seperti layanan Impor/Ekspor. Dengan Data Box, Microsoft mengirimkan appliance transfer kepemilikan, aman, dan tahan perubahan serta menangani logistik end-to-end, yang dapat Anda lacak melalui portal. Salah satu manfaat layanan Data Box adalah kemudahan penggunaan. Anda tidak perlu membeli beberapa hard drive, menyiapkannya, dan mentransfer file ke masing-masing. Data Box didukung oleh banyak mitra Azure terkemuka di industri untuk mempermudah penggunaan transportasi offline ke cloud dengan lancar dari produk mereka.
Alat dan API baris perintah
Pertimbangkan opsi ini saat Anda ingin transfer data skrip dan terprogram:
Azure CLI adalah alat lintas platform yang memungkinkan Anda mengelola layanan Azure dan mengunggah data ke Storage.
AzCopy. Gunakan AzCopy dari baris perintah Windows atau Linux untuk menyalin data dengan mudah ke dan dari Blob Storage, Azure File Storage, dan Azure Table Storage dengan performa optimal. AzCopy mendukung konkurensi dan paralelisme,serta kemampuan untuk melanjutkan operasi penyalinan saat terganggu. Anda juga dapat menggunakan AzCopy untuk menyalin data dari AWS ke Azure. Untuk akses terprogram, Microsoft Azure Storage Data Movement Library adalah kerangka kerja inti yang mendukung AzCopy. Ini disediakan sebagai pustaka .NET Core.
Dengan PowerShell, cmdlet PowerShell Start-AzureStorageBlobCopy adalah opsi untuk administrator Windows yang digunakan untuk PowerShell.
AdlCopy memungkinkan Anda menyalin data dari Blob Storage ke Azure Data Lake Storage. Ini juga dapat digunakan untuk menyalin data antara dua akun Data Lake Storage. Namun, ini tidak dapat digunakan untuk menyalin data dari Data Lake Storage ke Blob Storage.
Distcp digunakan untuk menyalin data ke dan dari penyimpanan kluster HDInsight (WASB) ke akun Data Lake Storage.
Sqoop adalah proyek Apache dan bagian dari ekosistem Hadoop. Sqoop sudah diinstal sebelumnya di semua kluster HDInsight. Hal ini memungkinkan transfer data antara kluster HDInsight dan database relasional seperti SQL, Oracle, MySQL, dan sebagainya. Sqoop adalah kumpulan alat terkait, termasuk alat impor dan ekspor. Sqoop bekerja dengan kluster HDInsight dengan menggunakan penyimpanan terpasang Blob Storage atau Data Lake Storage.
PolyBase adalah teknologi yang mengakses data di luar database melalui bahasa T-SQL. Di SQL Server 2016, ini memungkinkan Anda menjalankan kueri pada data eksternal di Hadoop atau mengimpor atau mengekspor data dari Blob Storage. Di Azure Synapse Analytics, Anda dapat mengimpor atau mengekspor data dari Blob Storage dan Data Lake Storage. Saat ini, PolyBase adalah metode tercepat untuk mengimpor data ke Azure Synapse Analytics.
Gunakan baris perintah Hadoop saat Anda memiliki data yang berada di simpul kepala kluster HDInsight. Anda dapat menggunakan perintah untuk menyalin data tersebut
hadoop -copyFromLocal
ke penyimpanan terlampir kluster Anda, seperti Blob Storage atau Data Lake Storage. Untuk menggunakan perintah Hadoop, Anda harus terlebih dahulu menyambungkan ke node atas. Setelah terhubung, Anda dapat mengunggah file ke penyimpanan.
Antarmuka grafis
Pertimbangkan opsi berikut jika Anda hanya mentransfer beberapa file atau objek data dan tidak perlu mengotomatiskan proses.
Azure Storage Explorer adalah alat lintas platform ini memungkinkan Anda mengelola konten akun penyimpanan Azure Anda. Alat ini memungkinkan Anda untuk mengunggah, mengunduh, dan mengelola blob, file, antrean, tabel, dan entitas Azure Cosmos DB. Gunakan dengan Blob Storage untuk mengelola blob dan folder, serta mengunggah dan mengunduh blob antara sistem file lokal Anda dan Blob Storage, atau di antara akun penyimpanan.
Portal Microsoft Azure. Blob Storage dan Data Lake Storage menyediakan antarmuka berbasis web untuk menjelajahi file dan mengunggah file baru. Opsi ini bagus jika Anda tidak ingin menginstal alat atau mengeluarkan perintah untuk menjelajahi file Anda dengan cepat, atau jika Anda ingin mengunggah beberapa yang baru.
Sinkronisasi data dan alur
Azure Data Factory adalah layanan terkelola yang paling cocok untuk mentransfer file secara teratur antara banyak layanan Azure, sistem lokal, atau kombinasi keduanya. Dengan menggunakan Data Factory, Anda dapat membuat dan menjadwalkan alur kerja berbasis data yang disebut alur yang menyerap data dari penyimpanan data yang berbeda. Data Factory dapat memproses dan mengubah data dengan menggunakan layanan komputasi seperti Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics, dan Azure Pembelajaran Mesin. Anda dapat membuat alur kerja berbasis data untuk mengatur dan mengotomatiskan pergerakan data dan transformasi data.
Alur dan aktivitas di Data Factory dan Azure Synapse Analytics dapat digunakan untuk membangun alur kerja berbasis data end-to-end untuk skenario pergerakan data dan pemrosesan data Anda. Selain itu, runtime integrasi Azure Data Factory digunakan untuk menyediakan kemampuan integrasi data di berbagai lingkungan jaringan.
Azure Data Box Gateway mentransfer data ke dan dari Azure, tetapi merupakan appliance virtual, bukan hard drive. Komputer virtual yang berada di jaringan lokal Anda menulis data ke Data Box Gateway dengan menggunakan protokol Network File System (NFS) dan SMB. Perangkat kemudian mentransfer data Anda ke Azure.
Kriteria pilihan utama
Untuk skenario transfer data, pilih sistem yang sesuai untuk kebutuhan Anda dengan menjawab pertanyaan-pertanyaan ini:
Apakah Anda perlu mentransfer data dalam jumlah besar, di mana melakukannya melalui koneksi internet akan memakan waktu terlalu lama, tidak dapat diandalkan, atau terlalu mahal? Jika ya, pertimbangkan transfer fisik.
Apakah Anda lebih suka membuat skrip tugas transfer data Anda, sehingga dapat digunakan kembali? Jika demikian, pilih salah satu opsi baris perintah atau Data Factory.
Apakah Anda perlu mentransfer sejumlah besar data melalui koneksi jaringan? Jika demikian, pilih opsi yang dioptimalkan untuk big data.
Apakah Anda perlu mentransfer data ke atau dari database relasional? Jika ya, pilih opsi yang mendukung satu atau beberapa database relasional. Beberapa opsi ini juga memerlukan kluster Hadoop.
Apakah Anda memerlukan alur data otomatis atau orkestrasi alur kerja? Jika ya, pertimbangkan Data Factory.
Matriks kemampuan
Tabel berikut merangkum perbedaan utama kemampuan.
Transfer fisik
Kemampuan | Layanan Impor/Ekspor | Data Box |
---|---|---|
Faktor bentuk | HDD atau SDD SATA Internal | Appliance perangkat keras tunggal yang aman, tahan perubahan |
Microsoft mengelola logistik pengiriman | Tidak | Ya |
Terintegrasi dengan produk mitra | Tidak | Ya |
Appliance kustom | Tidak | Ya |
Alat baris perintah
Hadoop/HDInsight:
Kemampuan | Distcp | Sqoop | CLI Hadoop |
---|---|---|---|
Dioptimalkan untuk big data | Ya | Ya | Ya |
Salin ke database hubungan | Tidak | Ya | Tidak |
Salin dari database hubungan | Tidak | Ya | Tidak |
Salin ke Blob Storage | Ya | Ya | Ya |
Salin dari Blob Storage | Ya | Ya | Tidak |
Salin ke Data Lake Storage | Ya | Ya | Ya |
Salin dari Data Lake Storage | Ya | Ya | Tidak |
Lainnya:
Kemampuan | Azure CLI | AzCopy | PowerShell | AdlCopy | PolyBase |
---|---|---|---|---|---|
Platform yang kompatibel | Linux, OS X, Windows | Linux, Windows | Windows | Linux, OS X, Windows | SQL Server, Azure Synapse Analytics |
Dioptimalkan untuk big data | Tidak | Ya | Tidak | Ya 1 | Ya 2 |
Salin ke database hubungan | Tidak | No | No | No | Ya |
Salin dari database hubungan | Tidak | No | No | No | Ya |
Salin ke Blob Storage | Ya | Ya | Ya | No | Ya |
Salin dari Blob Storage | Ya | Ya | Ya | Ya | Ya |
Salin ke Data Lake Storage | Tidak | Ya | Ya | Ya | Ya |
Salin dari Data Lake Storage | Tidak | No | Ya | Ya | Ya |
[1] AdlCopy dioptimalkan untuk mentransfer big data saat digunakan dengan akun Data Lake Analytics.
[2] Performa PolyBase dapat ditingkatkan dengan mendorong komputasi ke Hadoop dan menggunakan grup perluasan skala PolyBase untuk memungkinkan transfer data paralel antara instans SQL Server dan node Hadoop.
Antarmuka grafis, sinkronisasi data, dan alur data
Kemampuan | Azure Storage Explorer | Portal Azure * | Data Factory | Gateway Data Box |
---|---|---|---|---|
Dioptimalkan untuk big data | Tidak | No | Ya | Ya |
Salin ke database hubungan | Tidak | No | Ya | Tidak |
Salin dari database hubungan | Tidak | No | Ya | Tidak |
Salin ke Blob Storage | Ya | No | Ya | Ya |
Salin dari Blob Storage | Ya | No | Ya | Tidak |
Salin ke Data Lake Storage | Tidak | No | Ya | Tidak |
Salin dari Data Lake Storage | Tidak | No | Ya | Tidak |
Unggah ke Blob Storage | Ya | Ya | Ya | Ya |
Mengunggah ke Data Lake Storage | Ya | Ya | Ya | Ya |
Atur transfer data | Tidak | No | Ya | Tidak |
Transformasi data kustom | Tidak | No | Ya | Tidak |
Rencana harga | Gratis | Gratis | Bayar tiap penggunaan | Bayar per unit |
* portal Azure dalam hal ini mewakili alat eksplorasi berbasis web untuk Blob Storage dan Data Lake Storage.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Zoiner Tejada | CEO dan Arsitek
Langkah berikutnya
- Apa itu layanan Impor/Ekspor Azure?
- Apa itu Azure Data Box?
- Apa itu Azure CLI?
- Mulai menggunakan AzCopy
- Memulai dengan Storage Explorer
- Apa itu Azure Data Factory?
- Apa itu Azure Data Box Gateway?
Sumber daya terkait
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk