Bagikan melalui

Transfer data ke dan dari Azure

  • Artikel

Ada beberapa opsi untuk mentransfer data ke dan dari Azure, tergantung pada kebutuhan Anda.

Transfer fisik

Menggunakan perangkat keras fisik untuk mentransfer data ke Azure adalah opsi yang baik ketika:

  • Jaringan Anda lambat atau tidak dapat diandalkan.
  • Mendapatkan lebih banyak bandwidth jaringan sangat melarang biaya.
  • Kebijakan keamanan atau organisasi tidak mengizinkan koneksi keluar saat berhadapan dengan data sensitif.

Jika kekhawatiran utama Anda adalah berapa lama waktu yang diperlukan untuk mentransfer data, Anda mungkin ingin menjalankan pengujian untuk memverifikasi apakah transfer jaringan lebih lambat daripada transportasi fisik.

Ada dua opsi utama untuk mengangkut data secara fisik ke Azure:

Layanan Microsoft Azure Import/Export

Layanan Impor/Ekspor Azure memungkinkan Anda mentransfer data dalam jumlah besar dengan aman ke Azure Blob Storage atau Azure Files dengan mengirimkan hard disk drive SATA internal (HDD) atau SDD ke pusat data Azure. Anda juga dapat menggunakan layanan ini untuk mentransfer data dari Azure Storage ke hard disk drive dan meminta drive dikirimkan kepada Anda untuk memuat lokal.

Azure Data Box

Azure Data Box adalah appliance yang disediakan Microsoft yang berfungsi seperti layanan Impor/Ekspor. Dengan Data Box, Microsoft mengirimkan appliance transfer kepemilikan, aman, dan tahan perubahan serta menangani logistik end-to-end, yang dapat Anda lacak melalui portal. Salah satu manfaat layanan Data Box adalah kemudahan penggunaan. Anda tidak perlu membeli beberapa hard drive, menyiapkannya, dan mentransfer file ke masing-masing. Data Box didukung oleh banyak mitra Azure terkemuka di industri untuk mempermudah penggunaan transportasi offline ke cloud dengan lancar dari produk mereka.

Alat dan API baris perintah

Pertimbangkan opsi ini saat Anda ingin transfer data skrip dan terprogram:

  • Azure CLI adalah alat lintas platform yang memungkinkan Anda mengelola layanan Azure dan mengunggah data ke Storage.

  • AzCopy. Gunakan AzCopy dari baris perintah Windows atau Linux untuk menyalin data dengan mudah ke dan dari Blob Storage, Azure File Storage, dan Azure Table Storage dengan performa optimal. AzCopy mendukung konkurensi dan paralelisme,serta kemampuan untuk melanjutkan operasi penyalinan saat terganggu. Anda juga dapat menggunakan AzCopy untuk menyalin data dari AWS ke Azure. Untuk akses terprogram, Microsoft Azure Storage Data Movement Library adalah kerangka kerja inti yang mendukung AzCopy. Ini disediakan sebagai pustaka .NET Core.

  • Dengan PowerShell, cmdlet PowerShell Start-AzureStorageBlobCopy adalah opsi untuk administrator Windows yang digunakan untuk PowerShell.

  • AdlCopy memungkinkan Anda menyalin data dari Blob Storage ke Azure Data Lake Storage. Ini juga dapat digunakan untuk menyalin data antara dua akun Data Lake Storage. Namun, ini tidak dapat digunakan untuk menyalin data dari Data Lake Storage ke Blob Storage.

  • Distcp digunakan untuk menyalin data ke dan dari penyimpanan kluster HDInsight (WASB) ke akun Data Lake Storage.

  • Sqoop adalah proyek Apache dan bagian dari ekosistem Hadoop. Sqoop sudah diinstal sebelumnya di semua kluster HDInsight. Hal ini memungkinkan transfer data antara kluster HDInsight dan database relasional seperti SQL, Oracle, MySQL, dan sebagainya. Sqoop adalah kumpulan alat terkait, termasuk alat impor dan ekspor. Sqoop bekerja dengan kluster HDInsight dengan menggunakan penyimpanan terpasang Blob Storage atau Data Lake Storage.

  • PolyBase adalah teknologi yang mengakses data di luar database melalui bahasa T-SQL. Di SQL Server 2016, ini memungkinkan Anda menjalankan kueri pada data eksternal di Hadoop atau mengimpor atau mengekspor data dari Blob Storage. Di Azure Synapse Analytics, Anda dapat mengimpor atau mengekspor data dari Blob Storage dan Data Lake Storage. Saat ini, PolyBase adalah metode tercepat untuk mengimpor data ke Azure Synapse Analytics.

  • Gunakan baris perintah Hadoop saat Anda memiliki data yang berada di simpul kepala kluster HDInsight. Anda dapat menggunakan perintah untuk menyalin data tersebut hadoop -copyFromLocal ke penyimpanan terlampir kluster Anda, seperti Blob Storage atau Data Lake Storage. Untuk menggunakan perintah Hadoop, Anda harus terlebih dahulu menyambungkan ke node atas. Setelah terhubung, Anda dapat mengunggah file ke penyimpanan.

Antarmuka grafis

Pertimbangkan opsi berikut jika Anda hanya mentransfer beberapa file atau objek data dan tidak perlu mengotomatiskan proses.

  • Azure Storage Explorer adalah alat lintas platform ini memungkinkan Anda mengelola konten akun penyimpanan Azure Anda. Alat ini memungkinkan Anda untuk mengunggah, mengunduh, dan mengelola blob, file, antrean, tabel, dan entitas Azure Cosmos DB. Gunakan dengan Blob Storage untuk mengelola blob dan folder, serta mengunggah dan mengunduh blob antara sistem file lokal Anda dan Blob Storage, atau di antara akun penyimpanan.

  • Portal Microsoft Azure. Blob Storage dan Data Lake Storage menyediakan antarmuka berbasis web untuk menjelajahi file dan mengunggah file baru. Opsi ini bagus jika Anda tidak ingin menginstal alat atau mengeluarkan perintah untuk menjelajahi file Anda dengan cepat, atau jika Anda ingin mengunggah beberapa yang baru.

Sinkronisasi data dan alur

  • Azure Data Factory adalah layanan terkelola yang paling cocok untuk mentransfer file secara teratur antara banyak layanan Azure, sistem lokal, atau kombinasi keduanya. Dengan menggunakan Data Factory, Anda dapat membuat dan menjadwalkan alur kerja berbasis data yang disebut alur yang menyerap data dari penyimpanan data yang berbeda. Data Factory dapat memproses dan mengubah data dengan menggunakan layanan komputasi seperti Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics, dan Azure Pembelajaran Mesin. Anda dapat membuat alur kerja berbasis data untuk mengatur dan mengotomatiskan pergerakan data dan transformasi data.

  • Alur dan aktivitas di Data Factory dan Azure Synapse Analytics dapat digunakan untuk membangun alur kerja berbasis data end-to-end untuk skenario pergerakan data dan pemrosesan data Anda. Selain itu, runtime integrasi Azure Data Factory digunakan untuk menyediakan kemampuan integrasi data di berbagai lingkungan jaringan.

  • Azure Data Box Gateway mentransfer data ke dan dari Azure, tetapi merupakan appliance virtual, bukan hard drive. Komputer virtual yang berada di jaringan lokal Anda menulis data ke Data Box Gateway dengan menggunakan protokol Network File System (NFS) dan SMB. Perangkat kemudian mentransfer data Anda ke Azure.

Kriteria pilihan utama

Untuk skenario transfer data, pilih sistem yang sesuai untuk kebutuhan Anda dengan menjawab pertanyaan-pertanyaan ini:

  • Apakah Anda perlu mentransfer data dalam jumlah besar, di mana melakukannya melalui koneksi internet akan memakan waktu terlalu lama, tidak dapat diandalkan, atau terlalu mahal? Jika ya, pertimbangkan transfer fisik.

  • Apakah Anda lebih suka membuat skrip tugas transfer data Anda, sehingga dapat digunakan kembali? Jika demikian, pilih salah satu opsi baris perintah atau Data Factory.

  • Apakah Anda perlu mentransfer sejumlah besar data melalui koneksi jaringan? Jika demikian, pilih opsi yang dioptimalkan untuk big data.

  • Apakah Anda perlu mentransfer data ke atau dari database relasional? Jika ya, pilih opsi yang mendukung satu atau beberapa database relasional. Beberapa opsi ini juga memerlukan kluster Hadoop.

  • Apakah Anda memerlukan alur data otomatis atau orkestrasi alur kerja? Jika ya, pertimbangkan Data Factory.

Matriks kemampuan

Tabel berikut merangkum perbedaan utama kemampuan.

Transfer fisik

Kemampuan Layanan Impor/Ekspor Data Box
Faktor bentuk HDD atau SDD SATA Internal Appliance perangkat keras tunggal yang aman, tahan perubahan
Microsoft mengelola logistik pengiriman Tidak Ya
Terintegrasi dengan produk mitra Tidak Ya
Appliance kustom Tidak Ya

Alat baris perintah

Hadoop/HDInsight:

Kemampuan Distcp Sqoop CLI Hadoop
Dioptimalkan untuk big data Ya Ya Ya
Salin ke database hubungan Tidak Ya Tidak
Salin dari database hubungan Tidak Ya Tidak
Salin ke Blob Storage Ya Ya Ya
Salin dari Blob Storage Ya Ya Tidak
Salin ke Data Lake Storage Ya Ya Ya
Salin dari Data Lake Storage Ya Ya Tidak

Lainnya:

Kemampuan Azure CLI AzCopy PowerShell AdlCopy PolyBase
Platform yang kompatibel Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Dioptimalkan untuk big data Tidak Ya Tidak Ya 1 Ya 2
Salin ke database hubungan Tidak No No No Ya
Salin dari database hubungan Tidak No No No Ya
Salin ke Blob Storage Ya Ya Ya No Ya
Salin dari Blob Storage Ya Ya Ya Ya Ya
Salin ke Data Lake Storage Tidak Ya Ya Ya Ya
Salin dari Data Lake Storage Tidak No Ya Ya Ya

[1] AdlCopy dioptimalkan untuk mentransfer big data saat digunakan dengan akun Data Lake Analytics.

[2] Performa PolyBase dapat ditingkatkan dengan mendorong komputasi ke Hadoop dan menggunakan grup perluasan skala PolyBase untuk memungkinkan transfer data paralel antara instans SQL Server dan node Hadoop.

Antarmuka grafis, sinkronisasi data, dan alur data

Kemampuan Azure Storage Explorer Portal Azure * Data Factory Gateway Data Box
Dioptimalkan untuk big data Tidak No Ya Ya
Salin ke database hubungan Tidak No Ya Tidak
Salin dari database hubungan Tidak No Ya Tidak
Salin ke Blob Storage Ya No Ya Ya
Salin dari Blob Storage Ya No Ya Tidak
Salin ke Data Lake Storage Tidak No Ya Tidak
Salin dari Data Lake Storage Tidak No Ya Tidak
Unggah ke Blob Storage Ya Ya Ya Ya
Mengunggah ke Data Lake Storage Ya Ya Ya Ya
Atur transfer data Tidak No Ya Tidak
Transformasi data kustom Tidak No Ya Tidak
Rencana harga Gratis Gratis Bayar tiap penggunaan Bayar per unit

* portal Azure dalam hal ini mewakili alat eksplorasi berbasis web untuk Blob Storage dan Data Lake Storage.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Langkah berikutnya