Salin data dari penyimpanan Blob Azure ke SQL Database dengan menggunakan alat Salin Data

Artikel
11/08/2023

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dalam tutorial ini, Anda menggunakan portal Microsoft Azure untuk membuat pabrik data. Lalu Anda menggunakan alat Salin Data untuk membuat alur yang menyalin data penyimpanan Blob Azure ke SQL Database.

Catatan

Jika Anda baru menggunakan Azure Data Factory, lihat Pendahuluan Azure Data Factory.

Di tutorial ini, Anda melakukan langkah-langkah berikuti:

Membuat pabrik data.
Menggunakan alat Salin Data untuk membuat alur.
Pantau eksekusi alur dan aktivitas.

Prasyarat

Langganan Azure: Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum memulai.
Akun Azure Storage: Menggunakan penyimpanan Blob sebagai sumber penyimpanan data. Jika Anda belum memiliki akun Azure Storage, lihat instruksi di Buat akun penyimpanan.
Azure SQL Database: Menggunakan SQL Database sebagai penyimpanan data sink. Jika Anda belum memiliki SQL Database, lihat instruksi di Buat SQL Database.

Menyiapkan database SQL

Izinkan layanan Azure mengakses SQL Server logis Azure SQL Database Anda.

Pastikan pengaturan Izinkan layanan dan sumber daya Azure untuk mengakses server ini diaktifkan untuk server Anda yang menjalankan SQL Database. Pengaturan ini memungkinkan Data Factory menulis data ke instans DB Anda. Untuk memverifikasi dan mengaktifkan pengaturan ini, buka server SQL logis > Keamanan > Firewall dan jaringan virtual > atur opsi Izinkan layanan dan sumber daya untuk mengakses server ke AKTIF.

Catatan

Opsi untuk Mengizinkan layanan dan sumber daya Azure untuk mengakses server ini memungkinkan akses jaringan ke SQL Server Anda dari sumber daya Azure mana pun, bukan hanya yang ada di langganan Anda. Ini mungkin tidak sesuai untuk semua lingkungan, tetapi sesuai untuk tutorial terbatas ini. Untuk mengetahui informasi selengkapnya, lihat Aturan Firewall Server Azure SQL. Sebagai gantinya, Anda dapat menggunakan Titik akhir privat untuk menyambungkan ke layanan PaaS Azure tanpa menggunakan IP publik.

Buat blob dan tabel SQL

Siapkan penyimpanan Blob dan SQL Database Anda untuk tutorial dengan melakukan langkah-langkah ini.

Membuat blob sumber

Luncurkan Notepad. Salin teks berikut dan simpan di file bernama inputEmp.txt pada disk Anda:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Buat kontainer bernama adfv2tutorial dan unggah file inputEmp.txt ke kontainer. Anda dapat menggunakan portal Microsoft Azure atau berbagai alat seperti Penjelajah Azure Storage untuk melakukan tugas-tugas ini.

Buat tabel SQL sink

Gunakan skrip SQL berikut untuk membuat tabel bernama dbo.emp di SQL Database Anda:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Membuat pabrik data

Di menu sebelah kiri, pilih Buat sumber daya>Integrasi>Data Factory:
Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

Nama pabrik data Anda harus unik secara global. Anda mungkin menerima pesan kesalahan berikut:

Jika Anda menerima pesan kesalahan tentang nilai nama, masukkan nama yang berbeda untuk pabrik data. Misalnya, gunakan nama yournameADFTutorialDataFactory. Untuk aturan penamaan artefak Data Factory, lihat aturan penamaan Data Factory.
Pilih langganan Azure untuk membuat pabrik data baru.
Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

a. Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari menu drop-down.

b. Pilih Buat baru, lalu masukkan nama grup sumber daya.

Untuk mempelajari grup sumber daya, lihat Menggunakan grup sumber daya untuk mengelola sumber daya Azure Anda.
Di bawah versi, pilih V2 untuk versi.
Di bawah lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Penyimpanan data (misalnya, Azure Storage dan SQL Database) dan komputasi (misalnya, Azure HDInsight) yang digunakan oleh pabrik data Anda dapat berada di lokasi dan wilayah lain.
Pilih Buat.
Setelah pembuatan selesai, beranda Data Factory ditampilkan.
Untuk meluncurkan antarmuka pengguna (UI) Azure Data Factory di tab terpisah, pilih Buka pada petak peta Buka Azure Data Factory Studio.

Menggunakan alat Salin Data untuk membuat alur

Di beranda Azure Data Factory, pilih petak peta Penyerapan untuk meluncurkan alat Salin Data.
Di halaman Properti alat Salin Data, pilih Tugas salin bawaan di bagian Jenis tugas, lalu pilih Berikutnya.
Pada halaman Penyimpanan data sumber, selesaikan langkah-langkah berikut ini:

a. Pilih + Buat koneksi baru untuk menambahkan koneksi.

b. Pilih Azure Blob Storage dari galeri, lalu pilih Lanjutkan.

c. Pada halaman Koneksi baru (Azure Blob Storage), pilih langganan Azure Anda dari daftar Langganan Azure, dan pilih akun penyimpanan Anda dari daftar Nama akun penyimpanan. Uji koneksi lalu pilih Buat.

d. Pilih layanan tertaut yang baru dibuat sebagai sumber di blok Koneksi.

e. Di bagian File atau folder, pilih Telusur untuk menavigasi ke folder adfv2tutorial, pilih file inputEmp.txt, lalu klik OK.

f. Pilih Berikutnya untuk melanjutkan ke langkah berikutnya.
Pada halaman Pengaturan format file, aktifkan kotak centang untuk Baris pertama sebagai header. Perhatikan bahwa alat tersebut otomatis mendeteksi pemisah kolom dan baris, dan Anda dapat menampilkan pratinjau data dan melihat skema data input dengan memilih tombol Pratinjau data di halaman ini. Kemudian pilih Berikutnya.
Pada halaman Penyimpanan data tujuan, selesaikan langkah-langkah berikut ini:

a. Pilih + Buat koneksi baru untuk menambahkan koneksi.

b. Pilih Azure SQL Database dari galeri, lalu pilih Lanjutkan.

c. Pada halaman Koneksi baru (Azure SQL Database), pilih langganan Azure, nama server, dan nama database dari daftar drop-down. Kemudian pilih Autentikasi SQL pada Jenis autentikasi, tentukan nama pengguna dan kata sandi. Uji sambungan dan pilih Buat.

d. Pilih layanan tertaut yang baru dibuat sebagai sink, lalu pilih Berikutnya.
Pada halaman Penyimpanan data tujuan, pilih Gunakan tabel yang sudah ada dan pilih dbo.emp tabel. Kemudian pilih Berikutnya.
Pada halaman Pemetaan kolom, perhatikan bahwa kolom kedua dan ketiga dalam file input dipetakan ke kolom FirstName dan LastName dari tabel emp. Sesuaikan pemetaan untuk memastikan tidak ada kesalahan, lalu pilih Berikutnya.
Di halaman Pengaturan, pada Nama tugas, masukkan CopyFromBlobToSqlPipeline, lalu pilih Berikutnya.
Pada halaman Ringkasan, ulas pengaturan, lalu pilih Berikutnya.
Pada Halaman penyebaran, pilih Monitor untuk memantau alur (tugas).
Pada halaman Alur, pilih Refresh untuk me-refresh daftar. Pilih tautan di bagian Nama alur untuk melihat detail eksekusi aktivitas atau menjalankan kembali alur.
Pada halaman "Eksekusi aktivitas", pilih tautan Detail (ikon kacamata) pada kolom Nama aktivitas untuk mengetahui detail selengkapnya tentang operasi penyalinan. Untuk kembali ke tampilan "Eksekusi Alur", pilih tautan Semua eksekusi alur di menu breadcrumb. Untuk me-refresh tampilan, pilih Refresh.
Pastikan bahwa data disisipkan ke dalam tabel dbo.emp di SQL Database Anda.
Pilih tab Pembuat di sebelah kiri untuk beralih ke mode editor. Anda dapat memperbarui layanan, himpunan data, dan alur yang dibuat dengan alat dengan menggunakan penyunting. Untuk detail tentang cara mengedit entitas ini di antarmuka pengguna Data Factory, lihat versi portal Microsoft Azure dari tutorial ini.