Cara menyerap data dengan menggunakan Azure Data Factory di Azure Cosmos DB for PostgreSQL

Penting

Azure Cosmos DB for PostgreSQL tidak lagi didukung untuk proyek baru. Jangan gunakan layanan ini untuk proyek baru. Sebagai gantinya, gunakan salah satu dari dua layanan ini:

• Gunakan Azure Cosmos DB for NoSQL untuk solusi database terdistribusi yang dirancang untuk skenario skala tinggi dengan perjanjian tingkat layanan ketersediaan (SLA) 99,999%, skala otomatis instan, dan failover otomatis di beberapa wilayah.

• Gunakan fitur Elastic Clusters dari Azure Database For PostgreSQL untuk PostgreSQL yang dipecah menggunakan ekstensi Citus sumber terbuka.

Azure Data Factory adalah layanan integrasi data dan ETL berbasis cloud. Ini memungkinkan Anda membuat alur kerja berbasis data untuk memindahkan dan mengubah data dalam skala besar.

Dengan menggunakan Data Factory, Anda dapat membuat dan menjadwalkan alur kerja berbasis data (disebut alur) yang menyerap data dari penyimpanan data yang berbeda. Alur dapat berjalan secara lokal, di Azure, atau di penyedia cloud lain untuk analitik dan pelaporan.

Data Factory memiliki sink data untuk Azure Cosmos DB for PostgreSQL. Pengaliran data memungkinkan Anda membawa data Anda (relasional, NoSQL, file data lake) ke tabel Azure Cosmos DB untuk PostgreSQL, guna penyimpanan, pemrosesan, dan pelaporan.

Penting

Data Factory tidak mendukung endpoint privat untuk Azure Cosmos DB for PostgreSQL pada saat ini.

Pabrik Data untuk pemasukan waktu nyata

Berikut adalah alasan utama untuk memilih Azure Data Factory untuk menyerap data ke Azure Cosmos DB for PostgreSQL:

• Mudah digunakan - Menawarkan lingkungan visual bebas kode untuk mengatur dan mengotomatiskan pergerakan data.
• Kuat - Menggunakan kapasitas penuh bandwidth jaringan yang mendasar, hingga throughput 5 GiB/dtk.
• Konektor bawaan - Mengintegrasikan semua sumber data Anda, dengan lebih dari 90 konektor bawaan.
• Efektif biaya - Mendukung layanan cloud tanpa server yang sepenuhnya dikelola dan berbayar sesuai penggunaan, yang dapat menskalakan sesuai permintaan.

Langkah-langkah untuk menggunakan Data Factory

Dalam artikel ini, Anda membuat alur data dengan menggunakan antarmuka pengguna (UI) Data Factory. Alur di pabrik data ini menyalin data dari penyimpanan Azure Blob ke database. Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat tabel penyimpanan data yang didukung.

Di Data Factory, Anda dapat menggunakan aktivitas Salin untuk menyalin data di antara penyimpanan data yang terletak di lokal dan di cloud ke Azure Cosmos DB for PostgreSQL. Jika Anda baru menggunakan Data Factory, berikut adalah panduan cepat tentang cara memulai:

1. Setelah Data Factory disediakan, buka pabrik data Anda dan luncurkan Azure Data Factory Studio. Anda melihat halaman selamat datang Data Factory seperti yang ditunjukkan dalam gambar berikut:

   

2. Pada beranda Azure Data Factory Studio, pilih Orkestrasi.

   

3. Di bawah Properti, masukkan nama untuk pipeline.

4. Di kotak alat Aktivitas, perluas kategori Pindah & transformasi, dan seret dan letakkan aktivitas Salin data ke permukaan perancang alur. Di bagian bawah panel perancang, pada tab Umum , masukkan nama untuk aktivitas salin.

   

5. Konfigurasikan Sumber.

   1. Pada halaman Aktivitas , pilih tab Sumber . Pilih Baru untuk membuat himpunan data sumber.

   2. Di kotak dialog Himpunan Data Baru, pilih Azure Blob Storage, lalu pilih Lanjutkan.

   3. Pilih jenis format data Anda, lalu pilih Lanjutkan.

   4. Pada halaman Atur properti , di bawah Layanan tertaut, pilih Baru.

   5. Pada halaman Layanan tertaut baru, masukkan nama untuk layanan tertaut, dan pilih akun penyimpanan Anda dari daftar Nama akun penyimpanan.

      

   6. Di bawah Uji koneksi, pilih Ke jalur file, masukkan kontainer dan direktori untuk disambungkan ke, lalu pilih Uji koneksi.

   7. Pilih Buat untuk menyimpan konfigurasi.

   8. Pada layar Atur properti , pilih OK.

6. Konfigurasikan Sink.

   1. Pada halaman Aktivitas , pilih tab Sink . Pilih Baru untuk membuat himpunan data sink.

   2. Di kotak dialog Himpunan Data Baru, pilih Azure Database for PostgreSQL, lalu pilih Lanjutkan.

   3. Pada halaman Atur properti , di bawah Layanan tertaut, pilih Baru.

   4. Pada halaman Layanan tertaut baru, masukkan nama untuk layanan tertaut, dan pilih Masukkan secara manual dalam metode Pemilihan akun.

   5. Masukkan nama koordinator kluster Anda di bidang Nama domain yang sepenuhnya memenuhi syarat. Anda dapat menyalin nama koordinator dari halaman Gambaran Umum kluster Azure Cosmos DB for PostgreSQL Anda.

   6. Biarkan port default 5432 di bidang Port untuk koneksi langsung ke koordinator atau ganti dengan port 6432 untuk menyambungkan ke port PgBouncer terkelola .

   7. Masukkan nama database di kluster Anda dan berikan kredensial untuk menyambungkannya.

   8. Pilih SSL di menu dropdown metode enkripsi.

      

   9. Pilih Uji koneksi di bagian bawah panel untuk memvalidasi konfigurasi sink.

   10. Pilih Buat untuk menyimpan konfigurasi.

   11. Pada layar Atur properti , pilih OK.

   12. Pada tab Sink di halaman Aktivitas, pilih Buka di samping daftar drop-down Sink dataset dan pilih nama tabel pada kluster tujuan di mana Anda ingin mengatur pemasukan data.

   13. Di bawah Metode tulis, pilih Salin perintah.

   

7. Dari bilah alat di atas kanvas, pilih Validasi untuk memvalidasi pengaturan saluran. Perbaiki kesalahan apa pun, validasi ulang, dan pastikan bahwa alur berhasil divalidasi.

8. Pilih Debug dari toolbar untuk menjalankan alur.

   

9. Setelah alur berhasil dijalankan, di toolbar bagian atas, pilih Terbitkan semua. Tindakan ini menerbitkan entitas (himpunan data dan alur) yang Anda buat ke Data Factory.

Memanggil prosedur tersimpan di Data Factory

Dalam beberapa skenario tertentu, Anda mungkin ingin memanggil prosedur/fungsi tersimpan untuk mendorong data agregat dari tabel penahapan ke tabel ringkasan. Data Factory tidak menawarkan aktivitas prosedur tersimpan untuk Azure Cosmos DB for PostgreSQL, tetapi sebagai solusinya, Anda dapat menggunakan aktivitas Pencarian dengan kueri untuk memanggil prosedur tersimpan seperti yang ditunjukkan di bawah ini:

Langkah berikutnya

• Pelajari cara membuat dasbor waktu nyata dengan Azure Cosmos DB untuk PostgreSQL.
• Pelajari cara memindahkan beban kerja Anda ke Azure Cosmos DB for PostgreSQL