Memigrasikan data ke Azure Cosmos DB untuk akun NoSQL menggunakan Striim

BERLAKU UNTUK: NoSQL

Gambar Striim di marketplace Azure menawarkan pergerakan data real time berkelanjutan dari gudang data dan basis data ke Azure. Saat memindahkan data, Anda dapat melakukan denormalisasi in-line, transformasi data, mengaktifkan analitik real-time, dan skenario pelaporan data. Sangat mudah untuk mulai menggunakan Striim untuk terus memindahkan data perusahaan ke Azure Cosmos DB untuk NoSQL. Azure menyediakan penawaran marketplace yang memudahkan penyebaran Striim dan memigrasikan data ke Azure Cosmos DB.

Artikel ini memperlihatkan cara menggunakan Striim untuk memigrasikan data dari database Oracle ke akun Azure Cosmos DB for NoSQL.

Prasyarat

• Jika Anda tidak memiliki langganan Azure, buatlah akun gratis sebelum Anda memulai.

• Database Oracle yang berjalan di tempat dengan beberapa data di dalamnya.

Menyebarkan solusi marketplace Striim

1. Masuk ke portal Azure.

2. Pilih Buat sumber daya dan cari Striim di marketplace Azure. Pilih opsi pertama dan Buat.

   

3. Selanjutnya, masukkan properti konfigurasi instans Striim. Lingkungan Striim digunakan dalam komputer virtual. Dari panel Dasar-Dasar, masukkan nama pengguna VM, kata sandi VM (kata sandi ini digunakan untuk SSH ke dalam VM). Pilih Langganan, Grup Sumber Daya, dan Detail lokasi tempat Anda ingin menggunakan Striim. Setelah selesai, pilih OK.

   

4. Di panel pengaturan Kluster Striim, pilih jenis penyebaran Striim dan ukuran komputer virtual.

   Pengaturan	Nilai	Deskripsi
   Jenis penyebaran Striim	Mandiri	Striim dapat berjalan dalam jenis penyebaran Mandiri atau Kluster. Mode mandiri akan menggunakan server Striim pada satu komputer virtual dan Anda dapat memilih ukuran VM tergantung pada volume data Anda. Mode kluster akan menggunakan server Striim pada dua VM atau lebih dengan ukuran yang dipilih. Lingkungan kluster dengan lebih dari 2 node menawarkan ketersediaan tinggi dan kegagalan otomatis. Di tutorial ini, Anda dapat memilih opsi Mandiri. Gunakan VM ukuran "Standard_F4s" default.
   Nama kluster Striim	<Striim_cluster_Name>	Nama kluster Striim.
   Kata sandi kluster Striim	<Striim_cluster_password>	Kata sandi untuk kluster.

   Setelah Anda mengisi formulir, pilih OK untuk melanjutkan.

5. Di panel pengaturan akses Striim, konfigurasikan alamat IP Publik (pilih nilai default), Nama domain untuk Striim, Kata sandi admin yang ingin Anda gunakan untuk masuk ke UI Striim. Mengonfigurasi VNET dan Subnet (pilih nilai default). Setelah mengisi detail, pilih OK untuk melanjutkan.

   

6. Azure akan memvalidasi penyebaran dan memastikan semuanya terlihat bagus; validasi membutuhkan waktu beberapa menit untuk diselesaikan. Setelah validasi selesai, pilih OK.

7. Terakhir, tinjau ketentuan penggunaan dan pilih Buat untuk membuat instans Striim Anda.

Mengonfigurasi database sumber

Di bagian ini, Anda mengonfigurasi database Oracle sebagai sumber pergerakan data. Server Striim dilengkapi dengan driver Oracle JDBC yang digunakan untuk terhubung ke Oracle. Untuk membaca perubahan dari database Oracle sumber, Anda bisa menggunakan LogMiner atau API XStream. Driver Oracle JDBC tersedia di classpath Java Striim untuk membaca, menulis, atau menyimpan data dari database Oracle.

Mengonfigurasi database target

Di bagian ini, Anda akan mengonfigurasi akun Azure Cosmos DB for NoSQL sebagai target pergerakan data.

1. Buat akun Azure Cosmos DB for NoSQL menggunakan portal Azure.

2. Navigasi ke panel Data Explorer di akun Azure Cosmos DB Anda. Pilih Kontainer Baru untuk membuat kontainer baru. Misalnya Anda memigrasikan produk dan pesanan data dari database Oracle ke Azure Cosmos DB. Buat database baru bernama StriimDemo dengan kontainer bernama Orders. Provisikan kontainer dengan 1000 RUs(contoh ini menggunakan 1000 RUs, tetapi Anda harus menggunakan throughput yang diperkirakan untuk beban kerja Anda), dan /ORDER_ID sebagai kunci partisi. Nilai-nilai ini akan berbeda tergantung pada data sumber Anda.

   

Mengonfigurasi Oracle ke aliran data Azure Cosmos DB

1. Buka instans Striim yang Anda terapkan di portal Microsoft Azure. Pilih tombol Sambungkan di bilah menu atas dan dari tab SSH, salin URL di Masuk menggunakan bidang akun lokal VM.

   

2. Buka jendela terminal baru dan jalankan perintah SSH yang Anda salin dari portal Microsoft Azure. Artikel ini menggunakan terminal di MacOS, Anda dapat mengikuti instruksi serupa menggunakan klien SSH di komputer Windows. Ketika diminta, ketik ya untuk melanjutkan dan masukkan kata sandi yang telah Anda tetapkan untuk komputer virtual di langkah sebelumnya.

   

3. Dari jendela terminal yang sama, hidupkan ulang server Striim dengan menjalankan perintah berikut:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim akan mengambil satu menit untuk memulai. Jika Anda ingin melihat statusnya, jalankan perintah berikut:

   tail -f /opt/striim/logs/striim-node.log
   

5. Sekarang, buka kembali ke Azure dan salin alamat IP Publik Striim VM Anda.

   

6. Untuk menavigasi ke UI Web Striim, buka tab baru di browser dan salin IP publik diikuti dengan: 9080. Masuk dengan menggunakan nama pengguna admin, serta kata sandi admin yang Anda tentukan di portal Microsoft Azure.

   

7. Sekarang Anda akan tiba di beranda Striim. Ada tiga panel yang berbeda - Dasbor, Aplikasi, dan SourcePreview. Panel Dasbor memungkinkan Anda memindahkan data secara real time dan memvisualisasikannya. Panel Aplikasi berisi saluran data streaming, atau aliran data Anda. Di sebelah kanan halaman adalah SourcePreview tempat Anda dapat memperlihatkan data Anda sebelum memindahkannya.

8. Pilih panel Aplikasi, kami akan fokus pada panel ini untuk saat ini. Ada berbagai contoh aplikasi yang dapat Anda gunakan untuk mempelajari tentang Striim, namun di artikel ini Anda akan membuatnya sendiri. Pilih tombol Tambahkan Aplikasi di sudut kanan atas.

   

9. Ada beberapa cara berbeda untuk membuat aplikasi Striim. Pilih Mulai dengan Templat untuk memulai dengan templat yang sudah ada.

   

10. Di bidang Cari templat, ketik "Cosmos" dan pilih Target: Azure Cosmos DB lalu pilih Oracle CDC ke Azure Cosmos DB.

    

11. Di halaman berikutnya, beri nama aplikasi Anda. Anda dapat memberikan nama seperti oraToCosmosDB lalu pilih Simpan.

12. Selanjutnya, masukkan konfigurasi sumber dari instans Oracle sumber Anda. Masukkan nilai untuk Nama Sumber. Nama sumber hanyalah konvensi penamaan untuk aplikasi Striim, Anda dapat menggunakan sesuatu seperti src_onPremOracle. Masukkan nilai untuk URL parameter sumber lainnya, Nama Pengguna, Kata Sandi, pilih LogMiner sebagai pembaca untuk membaca data dari Oracle. Untuk melanjutkan, klik Berikutnya.

    

13. Striim akan memeriksa lingkungan Anda dan memastikan bahwa ia dapat terhubung ke instans Oracle sumber Anda, memiliki hak istimewa yang tepat, dan CDC telah dikonfigurasi dengan benar. Setelah semua nilai divalidasi, pilih Berikutnya.

    

14. Pilih tabel dari database Oracle yang ingin Anda migrasikan. Misalnya, pilih tabel Pesanan dan pilih Berikutnya.

    

15. Setelah memilih tabel sumber, Anda bisa melakukan operasi yang lebih rumit seperti pemetaan dan pemfilteran. Dalam hal ini, Anda hanya akan membuat replika tabel sumber Anda di Azure Cosmos DB. Jadi, pilih Berikutnya untuk mengonfigurasi target

16. Sekarang, mari kita konfigurasi target:

    • Nama Target - Berikan nama yang ramah untuk target.
    • Input Dari - Dari daftar turun bawah, pilih aliran input dari yang Anda buat di konfigurasi Oracle sumber.
    • Koleksi- Masukkan properti konfigurasi Azure Cosmos DB target. Sintaks koleksi adalah SourceSchema.SourceTable, TargetDatabase.TargetContainer. Dalam contoh ini, nilainya adalah “SYSTEM.ORDERS, StriimDemo.Orders”.
    • AccessKey - PrimaryKey akun Azure Cosmos DB Anda.
    • ServiceEndpoint – URI akun Azure Cosmos DB Anda, dapat ditemukan di bawah bagian Kunci portal Azure.

    Pilih Simpan dan Berikutnya.

    

17. Selanjutnya, Anda akan tiba di Flow Designer, tempat Anda dapat menyeret dan meletakkan dari konektor kotak untuk membuat aplikasi streaming Anda. Anda tidak akan melakukan modifikasi pada aliran pada saat ini. jadi lanjutkan dan terapkan aplikasi dengan memilih tombol Terapkan Aplikasi.

    

18. Di jendela penyebaran Anda dapat menentukan apakah Anda ingin menjalankan bagian tertentu dari aplikasi Anda pada bagian tertentu dari topologi penyebaran Anda. Karena kami berjalan dalam topologi penyebaran sederhana melalui Azure, kami akan menggunakan opsi default.

    

19. Setelah menyebarkan, Anda dapat mempratinjau streaming untuk melihat data yang mengalir. Pilih ikon gelombang dan bola mata di sebelahnya. Pilih tombol Sebarkan di bilah menu atas, dan pilih Mulai Aplikasi.

    

20. Dengan menggunakan pembaca CDC(Change Data Capture), Striim hanya akan mengambil perubahan baru pada database. Jika Anda memiliki data yang mengalir melalui tabel sumber, Anda akan melihatnya. Namun, karena ini adalah tabel demo, sumber tidak terhubung ke aplikasi apa pun. Jika Anda menggunakan generator data sampel, Anda dapat memasukkan rangkaian peristiwa ke dalam database Oracle Anda.

21. Anda akan melihat data yang mengalir melalui platform Striim. Striim juga mengambil semua metadata yang terkait dengan tabel Anda, yang berguna untuk memantau data dan memastikan bahwa datanya tepat sasaran.

    

22. Terakhir, mari kita masuk ke Azure dan menavigasi ke akun Azure Cosmos DB Anda. Refresh Azure Data Explorer, dan Anda bisa melihat bahwa data telah tiba.

    

Dengan menggunakan solusi Striim di Azure, Anda dapat terus memigrasikan data ke Azure Cosmos DB dari berbagai sumber seperti Oracle, Cassandra, MongoDB, dan berbagai lainnya ke Azure Cosmos DB. Untuk mempelajari selengkapnya, kunjungi situs web Striim, unduh uji coba gratis 30 hari Striim, dan untuk masalah apa pun saat mengatur jalur migrasi dengan Striim, ajukan permintaan dukungan.

Langkah berikutnya

• Mencoba melakukan perencanaan kapasitas untuk migrasi ke Azure Cosmos DB?

  • Jika Anda hanya mengetahui jumlah vcore dan server di kluster database yang ada, baca tentang memperkirakan unit permintaan menggunakan vCore atau vCPU
  • Jika Anda mengetahui rasio permintaan umum untuk beban kerja database Anda saat ini, baca memperkirakan unit permintaan menggunakan perencana kapasitas Azure Cosmos DB

• Jika Anda memigrasikan data ke Azure Cosmos DB for NoSQL, lihat cara memigrasikan data ke API untuk akun Cassandra menggunakan Striim

• Memantau dan debug data Anda dengan metrik Azure Cosmos DB