Memigrasikan data ke Azure Cosmos DB untuk akun Apache Cassandra menggunakan Striim

  • Artikel

BERLAKU UNTUK: Cassandra

Gambar Striim di marketplace Azure menawarkan pergerakan data real time berkelanjutan dari gudang data dan basis data ke Azure. Saat memindahkan data, Anda dapat melakukan denormalisasi in-line, transformasi data, mengaktifkan analitik real-time, dan skenario pelaporan data. Sangat mudah untuk memulai dengan Striim untuk terus memindahkan data perusahaan ke Azure Cosmos DB untuk Apache Cassandra. Azure menyediakan penawaran marketplace yang memudahkan penyebaran Striim dan memigrasikan data ke Azure Cosmos DB.

Artikel ini memperlihatkan cara menggunakan Striim untuk memigrasikan data dari database Oracle ke akun Azure Cosmos DB for Apache Cassandra.

Prasyarat

  • Jika Anda tidak memiliki langganan Azure, buatlah akun gratis sebelum Anda memulai.

  • Database Oracle yang berjalan di tempat dengan beberapa data di dalamnya.

Menyebarkan solusi marketplace Striim

  1. Masuk ke portal Azure.

  2. Pilih Buat sumber daya dan cari Striim di marketplace Azure. Pilih opsi pertama dan Buat.

    Temukan item marketplace Striim

  3. Selanjutnya, masukkan properti konfigurasi instans Striim. Lingkungan Striim digunakan dalam komputer virtual. Dari panel Dasar-Dasar, masukkan nama pengguna VM, kata sandi VM (kata sandi ini digunakan untuk SSH ke dalam VM). Pilih Langganan, Grup Sumber Daya, dan Detail lokasi tempat Anda ingin menggunakan Striim. Setelah selesai, pilih OK.

    Mengonfigurasi pengaturan dasar untuk Striim

  4. Di panel pengaturan Kluster Striim, pilih jenis penyebaran Striim dan ukuran komputer virtual.

    Pengaturan Nilai Deskripsi
    Jenis penyebaran Striim Mandiri Striim dapat berjalan dalam jenis penyebaran Mandiri atau Kluster. Mode mandiri akan menggunakan server Striim pada satu komputer virtual dan Anda dapat memilih ukuran VM tergantung pada volume data Anda. Mode kluster akan menggunakan server Striim pada dua VM atau lebih dengan ukuran yang dipilih. Lingkungan kluster dengan lebih dari 2 node menawarkan ketersediaan tinggi dan kegagalan otomatis.

    Di tutorial ini, Anda dapat memilih opsi Mandiri. Gunakan VM ukuran "Standard_F4s" default.
    Nama kluster Striim <Striim_cluster_Name> Nama kluster Striim.
    Kata sandi kluster Striim <Striim_cluster_password> Kata sandi untuk kluster.

    Setelah Anda mengisi formulir, pilih OK untuk melanjutkan.

  5. Di panel pengaturan akses Striim, konfigurasikan alamat IP Publik (pilih nilai default), Nama domain untuk Striim, Kata sandi admin yang ingin Anda gunakan untuk masuk ke UI Striim. Mengonfigurasi VNET dan Subnet (pilih nilai default). Setelah mengisi detail, pilih OK untuk melanjutkan.

    Pengaturan akses Striim

  6. Azure akan memvalidasi penyebaran dan memastikan semuanya terlihat bagus; validasi membutuhkan waktu beberapa menit untuk diselesaikan. Setelah validasi selesai, pilih OK.

  7. Terakhir, tinjau ketentuan penggunaan dan pilih Buat untuk membuat instans Striim Anda.

Mengonfigurasi database sumber

Di bagian ini, Anda mengonfigurasi database Oracle sebagai sumber pergerakan data. Server Striim dilengkapi dengan driver Oracle JDBC yang digunakan untuk terhubung ke Oracle. Untuk membaca perubahan dari database Oracle sumber, Anda bisa menggunakan LogMiner atau API XStream. Driver Oracle JDBC harus ada di classpath Java Striim untuk membaca, menulis, atau mempertahankan data dari database Oracle.

Mengonfigurasi database target

Di bagian ini, Anda akan mengonfigurasi akun Azure Cosmos DB for Apache Cassandra sebagai target pergerakan data.

  1. Buat akun Azure Cosmos DB for Apache Cassandra menggunakan portal Azure.

  2. Navigasi ke panel Data Explorer di akun Azure Cosmos DB Anda. Pilih Tabel Baru untuk membuat kontainer baru. Misalnya Anda memigrasikan produk dan pesanan data dari database Oracle ke Azure Cosmos DB. Buat Keyspace baru bernama StriimDemo dengan kontainer Orders. Penyediaan kontainer dengan 1000 RUs(contoh ini menggunakan 1000 RUs, tetapi Anda harus menggunakan throughput yang diperkirakan untuk beban kerja Anda), dan /ORDER_ID sebagai kunci utama. Nilai-nilai ini akan berbeda tergantung pada data sumber Anda.

    Membuat API untuk akun Cassandra

Mengonfigurasi Oracle ke aliran data Azure Cosmos DB

  1. Buka instans Striim yang Anda terapkan di portal Microsoft Azure. Pilih tombol Sambungkan di bilah menu atas dan dari tab SSH, salin URL di Masuk menggunakan bidang akun lokal VM.

    Dapatkan URL SSH

  2. Buka jendela terminal baru dan jalankan perintah SSH yang Anda salin dari portal Microsoft Azure. Artikel ini menggunakan terminal di macOS, Anda dapat mengikuti instruksi serupa menggunakan klien SSH di komputer Windows. Ketika diminta, ketik ya untuk melanjutkan dan masukkan kata sandi yang telah Anda tetapkan untuk komputer virtual di langkah sebelumnya.

    Sambungkan ke Striim VM

  3. Dari jendela terminal yang sama, hidupkan ulang server Striim dengan menjalankan perintah berikut:

    systemctl stop striim-node
systemctl stop striim-dbms
systemctl start striim-dbms
systemctl start striim-node

  4. Striim akan mengambil satu menit untuk memulai. Jika Anda ingin melihat statusnya, jalankan perintah berikut:

    tail -f /opt/striim/logs/striim-node.log

  5. Sekarang, buka kembali ke Azure dan salin alamat IP Publik Striim VM Anda.

    Menyalin alamat IP VM Striim

  6. Untuk menavigasi ke UI Web Striim, buka tab baru di browser dan salin IP publik diikuti dengan: 9080. Masuk dengan menggunakan nama pengguna admin, serta kata sandi admin yang Anda tentukan di portal Microsoft Azure.

    Masuk ke Striim

  7. Sekarang Anda akan tiba di beranda Striim. Ada tiga panel yang berbeda - Dasbor, Aplikasi, dan SourcePreview. Panel Dasbor memungkinkan Anda memindahkan data secara real time dan memvisualisasikannya. Panel Aplikasi berisi saluran data streaming, atau aliran data Anda. Di sebelah kanan halaman adalah SourcePreview tempat Anda dapat memperlihatkan data Anda sebelum memindahkannya.

  8. Pilih panel Aplikasi, kami akan fokus pada panel ini untuk saat ini. Ada berbagai contoh aplikasi yang dapat Anda gunakan untuk mempelajari tentang Striim, namun di artikel ini Anda akan membuatnya sendiri. Pilih tombol Tambahkan Aplikasi di sudut kanan atas.

    Menambahkan aplikasi Striim

  9. Ada beberapa cara berbeda untuk membuat aplikasi Striim. Pilih Mulai dari Awal untuk skenario ini.

    Mulai aplikasi dari awal

  10. Berikan nama yang ramah untuk aplikasi Anda, sesuatu seperti oraToCosmosDB dan pilih Simpan.

    Membuat aplikasi baru

  11. Anda akan tiba di Flow Designer, tempat Anda dapat menyeret dan meletakkan dari konektor kotak untuk membuat aplikasi streaming Anda. Ketik Oracle di bilah pencarian, seret dan letakkan sumber Oracle CDC ke kanvas aplikasi.

    Sumber ORACLE CDC

  12. Masukkan properti konfigurasi sumber instans Oracle Anda. Nama sumber hanyalah konvensi penamaan untuk aplikasi Striim, Anda dapat menggunakan nama seperti src_onPremOracle. Masukkan juga detail lain seperti jenis Adapter, URL koneksi, nama pengguna, kata sandi, nama tabel. Pilih Simpan untuk melanjutkan.

    Mengonfigurasi parameter sumber

  13. Sekarang, klik ikon gelombang aliran untuk menghubungkan instans Azure Cosmos DB target.

    Menyambungkan ke target

  14. Sebelum mengonfigurasi target, pastikan Anda telah menambahkan sertifikat akar Baltimore ke lingkungan Java Striim.

  15. Masukkan properti konfigurasi instans Azure Cosmos DB target Anda dan pilih Simpan untuk melanjutkan. Berikut adalah parameter utama yang perlu diperhatikan:

    • Adaptor - Gunakan DatabaseWriter. Saat menulis ke Azure Cosmos DB untuk Apache Cassandra, DatabaseWriter diperlukan. Driver Cassandra 3.6.0 dibundel dengan Striim. Jika DatabaseWriter melebihi jumlah RU yang disediakan pada kontainer Azure Cosmos DB Anda, aplikasi akan mengalami crash.

    • URL Koneksi - Tentukan URL koneksi Azure Cosmos DB JDBC Anda. URL berformat jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Nama pengguna - Tentukan nama akun Azure Cosmos DB Anda.

    • Kata Sandi - Tentukan kunci utama akun Azure Cosmos DB Anda.

    • Tabel - Tabel target harus memiliki kunci utama dan kunci utama tidak dapat diperbarui.

    Cuplikan layar yang memperlihatkan properti target yang dapat dikonfigurasi.

    Mengonfigurasi properti target

  16. Sekarang, kita akan langsung menjalankan aplikasi Striim. Di bilah menu atas pilih Dibuat, lalu Terapkan Aplikasi. Di jendela penyebaran Anda dapat menentukan apakah Anda ingin menjalankan bagian tertentu dari aplikasi Anda pada bagian tertentu dari topologi penyebaran Anda. Karena kami berjalan dalam topologi penyebaran sederhana melalui Azure, kami akan menggunakan opsi default.

    Menyebarkan aplikasi

  17. Sekarang, kita akan melanjutkan dan mempratinjau streaming untuk melihat data yang mengalir melalui Striim. Klik ikon gelombang dan klik ikon mata di sampingnya. Setelah menyebarkan, Anda dapat mempratinjau streaming untuk melihat data yang mengalir. Pilih ikon gelombang dan bola mata di sebelahnya. Pilih tombol Sebarkan di bilah menu atas, dan pilih Mulai Aplikasi.

    Memulai aplikasi

  18. Dengan menggunakan pembaca CDC(Change Data Capture) , Striim hanya akan mengambil perubahan baru pada database. Jika Anda memiliki data yang mengalir melalui tabel sumber, Anda akan melihatnya. Namun, karena ini adalah tabel sampel, sumber yang tidak terhubung ke aplikasi apa pun. Jika Anda menggunakan generator data sampel, Anda dapat menyisipkan rantai peristiwa ke database Oracle Anda.

  19. Anda akan melihat data yang mengalir melalui platform Striim. Striim juga mengambil semua metadata yang terkait dengan tabel Anda, yang berguna untuk memantau data dan memastikan bahwa datanya tepat sasaran.

    Menyiapkan saluran CDC

  20. Terakhir, mari kita masuk ke Azure dan menavigasi ke akun Azure Cosmos DB Anda. Refresh Data Explorer, dan Anda bisa melihat bahwa data telah tiba.

Dengan menggunakan solusi Striim di Azure, Anda dapat terus memigrasikan data ke Azure Cosmos DB dari berbagai sumber seperti Oracle, Cassandra, MongoDB, dan berbagai lainnya ke Azure Cosmos DB. Untuk mempelajari selengkapnya, kunjungi situs web Striim, unduh uji coba gratis 30 hari Striim, dan untuk masalah apa pun saat mengatur jalur migrasi dengan Striim, ajukan permintaan dukungan.

Langkah berikutnya