Striim kullanarak Apache Cassandra için Azure Cosmos DB hesabına veri geçirme

ŞUNLAR IÇIN GEÇERLIDIR: Cassandra

Azure Market'teki Striim görüntüsü, veri ambarlarından ve veritabanlarından Azure'a sürekli gerçek zamanlı veri taşıma olanağı sunar. Verileri taşırken satır içi normalleştirme, veri dönüştürme, gerçek zamanlı analiz ve veri raporlama senaryolarını etkinleştirebilirsiniz. Kurumsal verileri sürekli olarak Apache Cassandra için Azure Cosmos DB'ye taşımak için Striim'i kullanmaya başlamak kolaydır. Azure, Striim dağıtmayı ve verileri Azure Cosmos DB'ye geçirmeyi kolaylaştıran bir market teklifi sunar.

Bu makalede Striim kullanarak Oracle veritabanındanApache Cassandra için Azure Cosmos DB hesabına veri geçirme işlemi gösterilmektedir.

Önkoşullar

• Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

• Bazı verilerle şirket içinde çalışan bir Oracle veritabanı.

Striim market çözümünü dağıtma

1. Azure Portal oturum açın.

2. Kaynak oluştur'u seçin ve Azure markette Striim araması yapın. İlk seçeneği ve Oluştur'u seçin.

   

3. Ardından, Striim örneğinin yapılandırma özelliklerini girin. Striim ortamı bir sanal makinede dağıtılır. Temel Bilgiler bölmesinde VM kullanıcı adı olan VM parolasını girin (bu parola VM'ye SSH uygulamak için kullanılır). Striim'i dağıtmak istediğiniz Abonelik, Kaynak Grubu ve Konum ayrıntılarınızı seçin. İşlem tamamlandıktan sonra Tamam'ı seçin.

   

4. Striim Kümesi ayarları bölmesinde Striim dağıtımının türünü ve sanal makine boyutunu seçin.

   Ayar	Değer	Açıklama
   Striim dağıtım türü	Tek Başına	Striim tek başına veya Küme dağıtım türlerinde çalıştırılabilir. Tek başına mod Striim sunucusunu tek bir sanal makineye dağıtır ve veri biriminize bağlı olarak VM'lerin boyutunu seçebilirsiniz. Küme modu, Striim sunucusunu seçilen boyuta sahip iki veya daha fazla VM'ye dağıtır. 2'den fazla düğüme sahip küme ortamları otomatik yüksek kullanılabilirlik ve yük devretme sunar. Bu öğreticide Tek başına seçeneğini belirleyebilirsiniz. Varsayılan "Standard_F4s" boyutundaki VM'yi kullanın.
   Striim kümesinin adı	<Striim_cluster_Name>	Striim kümesinin adı.
   Küme parolasını striim	<Striim_cluster_password>	Kümenin parolası.

   Formu doldurduktan sonra devam etmek için Tamam'ı seçin.

5. Striim erişim ayarları bölmesinde Genel IP adresini (varsayılan değerleri seçin), Striim için etki alanı adını Yönetici Striim kullanıcı arabiriminde oturum açmak için kullanmak istediğiniz parolayı yapılandırın. Bir VNET ve Alt Ağ yapılandırın (varsayılan değerleri seçin). Ayrıntıları doldurduktan sonra devam etmek için Tamam'ı seçin.

   

6. Azure dağıtımı doğrular ve her şeyin iyi göründüğünden emin olur; doğrulamanın tamamlanması birkaç dakika sürer. Doğrulama tamamlandıktan sonra Tamam'ı seçin.

7. Son olarak, kullanım koşullarını gözden geçirin ve Oluştur'u seçerek Striim örneğinizi oluşturun.

Kaynak veritabanını yapılandırma

Bu bölümde Oracle veritabanını veri taşıma kaynağı olarak yapılandıracaksınız. Striim sunucusu, Oracle'a bağlanmak için kullanılan Oracle JDBC sürücüsüyle birlikte gelir. Kaynak Oracle veritabanınızdaki değişiklikleri okumak için LogMiner'ı veya XStream API'lerini kullanabilirsiniz. Oracle JDBC sürücüsü, Oracle veritabanındaki verileri okumak, yazmak veya kalıcı hale getirmek için Striim'in Java sınıf yolu içinde bulunur.

Hedef veritabanını yapılandırma

Bu bölümde Apache Cassandra için Azure Cosmos DB hesabını veri taşıma hedefi olarak yapılandıracaksınız.

1. Azure portal kullanarak Apache Cassandra için Azure Cosmos DB hesabı oluşturun.

2. Azure Cosmos DB hesabınızdaki Veri Gezgini bölmesine gidin. Yeni bir kapsayıcı oluşturmak için Yeni Tablo'yu seçin. Ürün ve sipariş verilerini Oracle veritabanından Azure Cosmos DB'ye geçirdiğinizden söz edin. Orders kapsayıcısı ile StriimDemo adlı yeni bir Keyspace oluşturun. Kapsayıcıyı 1000 RU ile sağlayın (bu örnekte 1000 RU kullanılır, ancak iş yükünüz için tahmini aktarım hızını kullanmanız gerekir) ve birincil anahtar olarak /ORDER_ID . Bu değerler, kaynak verilerinize bağlı olarak farklılık gösterir.

   

Oracle'ı Azure Cosmos DB veri akışına yapılandırma

1. Azure portal dağıttığınız Striim örneğine gidin. Üst menü çubuğunda Bağlan düğmesini seçin ve SSH sekmesinden VM yerel hesabı kullanarak oturum açma alanındaki URL'yi kopyalayın.

   

2. Yeni bir terminal penceresi açın ve Azure portal kopyaladığınız SSH komutunu çalıştırın. Bu makalede macOS'ta terminal kullanılmaktadır. Windows makinesinde SSH istemcisi kullanarak benzer yönergeleri izleyebilirsiniz. İstendiğinde devam etmek için evet yazın ve önceki adımda sanal makine için ayarladığınız parolayı girin.

   

3. Aynı terminal penceresinden aşağıdaki komutları yürüterek Striim sunucusunu yeniden başlatın:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim'in başlatılması bir dakika sürer. Durumu görmek isterseniz aşağıdaki komutu çalıştırın:

   tail -f /opt/striim/logs/striim-node.log
   

5. Şimdi Azure'a dönün ve Striim VM'nizin Genel IP adresini kopyalayın.

   

6. Striim'in Web kullanıcı arabirimine gitmek için tarayıcıda yeni bir sekme açın ve genel IP'yi kopyalayın ve ardından: 9080. yönetici kullanıcı adını ve Azure portal belirttiğiniz yönetici parolasını kullanarak oturum açın.

   

7. Şimdi Striim'in giriş sayfasına ulaşacaksınız. Üç farklı bölme vardır: Panolar, Uygulamalar ve SourcePreview. Panolar bölmesi, verileri gerçek zamanlı olarak taşımanıza ve görselleştirmenize olanak tanır. Uygulamalar bölmesi akış veri işlem hatlarınızı veya veri akışlarınızı içerir. Sayfanın sağ tarafında, verilerinizi taşımadan önce önizleyebileceğiniz SourcePreview bulunur.

8. Uygulamalar bölmesini seçin, şimdilik bu bölmeye odaklanacağız. Striim hakkında bilgi edinmek için kullanabileceğiniz çeşitli örnek uygulamalar vardır, ancak bu makalede kendi uygulamalarımızı oluşturacaksınız. Sağ üst köşedeki Uygulama Ekle düğmesini seçin.

   

9. Striim uygulamaları oluşturmanın birkaç farklı yolu vardır. Bu senaryo için Sıfırdan Başlat'ı seçin.

   

10. Uygulamanız için oraToCosmosDB gibi kolay bir ad verin ve Kaydet'i seçin.

    

11. Akış uygulamalarınızı oluşturmak için kutu bağlayıcılarını sürükleyip bırakabileceğiniz Flow Tasarım Aracı ulaşırsınız. Arama çubuğuna Oracle yazın, Oracle CDC kaynağını uygulama tuvaline sürükleyip bırakın.

    

12. Oracle örneğinizin kaynak yapılandırma özelliklerini girin. Kaynak adı yalnızca Striim uygulaması için bir adlandırma kuralıdır; src_onPremOracle gibi bir ad kullanabilirsiniz. Ayrıca Bağdaştırıcı türü, bağlantı URL'si, kullanıcı adı, parola, tablo adı gibi diğer ayrıntıları da girin. Devam etmek için Kaydet'i seçin.

    

13. Şimdi akışın dalga simgesine tıklayarak hedef Azure Cosmos DB örneğine bağlanın.

    

14. Hedefi yapılandırmadan önce Striim'in Java ortamına bir Baltimore kök sertifikası eklediğinizden emin olun.

15. Hedef Azure Cosmos DB örneğinizin yapılandırma özelliklerini girin ve devam etmek için Kaydet'i seçin. Dikkate değer anahtar parametreler şunlardır:

    • Bağdaştırıcı - DatabaseWriter kullanın. Apache Cassandra için Azure Cosmos DB'ye yazarken DatabaseWriter gereklidir. Cassandra sürücüsü 3.6.0, Striim ile birlikte gelir. DatabaseWriter, Azure Cosmos DB kapsayıcınızda sağlanan RU sayısını aşarsa uygulama kilitlenir.

    • Bağlantı URL'si - Azure Cosmos DB JDBC bağlantı URL'nizi belirtin. URL biçimindedir jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Kullanıcı adı - Azure Cosmos DB hesap adınızı belirtin.

    • Parola - Azure Cosmos DB hesabınızın birincil anahtarını belirtin.

    • Tablolar - Hedef tabloların birincil anahtarları olmalıdır ve birincil anahtarlar güncelleştirilemez.

    

    

16. Şimdi Striim uygulamasını çalıştıracağız. Üst menü çubuğunda Oluşturuldu'ya ve ardından Uygulamayı Dağıt'a tıklayın. Dağıtım penceresinde, uygulamanızın belirli bölümlerini dağıtım topolojinizin belirli bölümlerinde çalıştırmak isteyip istemediğinizi belirtebilirsiniz. Azure aracılığıyla basit bir dağıtım topolojisinde çalıştırdığımız için varsayılan seçeneği kullanacağız.

    

17. Şimdi Striim üzerinden akan verileri görmek için akışı önizleyeceğiz. Dalga simgesine tıklayın ve yanındaki göz simgesine tıklayın. Dağıtıldıktan sonra, akışta geçen verileri görmek için akışın önizlemesini görebilirsiniz. Dalga simgesini ve yanındaki göz küresini seçin. Üst menü çubuğunda Dağıtıldı düğmesini ve ardından Uygulamayı Başlat'ı seçin.

    

18. Striim, CDC(Change Data Capture) okuyucusu kullanarak veritabanında yalnızca yeni değişiklikleri alır. Kaynak tablolarınızda akan verileriniz varsa, bunu görürsünüz. Ancak, bu örnek bir tablo olduğundan, herhangi bir uygulamaya bağlı olmayan kaynaktır. Örnek veri oluşturucu kullanıyorsanız Oracle veritabanınıza bir olay zinciri ekleyebilirsiniz.

19. Verilerin Striim platformundan aktığını göreceksiniz. Striim, tablonuzla ilişkili tüm meta verileri de alır. Bu, verileri izlemek ve verilerin doğru hedefe geldiğinden emin olmak için yararlıdır.

    

20. Son olarak Azure'da oturum açıp Azure Cosmos DB hesabınıza gidelim. Veri Gezgini yenilediğinizde verilerin geldiğini görebilirsiniz.

Azure'da Striim çözümünü kullanarak Oracle, Cassandra, MongoDB gibi çeşitli kaynaklardan Azure Cosmos DB'ye ve diğer kaynaklardan Azure Cosmos DB'ye sürekli veri geçirebilirsiniz. Daha fazla bilgi edinmek için lütfen Striim web sitesini ziyaret edin, ücretsiz 30 günlük Striim deneme sürümünü indirin ve Striim ile geçiş yolunu ayarlarken karşılaşılan sorunlar için bir destek isteği gönderin.

Sonraki adımlar

• NoSQL için Azure Cosmso DB'ye veri geçiriyorsanız bkz. Striim kullanarak Cassandra hesabı için API'ye veri geçirme

• Azure Cosmos DB ölçümleriyle verilerinizi izleme ve hatalarını ayıklama