Striim kullanarak NoSQL için Azure Cosmos DB hesabına veri geçirme

UYGULANANLAR: NOSQL

Azure marketteki Striim görüntüsü, veri ambarlarından ve veritabanlarından Azure'a sürekli gerçek zamanlı veri taşıma olanağı sunar. Verileri taşırken satır içi normalleştirme, veri dönüştürme, gerçek zamanlı analizi etkinleştirme ve veri raporlama senaryoları gerçekleştirebilirsiniz. Kurumsal verileri sürekli olarak NoSQL için Azure Cosmos DB'ye taşımak için Striim'i kullanmaya başlamak kolaydır. Azure, Striim dağıtmayı ve verileri Azure Cosmos DB'ye geçirmeyi kolaylaştıran bir market teklifi sunar.

Bu makalede, Verileri Oracle veritabanındanNoSQL için Azure Cosmos DB hesabına geçirmek için Striim'in nasıl kullanılacağı gösterilmektedir.

Önkoşullar

• Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

• Şirket içinde bazı verilerle çalışan bir Oracle veritabanı.

Striim market çözümünü dağıtma

1. Azure Portal oturum açın.

2. Kaynak oluştur'u seçin ve Azure markette Striim araması yapın. İlk seçeneği ve Oluştur'u seçin.

   

3. Ardından, Striim örneğinin yapılandırma özelliklerini girin. Striim ortamı bir sanal makinede dağıtılır. Temel Bilgiler bölmesinde VM kullanıcı adı olan VM parolasını girin (bu parola VM'ye SSH yapmak için kullanılır). Striim'i dağıtmak istediğiniz Abonelik, Kaynak Grubu ve Konum ayrıntılarınızı seçin. İşlem tamamlandıktan sonra Tamam'ı seçin.

   

4. Striim Kümesi ayarları bölmesinde Striim dağıtımının türünü ve sanal makine boyutunu seçin.

   Ayar	Değer	Açıklama
   Striim dağıtım türü	Tek Başına	Striim tek başına veya Küme dağıtım türlerinde çalıştırılabilir. Tek başına mod Striim sunucusunu tek bir sanal makineye dağıtır ve veri biriminize bağlı olarak VM'lerin boyutunu seçebilirsiniz. Küme modu, Striim sunucusunu seçilen boyuta sahip iki veya daha fazla VM'ye dağıtır. 2'den fazla düğüme sahip küme ortamları otomatik yüksek kullanılabilirlik ve yük devretme sunar. Bu öğreticide Tek başına seçeneğini belirleyebilirsiniz. Varsayılan "Standard_F4s" boyutu vm'sini kullanın.
   Striim kümesinin adı	<Striim_cluster_Name>	Striim kümesinin adı.
   Striim kümesi parolası	<Striim_cluster_password>	Kümenin parolası.

   Formu doldurduktan sonra devam etmek için Tamam'ı seçin.

5. Striim erişim ayarları bölmesinde Genel IP adresini (varsayılan değerleri seçin), Striim için etki alanı adını Yönetici Striim kullanıcı arabiriminde oturum açmak için kullanmak istediğiniz parolayı yapılandırın. Bir VNET ve Alt Ağ yapılandırın (varsayılan değerleri seçin). Ayrıntıları doldurduktan sonra devam etmek için Tamam'ı seçin.

   

6. Azure dağıtımı doğrular ve her şeyin iyi göründüğünden emin olur; doğrulamanın tamamlanması birkaç dakika sürer. Doğrulama tamamlandıktan sonra Tamam'ı seçin.

7. Son olarak kullanım koşullarını gözden geçirin ve Oluştur'u seçerek Striim örneğinizi oluşturun.

Kaynak veritabanını yapılandırma

Bu bölümde Oracle veritabanını veri taşıma kaynağı olarak yapılandıracaksınız. Striim sunucusu, Oracle'a bağlanmak için kullanılan Oracle JDBC sürücüsüyle birlikte gelir. Kaynak Oracle veritabanınızdaki değişiklikleri okumak için LogMiner'ı veya XStream API'lerini kullanabilirsiniz. Oracle JDBC sürücüsü, Oracle veritabanındaki verileri okumak, yazmak veya kalıcı hale getirmek için Striim'in Java sınıf yolu içinde bulunur.

Hedef veritabanını yapılandırma

Bu bölümde, NoSQL için Azure Cosmos DB hesabını veri taşıma hedefi olarak yapılandıracaksınız.

1. Azure portalını kullanarak NoSQL için Azure Cosmos DB hesabı oluşturun.

2. Azure Cosmos DB hesabınızda Veri Gezgini bölmesine gidin. Yeni kapsayıcı oluşturmak için Yeni Kapsayıcı'ya tıklayın. Ürün ve sipariş verilerini Oracle veritabanından Azure Cosmos DB'ye geçirmekte olduğunuzu varsayalım. Orders adlı bir kapsayıcıyla StriimDemo adlı yeni bir veritabanı oluşturun. Kapsayıcıyı 1000 RU ile sağlayın (bu örnekte 1000 RU kullanılır, ancak iş yükünüz için tahmini aktarım hızını kullanmanız gerekir) ve bölüm anahtarı olarak /ORDER_ID. Bu değerler kaynak verilerinize bağlı olarak farklılık gösterir.

   

Oracle'ı Azure Cosmos DB veri akışına yapılandırma

1. Azure portalında dağıttığınız Striim örneğine gidin. Üst menü çubuğundaki Bağlan düğmesini seçin ve SSH sekmesinden VM yerel hesabı kullanarak oturum açma alanındaki URL'yi kopyalayın.

   

2. Yeni bir terminal penceresi açın ve Azure portalından kopyaladığınız SSH komutunu çalıştırın. Bu makalede MacOS'ta terminal kullanılmaktadır. Windows makinesinde SSH istemcisi kullanarak benzer yönergeleri izleyebilirsiniz. İstendiğinde, devam etmek için evet yazın ve önceki adımda sanal makine için ayarladığınız parolayı girin.

   

3. Aynı terminal penceresinden aşağıdaki komutları yürüterek Striim sunucusunu yeniden başlatın:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim'in başlatılması bir dakika sürer. Durumu görmek isterseniz aşağıdaki komutu çalıştırın:

   tail -f /opt/striim/logs/striim-node.log
   

5. Şimdi Azure'a dönün ve Striim VM'nizin Genel IP adresini kopyalayın.

   

6. Striim'in Web kullanıcı arabirimine gitmek için tarayıcıda yeni bir sekme açın ve genel IP'yi kopyalayın ve ardından: 9080. Azure portalında belirttiğiniz yönetici parolası ile birlikte yönetici kullanıcı adını kullanarak oturum açın.

   

7. Şimdi Striim'in giriş sayfasına ulaşacaksınız. Üç farklı bölme vardır: Panolar, Uygulamalar ve SourcePreview. Panolar bölmesi, verileri gerçek zamanlı olarak taşımanıza ve görselleştirmenize olanak tanır. Uygulamalar bölmesi akış veri işlem hatlarınızı veya veri akışlarınızı içerir. Sayfanın sağ tarafında, verilerinizi taşımadan önce önizleyebileceğiniz SourcePreview bulunur.

8. Uygulamalar bölmesini seçin, şimdilik bu bölmeye odaklanacağız. Striim hakkında bilgi edinmek için kullanabileceğiniz çeşitli örnek uygulamalar vardır, ancak bu makalede kendi uygulamalarımızı oluşturacaksınız. Sağ üst köşedeki Uygulama Ekle düğmesini seçin.

   

9. Striim uygulamaları oluşturmanın birkaç farklı yolu vardır. Var olan bir şablonla başlamak için Şablonla Başla'ya tıklayın.

   

10. Arama şablonları alanına "Cosmos" yazıp Hedef: Azure Cosmos DB'yi ve ardından Oracle CDC'yi Azure Cosmos DB'ye seçin.

    

11. Sonraki sayfada uygulamanızı adlandırın. oraToCosmosDB gibi bir ad sağlayabilir ve ardından Kaydet'i seçebilirsiniz.

12. Ardından kaynak Oracle örneğinizin kaynak yapılandırmasını girin. Kaynak Adı için bir değer girin. Kaynak adı yalnızca Striim uygulaması için bir adlandırma kuralıdır, src_onPremOracle gibi bir şey kullanabilirsiniz. Kaynak parametrelerin kalan URL'si, Kullanıcı adı, Parola değerlerini girin, Oracle'dan veri okumak için okuyucu olarak LogMiner'ı seçin. Devam etmek için İleri seçeneğini belirleyin.

    

13. Striim ortamınızı denetleyecek ve kaynak Oracle örneğine bağlanaabildiğinden, doğru ayrıcalıklara sahip olduğundan ve CDC'nin düzgün yapılandırıldığından emin olacaktır. Tüm değerler doğrulandıktan sonra İleri'yi seçin.

    

14. Oracle veritabanından geçirmek istediğiniz tabloları seçin. Örneğin, Siparişler tablosunu ve ardından İleri'yi seçelim.

    

15. Kaynak tabloyu seçtikten sonra eşleme ve filtreleme gibi daha karmaşık işlemler yapabilirsiniz. Bu durumda, Azure Cosmos DB'de kaynak tablonuzun bir çoğaltmasını oluşturacaksınız. Hedefi yapılandırmak için İleri'yi seçin

16. Şimdi hedefi yapılandıralım:

    • Hedef Adı - Hedef için kolay bir ad sağlayın.
    • Giriş Kaynağı - Açılan listeden kaynak Oracle yapılandırmasında oluşturduğunuz giriş akışını seçin.
    • Koleksiyonlar- Hedef Azure Cosmos DB yapılandırma özelliklerini girin. Koleksiyonların söz dizimi SourceSchema.SourceTable, TargetDatabase.TargetContainer şeklindedir. Bu örnekte, değer "SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey - Azure Cosmos DB hesabınızın PrimaryKey değeri.
    • ServiceEndpoint : Azure Cosmos DB hesabınızın URI'sini, Azure portalının Anahtarlar bölümünde bulabilirsiniz.

    Kaydet veİleri'yi seçin.

    

17. Ardından akış tasarımcıya ulaşırsınız ve akış uygulamalarınızı oluşturmak için kutu bağlayıcılarını sürükleyip bırakabilirsiniz. Bu noktada akışta herhangi bir değişiklik yapmazsınız. bu nedenle Uygulamayı Dağıt düğmesini seçerek uygulamayı dağıtın .

    

18. Dağıtım penceresinde, uygulamanızın belirli bölümlerini dağıtım topolojinizin belirli bölümlerinde çalıştırmak isteyip istemediğinizi belirtebilirsiniz. Azure aracılığıyla basit bir dağıtım topolojisinde çalıştırdığımız için varsayılan seçeneği kullanacağız.

    

19. Dağıtıldıktan sonra, verilerin aktığını görmek için akışın önizlemesini görebilirsiniz. Dalga simgesini ve yanındaki göz küresini seçin. Üst menü çubuğunda Dağıtıldı düğmesini ve ardından Uygulamayı Başlat'ı seçin.

    

20. Striim, CDC(Veri Yakalamayı Değiştir) okuyucusu kullanarak veritabanında yalnızca yeni değişiklikleri alır. Kaynak tablolarınızda akan verileriniz varsa bunu görürsünüz. Ancak bu bir tanıtım tablosu olduğundan kaynak herhangi bir uygulamaya bağlı değildir. Örnek veri oluşturucu kullanıyorsanız Oracle veritabanınıza bir olay zinciri ekleyebilirsiniz.

21. Verilerin Striim platformundan aktığını göreceksiniz. Striim, tablonuzla ilişkili tüm meta verileri de alır. Bu, verileri izlemek ve verilerin doğru hedefe ayarlandığından emin olmak için yararlıdır.

    

22. Son olarak Azure'da oturum açalım ve Azure Cosmos DB hesabınıza gidelim. Veri Gezgini'ni yenilediğinizde verilerin geldiğini görebilirsiniz.

    

Azure'da Striim çözümünü kullanarak Oracle, Cassandra, MongoDB gibi çeşitli kaynaklardan Azure Cosmos DB'ye ve diğer çeşitli kaynaklardan Azure Cosmos DB'ye sürekli veri geçirebilirsiniz. Daha fazla bilgi edinmek için lütfen Striim web sitesini ziyaret edin, ücretsiz 30 günlük Striim deneme sürümünü indirin ve Striim ile geçiş yolunu ayarlarken karşılaşılan sorunlar için bir destek isteği gönderin.

Sonraki adımlar

• Azure Cosmos DB'ye geçiş için kapasite planlaması yapmaya mı çalışıyorsunuz?

  • Tüm bildiğiniz mevcut veritabanı kümenizdeki sanal çekirdek ve sunucu sayısıysa, sanal çekirdek veya vCPU kullanarak istek birimlerini tahmin etme hakkında bilgi edinin
  • Geçerli veritabanı iş yükünüz için tipik istek oranlarını biliyorsanız Azure Cosmos DB kapasite planlayıcısı kullanarak istek birimlerini tahmin etme hakkındaki bilgileri okuyun

• NoSQL için Azure Cosmos DB'ye veri geçiriyorsanız bkz. Striim kullanarak Cassandra hesabı için API'ye veri geçirme

• Azure Cosmos DB ölçümleriyle verilerinizi izleme ve hatalarını ayıklama