Striim kullanarak verileri NoSQL için Azure Cosmos DB hesabına geçirme
UYGULANANLAR: NoSQL
Azure marketteki Striim görüntüsü, veri ambarlarından ve veritabanlarından Azure'a sürekli gerçek zamanlı veri taşıma olanağı sunar. Verileri taşırken satır içi normalleştirme, veri dönüştürme, gerçek zamanlı analizi etkinleştirme ve veri raporlama senaryoları gerçekleştirebilirsiniz. Kurumsal verileri sürekli olarak NoSQL için Azure Cosmos DB'ye taşımak için Striim'i kullanmaya başlamak kolaydır. Azure, Striim dağıtmayı ve verileri Azure Cosmos DB'ye geçirmeyi kolaylaştıran bir market teklifi sunar.
Bu makalede, Verileri Oracle veritabanından NoSQL için Azure Cosmos DB hesabına geçirmek için Striim'in nasıl kullanılacağı gösterilmektedir.
Önkoşullar
Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Şirket içinde bazı verilerle çalışan bir Oracle veritabanı.
Striim market çözümünü dağıtma
Azure Portal’ında oturum açın.
Kaynak oluştur'u seçin ve Azure markette Striim araması yapın. İlk seçeneği ve Oluştur'u seçin.
Ardından Striim örneğinin yapılandırma özelliklerini girin. Striim ortamı bir sanal makinede dağıtılır. Temel Bilgiler bölmesinde VM kullanıcı adı olan VM parolasını girin (bu parola VM'ye SSH için kullanılır). Striim'i dağıtmak istediğiniz Abonelik, Kaynak Grubu ve Konum ayrıntılarınızı seçin. İşlem tamamlandıktan sonra Tamam'ı seçin.
Striim Kümesi ayarları bölmesinde Striim dağıtımının türünü ve sanal makine boyutunu seçin.
Ayar Value Açıklama Striim dağıtım türü Bağımsız Striim tek başına veya Küme dağıtım türlerinde çalıştırılabilir. Tek başına mod, Striim sunucusunu tek bir sanal makineye dağıtır ve veri hacminize bağlı olarak VM'lerin boyutunu seçebilirsiniz. Küme modu, Striim sunucusunu seçilen boyuta sahip iki veya daha fazla VM'ye dağıtır. 2'den fazla düğüme sahip küme ortamları otomatik yüksek kullanılabilirlik ve yük devretme sunar.
Bu öğreticide Tek başına seçeneğini belirleyebilirsiniz. Varsayılan "Standard_F4s" boyutlu VM'yi kullanın.Striim kümesinin adı <Striim_cluster_Name> Striim kümesinin adı. Striim kümesi parolası <Striim_cluster_password> Kümenin parolası. Formu doldurduktan sonra devam etmek için Tamam'ı seçin.
Striim erişim ayarları bölmesinde Genel IP adresini (varsayılan değerleri seçin), Striim için etki alanı adını, Striim kullanıcı arabiriminde oturum açmak için kullanmak istediğiniz Yönetici parolasını yapılandırın. Bir VNET ve Alt Ağ yapılandırın (varsayılan değerleri seçin). Ayrıntıları doldurduktan sonra devam etmek için Tamam'ı seçin.
Azure dağıtımı doğrular ve her şeyin iyi göründüğünden emin olur; doğrulamanın tamamlanması birkaç dakika sürer. Doğrulama tamamlandıktan sonra Tamam'ı seçin.
Son olarak, kullanım koşullarını gözden geçirin ve Oluştur'u seçerek Striim örneğinizi oluşturun.
Kaynak veritabanını yapılandırma
Bu bölümde Oracle veritabanını veri taşıma kaynağı olarak yapılandıracaksınız. Striim sunucusu, Oracle'a bağlanmak için kullanılan Oracle JDBC sürücüsüyle birlikte gelir. Kaynak Oracle veritabanınızdaki değişiklikleri okumak için LogMiner'ı veya XStream API'lerini kullanabilirsiniz. Oracle JDBC sürücüsü, Oracle veritabanındaki verileri okumak, yazmak veya kalıcı hale getirmek için Striim'in Java sınıf yolu içinde bulunur.
Hedef veritabanını yapılandırma
Bu bölümde, NoSQL için Azure Cosmos DB hesabını veri taşıma hedefi olarak yapılandıracaksınız.
Azure portalını kullanarak NoSQL için Azure Cosmos DB hesabı oluşturun.
Azure Cosmos DB hesabınızdaki Veri Gezgini bölmesine gidin. Yeni kapsayıcı oluşturmak için Yeni Kapsayıcı'ya tıklayın. Ürün ve sipariş verilerini Oracle veritabanından Azure Cosmos DB'ye geçirmekte olduğunuzu varsayalım. Orders adlı bir kapsayıcıyla StriimDemo adlı yeni bir veritabanı oluşturun. Kapsayıcıyı 1000 RU ile sağlayın (bu örnekte 1000 RU kullanılır, ancak iş yükünüz için tahmini aktarım hızını kullanmanız gerekir) ve bölüm anahtarı olarak /ORDER_ID. Bu değerler kaynak verilerinize bağlı olarak farklılık gösterir.
Oracle'ı Azure Cosmos DB veri akışına yapılandırma
Azure portalında dağıttığınız Striim örneğine gidin. Üst menü çubuğunda bağlan düğmesini seçin ve SSH sekmesinden VM yerel hesabı kullanarak oturum açma alanındaki URL'yi kopyalayın.
Yeni bir terminal penceresi açın ve Azure portalından kopyaladığınız SSH komutunu çalıştırın. Bu makalede MacOS'ta terminal kullanılmaktadır. Windows makinesinde SSH istemcisi kullanarak benzer yönergeleri izleyebilirsiniz. İstendiğinde devam etmek için evet yazın ve önceki adımda sanal makine için ayarladığınız parolayı girin.
Aynı terminal penceresinden aşağıdaki komutları yürüterek Striim sunucusunu yeniden başlatın:
systemctl stop striim-node systemctl stop striim-dbms systemctl start striim-dbms systemctl start striim-node
Striim'in başlatılması bir dakika sürer. Durumu görmek isterseniz aşağıdaki komutu çalıştırın:
tail -f /opt/striim/logs/striim-node.log
Şimdi Azure'a dönün ve Striim VM'nizin Genel IP adresini kopyalayın.
Striim'in Web kullanıcı arabirimine gitmek için tarayıcıda yeni bir sekme açın ve genel IP'yi kopyalayın ve ardından: 9080. Azure portalında belirttiğiniz yönetici parolasının yanı sıra yönetici kullanıcı adını kullanarak oturum açın.
Şimdi Striim'in giriş sayfasına ulaşacaksınız. Panolar, Uygulamalar ve SourcePreview gibi üç farklı bölme vardır. Panolar bölmesi, verileri gerçek zamanlı olarak taşımanıza ve görselleştirmenize olanak tanır. Uygulamalar bölmesi akış veri işlem hatlarınızı veya veri akışlarınızı içerir. Sayfanın sağ tarafında, verilerinizi taşımadan önce önizleyebileceğiniz SourcePreview bulunur.
Uygulamalar bölmesini seçin, şimdilik bu bölmeye odaklanacağız. Striim hakkında bilgi edinmek için kullanabileceğiniz çeşitli örnek uygulamalar vardır, ancak bu makalede kendi örnek uygulamalarımızı oluşturacaksınız. Sağ üst köşedeki Uygulama Ekle düğmesini seçin.
Striim uygulamaları oluşturmanın birkaç farklı yolu vardır. Var olan bir şablonla başlamak için Şablonla Başlat'ı seçin.
Arama şablonları alanına "Cosmos" yazın ve Hedef: Azure Cosmos DB'yi ve ardından Oracle CDC'yi Azure Cosmos DB'ye seçin.
Sonraki sayfada uygulamanızı adlandırın. oraToCosmosDB gibi bir ad sağlayıp Kaydet'i seçebilirsiniz.
Ardından kaynak Oracle örneğinizin kaynak yapılandırmasını girin. Kaynak Adı için bir değer girin. Kaynak adı yalnızca Striim uygulaması için bir adlandırma kuralıdır, src_onPremOracle gibi bir şey kullanabilirsiniz. Kaynak parametrelerin kalan URL'si, Kullanıcı Adı, Parola değerlerini girin, Oracle'dan veri okumak için okuyucu olarak LogMiner'ı seçin. Devam etmek için İleri'yi seçin.
Striim ortamınızı denetler ve kaynak Oracle örneğine bağlanaabildiğinden, doğru ayrıcalıklara sahip olduğundan ve CDC'nin düzgün yapılandırıldığından emin olur. Tüm değerler doğrulandıktan sonra İleri'yi seçin.
Oracle veritabanından geçirmek istediğiniz tabloları seçin. Örneğin, Siparişler tablosunu ve ardından İleri'yi seçelim.
Kaynak tabloyu seçtikten sonra eşleme ve filtreleme gibi daha karmaşık işlemler yapabilirsiniz. Bu durumda, Azure Cosmos DB'de kaynak tablonuzun bir çoğaltmasını oluşturacaksınız. Bu nedenle, hedefi yapılandırmak için İleri'yi seçin
Şimdi hedefi yapılandıralım:
- Hedef Adı - Hedef için kolay bir ad sağlayın.
- Giriş Kaynağı - Açılan listeden kaynak Oracle yapılandırmasında oluşturduğunuz giriş akışını seçin.
- Koleksiyonlar- Hedef Azure Cosmos DB yapılandırma özelliklerini girin. Koleksiyonların söz dizimi SourceSchema.SourceTable, TargetDatabase.TargetContainer şeklindedir. Bu örnekte, değer "SYSTEM. ORDERS, StriimDemo.Orders".
- AccessKey - Azure Cosmos DB hesabınızın PrimaryKey değeri.
- ServiceEndpoint : Azure Cosmos DB hesabınızın URI'sini Azure portalının Anahtarlar bölümünde bulabilirsiniz.
Kaydet ve İleri'yi seçin.
Ardından akış tasarımcıya ulaşırsınız ve akış uygulamalarınızı oluşturmak için kutu bağlayıcılarını sürükleyip bırakabilirsiniz. Bu noktada akışta herhangi bir değişiklik yapmazsınız. bu nedenle Uygulamayı Dağıt düğmesini seçerek uygulamayı dağıtın.
Dağıtım penceresinde, uygulamanızın belirli bölümlerini dağıtım topolojinizin belirli bölümlerinde çalıştırmak isteyip istemediğinizi belirtebilirsiniz. Azure aracılığıyla basit bir dağıtım topolojisinde çalıştırdığımız için varsayılan seçeneği kullanacağız.
Dağıtıldıktan sonra, akışın önizlemesini seçerek veri akışını görebilirsiniz. Dalga simgesini ve yanındaki göz küresini seçin. Üst menü çubuğunda Dağıtılan düğmesini ve ardından Uygulamayı Başlat'ı seçin.
Striim, CDC(Veri Yakalamayı Değiştir) okuyucusu kullanarak veritabanında yalnızca yeni değişiklikleri alır. Kaynak tablolarınızda akan verileriniz varsa bunu görürsünüz. Ancak bu bir tanıtım tablosu olduğundan, kaynak herhangi bir uygulamaya bağlı değildir. Örnek bir veri oluşturucu kullanıyorsanız Oracle veritabanınıza bir olay zinciri ekleyebilirsiniz.
Verilerin Striim platformundan aktığını göreceksiniz. Striim, tablonuzla ilişkili tüm meta verileri de alır. Bu, verileri izlemek ve verilerin doğru hedefe vardığından emin olmak için yararlıdır.
Son olarak Azure'da oturum açıp Azure Cosmos DB hesabınıza gidelim. Veri Gezgini yenilediğinizde verilerin geldiğini görebilirsiniz.
Azure'da Striim çözümünü kullanarak Oracle, Cassandra, MongoDB ve diğer çeşitli kaynaklardan Azure Cosmos DB'ye sürekli olarak veri geçirebilirsiniz. Daha fazla bilgi edinmek için lütfen Striim web sitesini ziyaret edin, 30 günlük ücretsiz bir Striim deneme sürümünü indirin ve Striim ile geçiş yolunu ayarlarken karşılaşılan sorunlar için bir destek isteği gönderin.
Sonraki adımlar
Azure Cosmos DB'ye geçiş için kapasite planlaması yapmaya mı çalışıyorsunuz?
- Tek bildiğiniz mevcut veritabanı kümenizdeki sanal çekirdek ve sunucu sayısıysa, sanal çekirdek veya vCPU kullanarak istek birimlerini tahmin etme hakkında bilgi edinin
- Geçerli veritabanı iş yükünüz için tipik istek oranlarını biliyorsanız Azure Cosmos DB kapasite planlayıcısı kullanarak istek birimlerini tahmin etme hakkında bilgi edinin
NoSQL için Azure Cosmos DB'ye veri geçiriyorsanız bkz . Striim kullanarak Cassandra hesabı için API'ye veri geçirme
Azure Cosmos DB ölçümleriyle verilerinizi izleme ve hatalarını ayıklama