Azure'da bulut ölçeğinde analiz ile alma işlemi
Azure, verileri yerel ve üçüncü taraf platformlara almak ve yayınlamak için çeşitli hizmetler sağlar. Hacmine, hızına, çeşitliliğine ve yönüne bağlı olarak farklı hizmetler kullanılabilir. Bu hizmetlerden bazıları şunlardır:
- Azure Data Factory, tüm veri uygulaması (kaynağa uygun) gereksinimleri ve beceri düzeyleri için oluşturulmuş bir hizmettir. Kendi kodunuzu yazın veya sezgisel görsel ortamda ve kod olmadan işlemleri oluşturun, ayıklayın, yükleyin ve dönüştürün. Yerel olarak derlenmiş ve bakım gerektirmeden 90'dan fazla bağlayıcı ile veri kaynaklarını ek ücret ödemeden görsel olarak tümleştirin. Mühendisler, PaaS kaynağının genel uç noktalarını kullanmadan Hizmet olarak Azure platformu (PaaS) kaynaklarına güvenli bir şekilde bağlanmak için özel uç noktaları ve bağlantı hizmetlerini kullanabilir. Mühendisler, işlem hatlarını şirket içi veri kaynakları ve diğer bulutlar gibi üçüncü taraf ortamlara genişletmek için tümleştirme çalışma zamanlarını kullanabilir.
Bu bağlayıcılardan bazıları kaynak (okuma) veya havuz (yazma) olarak kullanılmasını destekler. Azure yerel hizmetleri, Oracle, SAP ve diğerleri kaynak veya havuz olarak kullanılabilir, ancak tüm bağlayıcılar bunu desteklemez. Böyle durumlarda Açık Veritabanı Bağlantısı (ODBC), dosya sistemi veya SSH Dosya Aktarım Protokolü (SFTP) bağlayıcıları gibi genel bağlayıcıları kullanabilirsiniz.
Azure Databricks hızlı, kolay ve işbirliğine dayalı bir Apache Spark tabanlı analiz hizmetidir. Büyük veri işlem hattı için verileri (ham veya yapılandırılmış) Data Factory aracılığıyla toplu olarak Azure'a alabilir veya Apache Kafka, Azure Event Hubs veya IoT Hub ile neredeyse gerçek zamanlı olarak akış yapabilirsiniz. Bu veriler, Azure Data Lake Storage'da uzun süreli, kalıcı depolama için bir veri gölüne iner. Azure Databricks, iş akışının bir parçası olarak birden çok veri kaynağındaki verileri okuyabilir.
Microsoft Power Platform, olay, zamanlama veya anında iletme temelli olabilecek yüzlerce hizmete bağlayıcı sağlar. Microsoft Power Automate olaylar üzerinde işlem yapabilir ve tek kayıtlar veya küçük veri hacimleri için iyileştirilmiş iş akışlarını tetikleyebilir.
Özel yerel ve üçüncü taraf araçlar, özelleştirilmiş sistemler ve neredeyse gerçek zamanlı çoğaltma ile tümleştirilmeye yönelik niş özellikler sağlar.
- Azure Veri Paylaşımı, kuruluşların verileri birden çok dış müşteri ve iş ortağıyla güvenli bir şekilde paylaşmasını destekler. Bir veri paylaşımı hesabı oluşturup veri ürünleri ekledikten sonra müşteriler ve iş ortakları veri paylaşımına davet edilebilir. Veri sağlayıcıları, paylaştıkları verileri her zaman denetler. Azure Veri Paylaşımı hangi verilerin paylaşıldığını, ne zaman paylaşıldığını ve kimin paylaştığını yönetmeyi ve izlemeyi kolaylaştırır.
Önemli
Her veri giriş bölgesi, veri belirsiz bir alım altyapısına sahip işletmeler için mevcut olan bir meta veri alımı kaynak grubuna sahiptir. Bu çerçeve altyapısına sahip değilseniz önerilen tek kaynak, veri tümleştirmeleri tarafından karmaşık alımı çalıştırmak için kullanılacak bir Azure Databricks analiz çalışma alanı dağıtmaktır. Olası otomasyon desenleri için veri bağımsız alma altyapısına bakın.
Azure Data Factory için alma konuları
Veri belirsiz bir alım altyapınız varsa, alma ve işleme kaynak grubundaki her veri giriş bölgesi için tek bir Data Factory dağıtmanız gerekir. Data Factory çalışma alanı kullanıcılara kilitlenmelidir ve yalnızca yönetilen kimlik ve hizmet sorumlularının dağıtıma erişimi olur. Veri giriş bölgesi işlemlerinin işlem hattı hata ayıklamasına izin vermek için okuma erişimi olmalıdır.
Veri uygulaması, veri taşıma için kendi Data Factory'sini içerebilir. Her veri uygulaması kaynak grubunda Data Factory olması, yalnızca Azure DevOps veya GitHub'dan işlem hatlarının dağıtılmasına izin vererek eksiksiz bir sürekli tümleştirme (CI) ve sürekli dağıtım (CD) deneyimini destekler.
Tüm Data Factory çalışma alanları, veri yönetimi giriş bölgesi içindeki veri giriş bölgesi için çoğunlukla Data Factory'deki yönetilen sanal ağ (VNet) özelliğini veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanır. Mühendislerin Azure PaaS kaynağına güvenli bir şekilde bağlanmak için yönetilen sanal ağ özelliğini kullanması teşvik edilir.
Ancak şirket içi, üçüncü taraf bulutlar ve üçüncü taraf hizmet olarak yazılım (SaaS) veri kaynaklarından almak için daha fazla tümleştirme çalışma zamanı oluşturmak mümkündür.
Azure Databricks için alma konuları
Bu kılavuz, aşağıdakiler içindeki bilgiler hakkında ayrıntılı bilgi sağlar:
Azure Databricks'ten Azure Data Lake Storage 2. Nesil erişimin güvenliğini sağlama
Azure'da bulut ölçeğinde analizde Azure Databricks'i kullanma
Geliştirme için tümleştirme işlemlerinin, test ve üretim sırasında tek bir Azure Databricks çalışma alanına dağıtılacak kodu denetlemeden önce kendi Azure Databricks ortamlarına sahip olması gerekir.
Veri uygulaması (kaynağa hizalı) kaynak grubundaki Data Factory, Azure Databricks işlerini çağırmak için çerçeveyi sağlamalıdır.
Hizmet sorumluları veri göllerini bu çalışma alanına bağlamaya yardımcı olabilir. Daha fazla bilgi için bkz . Desen 1 - hizmet sorumlusu aracılığıyla erişim .
Veri uygulamaları ekipleri Azure Databricks'te kısa ve otomatik işler dağıtabilir ve kümelerinin hızlı bir şekilde başlamasını, işi yürütmesini ve sonlandırmasını bekleyebilir. Kümelerin işler için çalışma süresini kısaltmak için Azure Databricks havuzları ayarlamanız önerilir.
Kuruluşların yeni işlem hatları için bir dağıtım çerçevesi uygulamak için Azure DevOps kullanmasını öneririz. Çerçeve, veri kümesi klasörlerini oluşturmak, erişim denetim listeleri atamak ve Databricks tablosu erişim denetimlerini zorunlu tutmadan bir tablo oluşturmak için kullanılır.
Akış alımı
Kuruluşların, yayımcıların yüksek hızlı olay akışları oluşturduğu senaryoları desteklemesi gerekebilir. Bu düzende, bu akışları almak için Event Hubs veya IoT Hub gibi bir ileti kuyruğu önerilir.
Event Hubs ve IoT Hub, düşük gecikme süresi ve yüksek güvenilirlik ile büyük olay hacimlerini ve verileri alıp işleyebilen ölçeklenebilir olay işleme hizmetleridir. Event Hubs, büyük veri akışı ve olay alma hizmeti olarak tasarlanmıştır. IoT Hub, IoT uygulaması ile yönettiği cihazlar arasında çift yönlü iletişim için merkezi bir ileti hub'ı olarak hizmet veren yönetilen bir hizmettir. Buradan veriler düzenli aralıklarla (toplu) bir veri gölüne aktarılabilir ve Apache Spark Streaming, Azure Veri Gezgini, Stream Analytics veya Time Series Insights aracılığıyla Azure Databricks ile neredeyse gerçek zamanlı olarak işlenebilir.
Kullanım örneğinin belirli giriş bölgesi içindeki son Event Hubs veya Apache Kafka giriş bölgesi, toplanmış verilerini veri giriş bölgelerinden birinde bulunan veri gölü ham katmanına ve veri giriş bölgesindeki veri uygulaması (kaynak hizalı) kaynak grubuyla ilgili Event Hubs'a göndermelidir.
Alımı izleme
İlk çalıştırma Azure Data Factory işlem hattı izleme, Data Factory işlem hatlarından gelen özel durumları izlemek ve gidermek için kullanılabilir. Özel bir izleme ve raporlama çözümü geliştirme çabasını azaltır.
Yerleşik izleme, Azure Data Factory ana düzenleme aracı olarak kullanmanın temel nedenlerinden biridir ve Azure İlkesi bu kurulumu otomatikleştirmeye yardımcı olabilir.
Veri kaynaklarını hizmetlerle eşleme
Bu bölümdeki kılavuz, alma ve işleme hizmetlerini genellikle Azure'dan alınması veya yayımlanması gereken kaynaklarla eşler.
Alım hizmetleri:
| ID | Mechanism | Not |
|---|---|---|
| A | Data Factory | Yerleşik ve genel (ODBC, SFTP ve REST) bağlayıcıları |
| B | Azure Databricks | Özel kod (JDBC, JAR ve daha fazlası) |
| C | Üçüncü taraf | WANdisco, Qlik ve Oracle GoldenGate |
| D | Diğer | Örneğin, yerel özellikler |
| E | Microsoft Power Platform ve Azure Logic Apps | Microsoft Power Automate bağlayıcıları |
Hizmetlere eşleme veri kaynakları:
| Sağlayıcı | Tür | Barındırılan | Kategori | Notlar | Tam yük alma | Artımlı yük alma | Gerçek zamanlı alma | Tam yük çıkışı | Artımlı yük çıkışı | Gerçek zamanlı çıkış |
|---|---|---|---|---|---|---|---|---|---|---|
| Oracle | Tablosal | IaaS | Veritabanı | GoldenGate to Azure Data Lake Storage | A, B | A, B | C | A, B | A, B | C |
| Microsoft SQL Server | Tablosal | IaaS | Veritabanı | SAP Yatay Dönüşüm ve Qlik | A, B | A, B | C, D2 | A, B | A, B | C, D2 |
| MySQL | Tablosal | IaaS | Veritabanı | SAP Yatay Dönüşüm ve Qlik | A, B | A, B | C, D2 | A, B | A, B | C, D2 |
| SAP BW/4HANA | Tablosal | IaaS | Veritabanı | SAP Yatay Dönüşüm ve Qlik | A, B, C, D | A, B, C, D | C | - | - | - |
| SAP HANA | Tablosal | IaaS | Veritabanı | SAP Yatay Dönüşüm ve Qlik | A, B, C, D | A, B, C, D | C | A, B | A, B | - |
| Apache Impala | Tablosal | IaaS | Veritabanı | - | A, B | A, B | - | B | B | - |
| Microsoft SharePoint | Liste | SaaS | Kayıt Deposu | - | A, E | A, E | E | A, E | A, E | E |
| REST | REST | Çeşitli | REST | XML, JSON, CSV | A, B, E | A, B, E | A, B, E | A, B, E | A, B, E | A, B, E |
| Microsoft Outlook | E-posta | SaaS | REST | XML, JSON, CSV | E | E | E | E | E | E |
Hedefe bağlı olarak, Azure Veritabanı Geçiş Hizmeti Microsoft SQL Server, PostgreSQL, MySQL veya Oracle gibi şirket içi ve üçüncü taraf veritabanlarından Azure tabanlı bir veri deposuna çoğaltabilir.