AKS üzerinde Azure HDInsight'ta Apache Flink® nedir? (Önizleme)
Önemli
Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.
Apache Flink , ilişkisiz ve sınırlanmış veri akışları üzerinden durum bilgisi olan hesaplamalar için bir çerçeve ve dağıtılmış işleme altyapısıdır. Flink, tüm yaygın küme ortamlarında çalışacak, hesaplamalar ve durum bilgisi olan akış uygulamalarını bellek içi hızda ve herhangi bir ölçekte gerçekleştirecek şekilde tasarlanmıştır. Uygulamalar, bir kümede dağıtılan ve eşzamanlı olarak yürütülen binlerce görevle paralelleştirilir. Bu nedenle, bir uygulama sınırsız miktarda vCPU, ana bellek, disk ve ağ GÇ kullanabilir. Ayrıca, Flink büyük uygulama durumunu kolayca korur. Zaman uyumsuz ve artımlı denetim noktası algoritması, işlem gecikme süreleri üzerinde en az etkiyi sağlarken, tam olarak bir kez durum tutarlılığını garanti eder.
Apache Flink, akış işleme için yüksek düzeyde ölçeklenebilir bir analiz altyapısıdır.
Flink'in sunduğu temel özelliklerden bazıları şunlardır:
- Sınırlanmış ve ilişkisiz akışlardaki işlemler
- Bellek performansında
- Hem akış hem de toplu işlem olanağı
- Düşük gecikme süresi, yüksek aktarım hızı işlemleri
- Tam olarak bir kez işleniyor
- Yüksek Kullanılabilirlik
- Durum ve hataya dayanıklılık
- Hadoop ekosistemiyle tam uyumlu
- Hem akış hem de toplu iş için birleşik SQL API'leri
Neden Apache Flink?
Apache Flink, kapsamlı özellik kümesi nedeniyle birçok farklı türde uygulama geliştirmek ve çalıştırmak için mükemmel bir seçimdir. Flink'in özellikleri arasında akış ve toplu işleme desteği, gelişmiş durum yönetimi, olay zamanı işleme semantiği ve durum için tam olarak bir kez tutarlılık garantisi bulunur. Flink'in tek bir hata noktası yoktur. Flink'in binlerce çekirdeğe ve terabaytlık uygulama durumuna ölçeklendirildiği kanıtlanmıştır, yüksek aktarım hızı ve düşük gecikme süresi sunar ve dünyanın en zorlu akış işleme uygulamalarından bazılarını destekler.
- Sahtekarlık algılama: Flink, akış verilerine karmaşık kurallar ve makine öğrenmesi modelleri uygulayarak sahte işlemleri veya etkinlikleri gerçek zamanlı olarak algılamak için kullanılabilir.
- Anomali algılama: Flink, algılayıcı okumaları, ağ trafiği veya kullanıcı davranışı gibi akış verilerindeki aykırı değerleri veya anormal desenleri tanımlamak için kullanılabilir.
- Kural tabanlı uyarı: Flink, sıcaklık, basınç veya hisse senedi fiyatları gibi akış verilerinde önceden tanımlanmış koşullara veya eşiklere göre uyarıları veya bildirimleri tetikleme amacıyla kullanılabilir.
- İş süreci izleme: Flink, sipariş karşılama, teslimat veya müşteri hizmetleri gibi iş süreçlerinin veya iş akışlarının durumunu ve performansını gerçek zamanlı olarak izlemek ve analiz etmek için kullanılabilir.
- Web uygulaması (sosyal ağ):Flink iletiler, beğeniler, yorumlar veya öneriler gibi kullanıcı tarafından oluşturulan verilerin gerçek zamanlı olarak işlenmesini gerektiren web uygulamalarını desteklemek için kullanılabilir.
Apache Flink Kullanım örnekleri hakkında açıklanan yaygın kullanım örnekleri hakkında daha fazla bilgi edinin
AKS üzerinde HDInsight'taki Apache Flink kümeleri tam olarak yönetilen bir hizmettir. AKS üzerinde HDInsight'ta Flink kümesi oluşturmanın avantajları burada listelenmiştir.
| Özellik | Açıklama |
|---|---|
| Kolay oluşturma | Azure portalını, Azure PowerShell'i veya SDK'yı kullanarak HDInsight'ta dakikalar içinde yeni bir Flink kümesi oluşturabilirsiniz. Bkz . AKS üzerinde HDInsight'ta Apache Flink kümesini kullanmaya başlama. |
| Kullanım kolaylığı | AKS üzerinde HDInsight'taki Flink kümeleri portal tabanlı yapılandırma yönetimini ve ölçeklendirmeyi içerir. İş yönetimi API'siyle buna ek olarak, iş yönetimi için REST API'yi veya Azure portalını kullanırsınız. |
| REST API'leri | AKS üzerinde HDInsight'taki Flink kümeleri, Azure portalında işleri uzaktan göndermek ve izlemek için REST API tabanlı bir Flink iş gönderim yöntemi olan İş yönetimi API'sini içerir. |
| Dağıtım Türü | Flink uygulamaları Oturum modunda veya Uygulama modunda yürütebilir. Şu anda AKS üzerinde HDInsight yalnızca Oturum kümelerini destekler. Oturum kümesinde birden çok Flink işi çalıştırabilirsiniz. Uygulama modu, AKS kümelerinde HDInsight yol haritasındadır |
| Meta veri deposu desteği | AKS üzerinde HDInsight'taki Flink kümeleri, Azure Data Lake Storage 2. Nesil için uzak denetim noktalarıyla farklı açık dosya biçimlerinde Hive Meta Veri Deposu ile katalogları destekleyebilir. |
| Azure Depolama desteği | HDInsight'taki Flink kümeleri dosya havuzu olarak Azure Data Lake Storage 2. Nesil kullanabilir. Data Lake Storage 2. Nesil hakkında daha fazla bilgi için bkz. Azure Data Lake Storage 2. Nesil. |
| Azure hizmetleriyle tümleştirme | AKS üzerinde HDInsight'taki Flink kümesi, Azure Event Hubs ve Azure HDInsight ile kafka tümleştirmesi ile birlikte gelir. Event Hubs veya HDInsight kullanarak akış uygulamaları oluşturabilirsiniz. |
| Adaptasyon | AKS üzerinde HDInsight, Flink kümesi düğümlerini Otomatik Ölçeklendirme özelliğiyle zamanlamaya göre ölçeklendirmenize olanak tanır. Bkz. AKS kümelerinde Azure HDInsight'ı otomatik olarak ölçeklendirme. |
| Durum Arka Ucu | AKS üzerinde HDInsight, RocksDB'yi varsayılan StateBackend olarak kullanır. RocksDB, hızlı depolama için eklenebilir kalıcı bir anahtar-değer deposudur. |
| Denetim noktaları | Denetim noktası oluşturma, AKS kümelerinde HDInsight'ta varsayılan olarak etkindir. AKS'deki HDInsight'taki varsayılan ayarlar, kalıcı depolamada son beş denetim noktasını korur. İşinizin başarısız olması durumunda, iş en son denetim noktasından yeniden başlatılabilir. |
| Artımlı Denetim Noktaları | RocksDB Artımlı Denetim Noktalarını destekler. Büyük durum için artımlı denetim noktalarının kullanılmasını öneririz. Bu özelliği el ile etkinleştirmeniz gerekir. Uygulama kodda bu ayarı geçersiz kılmadığı sürece, uygulamanızda flink-conf.yaml: state.backend.incremental: true varsayılan ayarın ayarlanması artımlı denetim noktalarını etkinleştirir. Bu deyim varsayılan olarak true'dur. Alternatif olarak bu değeri doğrudan kodda yapılandırabilirsiniz (yapılandırma varsayılanını geçersiz kılar). EmbeddedRocksDBStateBackend` backend = new `EmbeddedRocksDBStateBackend(true); Varsayılan olarak, yapılandırılan denetim noktası dizininde son beş denetim noktasını koruruz. Yapılandırma yönetimi bölümündeki yapılandırma değiştirilerek bu değer değiştirilebilir state.checkpoints.num-retained: 5 |
AKS üzerinde HDInsight'taki Apache Flink kümeleri aşağıdaki bileşenleri içerir; bunlar varsayılan olarak kümelerde kullanılabilir.
Yakında nelerin geleceğine ilişkin Yol Haritası'na bakın!
Apache Flink İş Yönetimi
Flink işleri, Öncü-Takipçi düzeninde ayarlanan üç dağıtılmış bileşen olan İş yöneticisi, Görev yöneticisi ve İş İstemcisi'ni kullanarak zamanlar.
Flink İşi: Flink işi veya programı birden çok görevden oluşur. Görevler, Flink'teki temel yürütme birimidir. Her Flink görevinin paralellik düzeyine bağlı olarak birden çok örneği vardır ve her örnek bir TaskManager üzerinde yürütülür.
İş yöneticisi: İş yöneticisi bir zamanlayıcı görevi görür ve görev yöneticilerinde görevleri zamanlar.
Görev yöneticisi: Görev Yöneticileri, görevleri paralel olarak yürütmek için bir veya daha fazla yuvayla birlikte gelir.
İş istemcisi: İş istemcisi Flink işlerini göndermek için iş yöneticisiyle iletişim kurar
Flink Web Kullanıcı Arabirimi: Flink, çalışan uygulamaları incelemek, izlemek ve hatalarını ayıklamak için bir web kullanıcı arabirimi içerir.
Başvuru
- Apache Flink Web Sitesi
- Apache, Apache Kafka, Kafka, Apache Flink, Flink ve ilişkili açık kaynak proje adları Apache Software Foundation'ın (ASF) ticari markalarıdır.