Bagikan melalui

Skenario sumber terbuka Apache di Azure

  • Artikel

Microsoft dengan bangga mendukung proyek, inisiatif, dan fondasi sumber terbuka dan berkontribusi pada ribuan komunitas sumber terbuka. Dengan menggunakan teknologi sumber terbuka di Azure, Anda dapat menjalankan aplikasi dengan cara Anda sambil mengoptimalkan investasi Anda.

Artikel ini menyediakan ringkasan arsitektur dan solusi yang menggunakan Azure bersama dengan solusi sumber terbuka Apache.

Apache®, Apache Ignite, Ignite, dan logo api adalah merek dagang terdaftar atau merek dagang dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan oleh The Apache Software Foundation yang tersirat oleh penggunaan tanda ini.

Apache Cassandra

Sistem Ringkasan Fokus teknologi
Panduan pemartisian data Melihat panduan cara memisahkan partisi data yang akan dikelola dan diakses secara terpisah. Memahami strategi pemartisian horizontal, vertikal, dan fungsional. Cassandra sangat cocok untuk partisi vertikal. Database
Ketersediaan tinggi di MEC publik Azure Pelajari cara menyebarkan beban kerja dalam mode siaga aktif untuk mencapai ketersediaan tinggi dan pemulihan bencana di komputasi edge multi-akses publik Azure. Cassandra dapat digunakan untuk mendukung replikasi geografis. Hibrid
Aplikasi N-tier dengan Apache Cassandra Sebarkan komputer virtual Linux dan jaringan virtual yang dikonfigurasi untuk arsitektur N-tingkat dengan Apache Cassandra. Database
Data non-relasional dan NoSQL Pelajari tentang database non-relasional yang menyimpan data sebagai pasangan kunci-nilai, grafik, rangkaian waktu, objek, dan model penyimpanan lainnya, berdasarkan persyaratan data. Azure Cosmos DB for Apache Cassandra adalah layanan Azure yang direkomendasikan. Database
Menjalankan Apache Cassandra di Azure VM Periksa pertimbangan performa untuk menjalankan Apache Cassandra pada mesin virtual Azure. Gunakan rekomendasi ini sebagai garis besar untuk menguji beban kerja Anda. Database
Pemrosesan aliran dengan mesin data sumber terbuka yang terkelola sepenuhnya Streaming peristiwa menggunakan layanan data Azure yang sepenuhnya terkelola. Gunakan teknologi sumber terbuka seperti komponen Kafka, Kubernetes, Cassandra, PostgreSQL, dan Redis. Analitik

Apache CouchDB

Sistem Ringkasan Fokus teknologi
Aplikasi web garis besar dengan redundansi zona Gunakan praktik yang terbukti dalam arsitektur referensi ini untuk meningkatkan redundansi, skalabilitas, dan performa dalam aplikasi web Azure App Service. CouchDB adalah database dokumen yang direkomendasikan. Web

Apache Hadoop

Sistem Ringkasan Fokus teknologi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Kluster Azure HDInsight Hadoop dapat digunakan untuk pemrosesan batch. Database
Memilih teknologi transfer data Pelajari tentang opsi transfer data Azure seperti layanan Impor/Ekspor Azure, Azure Data Box, Azure Data Factory, dan alat antarmuka baris perintah dan grafis. Ekosistem Hadoop menyediakan alat untuk transfer data. Database
AI Warga Negara dengan Power Platform Pelajari cara menggunakan Azure Pembelajaran Mesin dan Power Platform untuk membuat bukti konsep dan versi produksi pembelajaran mesin dengan cepat. Azure Data Lake, sistem file yang kompatibel dengan Hadoop, menyimpan data. AI
Pertimbangan data untuk layanan mikro Pelajari pengelolaan data dalam arsitektur layanan mikro. Lihat contoh yang menggunakan Azure Data Lake Store, sistem file Hadoop. Layanan mikro
Mengekstrak, mengubah, dan memuat Pelajari tentang alur transformasi data extract-transform-load (ETL) dan extract-load-transformation (ELT) dan cara menggunakan alur kontrol dan aliran data. Hadoop dapat digunakan sebagai penyimpanan data tujuan dalam proses ELT. Analitik
Perulangan analisis dan pengoptimalan IoT Pelajari tentang analisis dan pengoptimalan perulangan, pola IoT untuk menghasilkan dan menerapkan wawasan pengoptimalan berdasarkan seluruh konteks bisnis. Pemrosesan pengurangan peta Hadoop dapat digunakan untuk memproses big data. IoT
Pola Tampilan Materialisasi Hasilkan tampilan yang telah diisi sebelumnya atas data di satu atau beberapa penyimpanan data saat data tidak diformat secara ideal untuk operasi kueri yang diperlukan. Gunakan Hadoop untuk mekanisme penyimpanan big data yang mendukung pengindeksan. Database
Memprediksi biaya pinjaman dengan HDInsight Spark Gunakan HDInsight dan pembelajaran mesin untuk memprediksi kemungkinan pinjaman ditagih. HDInsight mendukung Hadoop. Database

Apache HBase

Sistem Ringkasan Fokus teknologi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Anda dapat menggunakan HBase untuk presentasi data dalam skenario ini. Database
Memilih teknologi penyimpanan big data Bandingkan opsi teknologi penyimpanan big data di Azure. Termasuk diskusi HBase di HDInsight. Database
Pilih penyimpanan data analitik Pelajari tentang menggunakan HBase untuk akses acak dan konsistensi yang kuat untuk sejumlah besar data yang tidak terstruktur dan semi terstruktur. Analitik
Panduan pemartisian data Lihat panduan untuk memisahkan partisi data sehingga dapat dikelola dan diakses secara terpisah. Memahami strategi pemartisian horizontal, vertikal, dan fungsional. HBase sangat cocok untuk partisi vertikal. Database
Data non-relasional dan NoSQL Pelajari tentang database non-relasional yang menyimpan data sebagai pasangan kunci-nilai, grafik, rangkaian waktu, objek, dan model penyimpanan lainnya, berdasarkan persyaratan data. HBase dapat digunakan untuk data rangkaian kolom dan waktu. Database

Apache Hive 2.1.0

Sistem Ringkasan Fokus teknologi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Anda dapat menggunakan Apache Hive untuk pemrosesan batch dan presentasi data dalam skenario ini. Database
Pilih teknologi pemrosesan batch Bandingkan pilihan teknologi untuk pemrosesan batch big data di Azure. Pelajari tentang kemampuan Apache Hive. Analitik
Pilih penyimpanan data analitik Mengevaluasi opsi penyimpanan data analitik untuk big data di Azure. Pelajari tentang kemampuan Apache Hive. Analitik
Mengekstrak, mengubah, dan memuat Pelajari tentang alur transformasi data ETL dan ELT dan cara menggunakan alur kontrol dan aliran data. Di ELT, Anda bisa menggunakan Apache Hive untuk mengkueri data sumber. Anda juga dapat menggunakannya bersama dengan Hadoop sebagai penyimpanan data. Database
Prediksi penagihan pinjaman dengan kluster HDInsight Spark Gunakan HDInsight dan pembelajaran mesin untuk memprediksi kemungkinan pinjaman ditagih. Hasil analitik disimpan dalam tabel Apache Hive. Analitik
Pemantauan mesin pesawat prediktif Pelajari cara menggabungkan data pesawat real time dengan analitik untuk membuat solusi untuk pemantauan dan kesehatan mesin pesawat prediktif. Skrip Apache Hive menyediakan agregasi tentang peristiwa mentah yang diarsipkan oleh Azure Stream Analytics. Analitik
Wawasan prediktif dengan telematika kendaraan Pelajari bagaimana dealer mobil, produsen, dan perusahaan asuransi dapat menggunakan Azure untuk mendapatkan wawasan prediktif tentang kesehatan kendaraan dan kebiasaan mengemudi. Dalam solusi ini, Azure Data Factory menggunakan HDInsight untuk menjalankan kueri Apache Hive untuk memproses dan memuat data. Analitik
Menskalakan AI dan inisiatif pembelajaran mesin di industri yang diatur Pelajari tentang penskalaan Azure AI dan lingkungan pembelajaran mesin yang harus mematuhi kebijakan keamanan yang luas. Apache Hive digunakan untuk menyimpan metadata. AI

Apache JMeter

Sistem Ringkasan Fokus teknologi
Transformasi cloud sistem perbankan di Azure Gunakan aplikasi yang disimulasikan dan aktual serta beban kerja yang ada untuk memantau reaksi infrastruktur solusi untuk skalabilitas dan performa. Solusi JMeter kustom digunakan untuk pengujian beban. Migration
Pola dan implementasi untuk transformasi cloud perbankan Pelajari tentang pola dan implementasi yang digunakan untuk mengubah sistem perbankan untuk cloud. JMeter digunakan untuk pengujian beban. Migration
Aplikasi cloud dan SRE yang skalabel Bangun aplikasi cloud yang dapat diskalakan dengan menggunakan pemodelan performa dan prinsip serta praktik lain dari rekayasa keandalan situs (SRE). JMeter digunakan untuk pengujian beban. Web

Apache Kafka

Sistem Ringkasan Fokus teknologi
Perlindungan data aplikasi untuk beban kerja AKS di Azure NetApp Files Sebarkan Astra Control Service dengan Azure NetApp Files untuk perlindungan data, pemulihan bencana, dan mobilitas untuk aplikasi Azure Kubernetes Service (AKS), termasuk aplikasi Kafka. Kontainer
Opsi olahpesan asinkron Pelajari tentang opsi olahpesan asinkron di Azure, termasuk dukungan untuk klien Kafka. Integrasi
Kontrol armada kendaraan berpemandu otomatis Pelajari tentang pendekatan end-to-end untuk produsen peralatan asli (OEM) otomotif. Menyertakan beberapa pustaka sumber terbuka yang dapat Anda gunakan kembali. Layanan back-end dalam arsitektur ini dapat terhubung ke Kafka. Web
Pemantauan Azure Data Explorer Gunakan Azure Data Explorer dalam solusi pemantauan hibrid yang menyerap log yang dialirkan dan di-batch dari Kafka dan sumber lainnya. Analitik
Transformasi cloud sistem perbankan di Azure Gunakan aplikasi yang disimulasikan dan aktual serta beban kerja yang ada untuk memantau reaksi infrastruktur solusi untuk skalabilitas dan performa. Peristiwa dari Event Hubs untuk umpan Kafka ke dalam sistem. Kontainer
Memilih teknologi pemrosesan aliran Bandingkan opsi untuk pemrosesan aliran pesan real time di Azure, termasuk API aliran Kafka. Analitik
Pola Pemeriksaan Klaim Memeriksa pola Pemeriksaan-Klaim, yang membagi pesan besar menjadi pemeriksaan klaim dan payload untuk menghindari bus pesan yang berlebihan. Pelajari tentang contoh yang menggunakan Kafka untuk pembuatan pemeriksaan klaim. Integrasi
Streaming data dengan AKS Gunakan AKS untuk dengan mudah menyerap dan memproses aliran data real time dengan jutaan titik data yang dikumpulkan melalui sensor. Kafka menyimpan data untuk analisis. Kontainer
Alur pemrosesan aliran, ETL, dan penyerapan dengan Azure Databricks Buat alur ETL untuk data streaming dan batch dengan Azure Databricks untuk memudahkan penyerapan data lake pada skala apa pun. Kafka adalah salah satu opsi untuk menyerap data. Analitik
Mengintegrasikan Azure Event Hubs dengan Azure Functions Pelajari cara merancang, mengembangkan, dan menyebarkan kode yang efisien dan dapat diskalakan yang berjalan di Azure Functions dan merespons peristiwa Azure Event Hubs. Pelajari bagaimana peristiwa dapat dipertahankan dalam topik Kafka. Tanpa server
Analitik IoT dengan Azure Data Explorer Gunakan Azure Data Explorer untuk analitik telemetri IoT yang hampir real-time pada data streaming volume tinggi yang mengalir cepat dari berbagai sumber data, termasuk Kafka. Analitik
Replikasi data mainframe dan midrange ke Azure menggunakan Qlik Gunakan Qlik Replicate untuk memigrasikan sistem mainframe dan midrange ke cloud, atau untuk memperluas sistem tersebut dengan aplikasi cloud. Dalam solusi ini, Kafka menyimpan informasi log perubahan yang digunakan untuk mereplikasi penyimpanan data. Mainframe
Pola dan implementasi untuk transformasi cloud perbankan Pelajari tentang pola dan implementasi yang digunakan untuk mengubah sistem perbankan untuk cloud. Penskala Kafka digunakan untuk mendeteksi apakah solusi perlu mengaktifkan atau menonaktifkan penyebaran aplikasi. Tanpa server
Pola Penerbit-Pelanggan Pelajari tentang pola Penerbit-Pelanggan, yang memungkinkan aplikasi mengumumkan acara ke banyak konsumen yang tertarik secara asinkron. Kafka direkomendasikan untuk olahpesan. Integrasi
Pola Pembatasan Laju Gunakan pola pembatasan laju untuk menghindari atau meminimalkan kesalahan pembatasan. Pola ini dapat mengimplementasikan Kafka untuk olahpesan. Integrasi
Melakukan refaktor aplikasi mainframe dengan Tingkat Lanjut Pelajari cara menggunakan solusi refaktor COBOL otomatis dari Tingkat Lanjut untuk memodernisasi aplikasi COBOL mainframe Anda, menjalankannya di Azure, dan mengurangi biaya. Kafka dapat digunakan sebagai sumber data. Mainframe
Pemrosesan aliran dengan mesin data sumber terbuka yang terkelola sepenuhnya Streaming peristiwa menggunakan layanan data Azure yang sepenuhnya terkelola. Gunakan teknologi sumber terbuka seperti komponen Kafka, Kubernetes, Cassandra, PostgreSQL, dan Redis. Analitik

Apache MapReduce

Sistem Ringkasan Fokus teknologi
Opsi olahpesan asinkron Pelajari tentang opsi olahpesan asinkron di Azure. Anda dapat menggunakan MapReduce untuk membuat laporan tentang peristiwa yang diambil oleh Azure Event Hubs. Integrasi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Anda dapat menggunakan MapReduce untuk pemrosesan batch dan untuk menyediakan fungsionalitas untuk operasi paralel dalam skenario ini. Database
Pilih teknologi pemrosesan batch Pelajari tentang teknologi untuk pemrosesan batch big data di Azure, termasuk HDInsight dengan MapReduce. Analitik
Pola Geode Sebarkan layanan back-end ke dalam sekumpulan simpul geografis, yang masing-masing dapat melayani permintaan klien apa pun di wilayah mana pun. Pola ini terjadi dalam arsitektur big data yang menggunakan MapReduce untuk mengonsolidasikan hasil di seluruh komputer. Database
Meminimalkan koordinasi Ikuti rekomendasi ini untuk meningkatkan skalabilitas dengan meminimalkan koordinasi antar layanan aplikasi. Gunakan MapReduce untuk membagi pekerjaan menjadi tugas independen. Database

Apache NiFi

Sistem Ringkasan Fokus teknologi
Apache NiFi di Azure Mengotomatisasi aliran data dengan Apache NiFi di Azure. Gunakan solusi yang dapat diskalakan dan sangat tersedia untuk memindahkan data ke cloud atau penyimpanan dan antar sistem cloud. Analitik
Penyebaran berbasis helm untuk Apache NiFi Gunakan bagan Helm saat Anda menyebarkan NiFi di AKS. Helm menyederhanakan proses penginstalan dan pengelolaan aplikasi Kubernetes. Analitik
Pemantauan Azure Data Explorer Gunakan Azure Data Explorer dan NiFi dalam solusi pemantauan hibrid yang menyerap log yang dialirkan dan di-batch dari berbagai sumber. Analitik

Apache Oozie

Sistem Ringkasan Fokus teknologi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Anda dapat menggunakan Oozie untuk orkestrasi dalam skenario ini. Database
Memilih teknologi orkestrasi alur data Pelajari tentang kemampuan orkestrasi utama Oozie. Database

Apache Solr

Sistem Ringkasan Fokus teknologi
Pilih penyimpanan data pencarian Pelajari tentang kemampuan penyimpanan data penelusuran di Azure dan kriteria utama untuk memilih salah satu yang paling sesuai dengan kebutuhan Anda. Pelajari tentang kemampuan utama HDInsight dengan Solr. Database

Apache Spark

Sistem Ringkasan Fokus teknologi
Analitik ujung ke ujung dengan Azure Synapse Pelajari cara menggunakan Azure Data Services untuk membangun platform analitik modern yang mampu menangani tantangan data yang paling umum. Mesin analitik Kumpulan Spark tersedia dari ruang kerja Azure Synapse. Analitik
Penilaian batch Spark di Azure Databricks Bangun solusi yang dapat diskalakan untuk menilai batch model klasifikasi Apache Spark. AI
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Anda dapat menggunakan Spark untuk pemrosesan batch atau streaming dan sebagai penyimpanan data analitik. Database
Pilih teknologi pemrosesan batch Bandingkan pilihan teknologi untuk pemrosesan batch big data di Azure, termasuk opsi untuk menerapkan Spark. Analitik
Memilih teknologi pemrosesan aliran Bandingkan opsi untuk pemrosesan aliran pesan real time di Azure, termasuk opsi untuk menerapkan Spark. Analitik
Pilih penyimpanan data analitik Mengevaluasi opsi penyimpanan data analitik untuk big data di Azure. Pelajari tentang kemampuan kumpulan Azure Synapse Spark. Analitik
Ilmu data dan pembelajaran mesin dengan Azure Databricks Tingkatkan operasi dengan menggunakan Azure Databricks, Delta Lake, dan MLflow untuk ilmu data dan pembelajaran mesin. Mengembangkan, melatih, dan menyebarkan model pembelajaran mesin. Azure Databricks menyediakan kluster Spark terkelola. AI
Mengekstrak, mengubah, dan memuat Pelajari tentang alur transformasi data extract-transform-load (ETL) dan extract-load-transformation (ELT) dan cara menggunakan alur kontrol dan aliran data. Di ELT, Anda bisa menggunakan Spark untuk mengkueri data sumber. Anda juga dapat menggunakannya bersama dengan Hadoop sebagai penyimpanan data. Database
IoT menggunakan Azure Cosmos DB Pelajari cara menggunakan Azure Cosmos DB untuk mengakomodasi beban kerja IoT yang beragam dan tidak dapat diprediksi tanpa mengorbankan performa penyerapan atau kueri. Azure Databricks, menjalankan Spark Streaming, memproses data peristiwa dari perangkat. IoT
Prediksi penagihan pinjaman dengan HDInsight Spark Gunakan HDInsight dan pembelajaran mesin untuk memprediksi kemungkinan pinjaman ditagih. Database
Banyak model pembelajaran mesin dengan Spark Pelajari tentang banyak model pembelajaran mesin di Azure. AI
Produk pembelajaran mesin Microsoft Bandingkan opsi untuk membangun, menyebarkan, dan mengelola model pembelajaran mesin Anda, termasuk platform analitik berbasis Azure Databricks Spark dan SynapseML. AI
Gudang data modern untuk bisnis kecil dan menengah Gunakan Azure Synapse, Azure SQL Database, dan Azure Data Lake Storage untuk memodernisasi data warisan dan lokal SMB. Alat di ruang kerja Azure Synapse dapat menggunakan kemampuan komputasi Spark untuk memproses data. Analitik
Teknologi pemrosesan bahasa alami Pilih layanan pemrosesan bahasa alami untuk analisis sentimen, deteksi topik dan bahasa, ekstraksi frasa kunci, dan kategorisasi dokumen. Pelajari tentang kemampuan utama Azure HDInsight dengan Spark. AI
Pola dan metrik observabilitas Pelajari cara menggunakan pola dan metrik observabilitas untuk meningkatkan performa pemrosesan sistem big data dengan menggunakan Azure Databricks. Pustaka pemantauan Azure Databricks mengalirkan peristiwa Spark dan metrik Spark Structured Streaming dari pekerjaan. Database
Pemrosesan aliran dengan mesin data sumber terbuka yang terkelola sepenuhnya Streaming peristiwa menggunakan layanan data Azure yang sepenuhnya terkelola. Gunakan teknologi sumber terbuka seperti komponen Spark, Kafka, Kubernetes, Cassandra, PostgreSQL, dan Redis. Analitik

Apache Sqoop

Sistem Ringkasan Fokus teknologi
Arsitektur data besar Pelajari tentang arsitektur big data yang menangani penyerapan, pemrosesan, dan analisis data yang terlalu besar atau kompleks untuk sistem database tradisional. Dalam skenario ini, Anda dapat menggunakan Sqoop untuk mengotomatiskan alur kerja orkestrasi. Database
Memilih teknologi transfer data Pelajari tentang opsi transfer data seperti Azure Import/Export, Data Box, dan Sqoop. Database

Apache Zookeeper

Sistem Ringkasan Fokus teknologi
Apache NiFi di Azure Mengotomatiskan aliran data dengan NiFi di Azure. Gunakan solusi yang dapat diskalakan dan sangat tersedia untuk memindahkan data ke cloud atau penyimpanan dan antar sistem cloud. Dalam solusi ini, NiFi menggunakan ZooKeeper untuk mengoordinasikan aliran data. Analitik
Penyebaran berbasis helm untuk Apache NiFi Gunakan bagan Helm saat Anda menyebarkan NiFi di AKS. Helm menyederhanakan proses penginstalan dan pengelolaan aplikasi Kubernetes. Dalam arsitektur ini, ZooKeeper menyediakan koordinasi kluster. Analitik
Pola Pembatasan Laju Gunakan pola pembatasan laju untuk menghindari atau meminimalkan kesalahan pembatasan. Dalam skenario ini, Anda dapat menggunakan ZooKeeper untuk membuat sistem yang memberikan sewa sementara untuk kapasitas. Integrasi