Büyük verileri işleme aşamalarını anlama
Veri gölleri, çok çeşitli büyük veri mimarilerinde temel bir role sahiptir. Bu mimariler şunların oluşturulmasını içerebilir:
- Kurumsal veri ambarı.
- Büyük veriler üzerinde gelişmiş analiz.
- Gerçek zamanlı bir analiz çözümü.
Büyük veri çözümleri işlenirken tüm mimariler için ortak olan dört aşama vardır:
- Alma - Alma aşaması, kaynak verileri almak için kullanılan teknolojiyi ve işlemleri tanımlar. Bu veriler, veri gölüne koyulması gereken dosyalardan, günlüklerden ve diğer yapılandırılmamış veri türlerinden gelebilir. Kullanılan teknoloji, verilerin aktarılma sıklığa bağlı olarak değişir. Örneğin, verilerin toplu taşınması için Azure Synapse Analytics veya Azure Data Factory'deki işlem hatları, kullanılacak en uygun teknoloji olabilir. Gerçek zamanlı veri alımı için HDInsight için Apache Kafka veya Stream Analytics uygun bir seçim olabilir.
- Depo - Depo aşaması, alınan verilerin yerleştirilmesi gereken yeri tanımlar. Azure Data Lake Storage 2. Nesil, yaygın olarak kullanılan büyük veri işleme teknolojileriyle uyumlu güvenli ve ölçeklenebilir bir depolama çözümü sağlar.
- Hazırlık ve eğitim - Hazırlık ve eğitim aşaması, makine öğrenmesi çözümleri için veri hazırlama ve modelleme eğitimi ve puanlaması gerçekleştirmek için kullanılan teknolojileri tanımlar. Bu aşamada kullanılan yaygın teknolojiler Azure Synapse Analytics, Azure Databricks, Azure HDInsight ve Azure Machine Learning'dir.
- Modelleme ve sunma - Son olarak, modelleme ve sunma aşaması verileri kullanıcılara sunacak teknolojileri içerir. Bu teknolojiler Microsoft Power BI gibi görselleştirme araçlarını veya Azure Synapse Analytics gibi analiz veri depolarını içerebilir. Çoğu zaman, iş gereksinimlerine bağlı olarak birden çok teknolojinin birleşimi kullanılır.