Aracılığıyla paylaş

Microsoft Fabric'te Veri Bilimi nedir?

Microsoft Fabric, veri zenginleştirme ve iş içgörüleri için kullanıcıların uçtan uca veri bilimi iş akışları oluşturmasını sağlayan Veri Bilimi deneyimleri sunar. Veri bilimi sürecinin tamamında çok çeşitli etkinlikleri tamamlayabilirsiniz:

  • veri keşfi
  • veri hazırlama
  • veri temizleme
  • Deneme
  • Modelleme
  • model puanlaması
  • BI raporlarına tahmine dayalı içgörüler sunma

Microsoft Fabric kullanıcıları Veri Bilimi giriş sayfasına erişebilir. Ardından, aşağıdaki ekran görüntüsünde gösterildiği gibi çeşitli ilgili kaynakları bulabilir ve bunlara erişebilirler:

Veri bilimi giriş sayfasının ekran görüntüsü.

Çoğu makine öğrenmesi projesi veri bilimi sürecini izler. Üst düzeyde, bu işlem şu adımları içerir:

  • problem formülasyonu ve fikir oluşturma
  • veri bulma ve ön işleme
  • deneme ve modelleme
  • zenginleştirme ve kullanıma hazır hale getirme
  • içgörüler oluşturma

Veri bilimi sürecinin diyagramı.

Bu makalede, veri bilimi süreci perspektifinden Microsoft Fabric Veri Bilimi özellikleri açıklanmaktadır. Veri bilimi sürecindeki her adım için bu makalede yardımcı olabilecek Microsoft Fabric özellikleri özetlenmiştir.

Sorun formülasyonu ve fikir oluşturma

Microsoft Fabric'teki Veri Bilimi kullanıcıları, iş kullanıcıları ve analistleriyle aynı platformda çalışır. Sonuç olarak farklı roller arasında veri paylaşımı ve işbirliği daha sorunsuz hale gelir. Analistler Power BI raporlarını ve veri kümelerini veri bilimi uygulayıcılarıyla kolayca paylaşabilir. Microsoft Fabric'teki roller arasında işbirliği kolaylığı, sorun formülasyonu aşamasında teslimi kolaylaştırır.

Veri bulma ve ön işleme

Microsoft Fabric kullanıcıları, Lakehouse kaynağını kullanarak OneLake'deki verilerle etkileşimde bulunabilir. Lakehouse, verilere göz atmak ve verilerle etkileşime geçmek için not defterine kolayca bağlanır. Kullanıcılar bir Lakehouse'dan pandas veri çerçevesine kolayca veri okuyabilir. Keşif için, OneLake'ten sorunsuz veri okumaları mümkün olur.

Microsoft Fabric'in yerel olarak tümleşik bir parçası olan veri tümleştirme işlem hatları ile veri alımı ve veri düzenleme işlem hatları için güçlü bir araç kümesi sağlanır. Kolay derlenebilir veri işlem hatları verilere erişebilir ve bunları makine öğrenmesinin kullanabileceği bir biçime dönüştürebilir.

Veri keşfi

Makine öğrenmesi sürecinin önemli bir parçası, araştırma ve görselleştirme aracılığıyla verileri anlamaktır.

Microsoft Fabric, veri depolama konumuna bağlı olarak verileri analiz ve makine öğrenmesi için keşfetmeye ve hazırlamaya yönelik araçlar sunar. Not defterleri verimli ve etkili veri araştırma araçlarına dönüşür.

Veri hazırlama için Apache Spark ve Python

Microsoft Fabric verilerinizi büyük ölçekte dönüştürebilir, hazırlayabilir ve keşfedebilir. Spark ile kullanıcılar verileri büyük ölçekte önceden işlemek için PySpark/Python, Scala ve SparkR/SparkR araçlarını kullanabilir. Güçlü açık kaynak görselleştirme kitaplıkları, daha iyi veri anlama için veri araştırma deneyimini geliştirebilir.

Sorunsuz veri temizleme için Veri Wrangler

Data Wrangler'ı kullanmak için Microsoft Fabric Notebook deneyimi, verileri hazırlayan ve Python kodu oluşturan bir kod aracı özelliği ekledi. Bu deneyim, sıkıcı ve sıradan görevleri (örneğin, veri temizleme) hızlandırmayı kolaylaştırır. Bununla, oluşturulan kod aracılığıyla otomasyon ve tekrarlanabilirlik de oluşturabilirsiniz. Bu belgenin Data Wrangler bölümünde Data Wrangler hakkında daha fazla bilgi edinin.

Deneme ve ML modelleme

PySpark/Python ve SparklyR/R gibi araçlarla, not defterleri makine öğrenmesi modeli eğitimini işleyebilir. Makine öğrenmesi algoritmaları ve kitaplıkları, makine öğrenmesi modellerini eğitmene yardımcı olabilir. Kitaplık yönetim araçları bu kitaplıkları ve algoritmaları yükleyebilir. Kullanıcılar daha sonra popüler makine öğrenmesi kitaplıklarını kullanarak Microsoft Fabric'te ML modeli eğitimlerini tamamlayabilir. Ayrıca Scikit Learn gibi popüler kitaplıklar da model geliştirebilir.

MLflow denemeleri ve çalışmaları, ML model eğitimini takip edebilir. Microsoft Fabric, denemeleri ve modelleri günlüğe kaydetmek için etkileşimi destekleyen yerleşik bir MLflow deneyimi sunar. Microsoft Fabric'te denemeleri izlemek ve modelleri yönetmek için MLflow'un nasıl kullanıldığı hakkında daha fazla bilgi edinin.

SynapseML

Microsoft, SynapseML (daha önce MMLSpark olarak bilinir) açık kaynak kitaplığının sahibidir ve bu kitaplığı çalıştırır. Yüksek düzeyde ölçeklenebilir makine öğrenmesi işlem hattı oluşturmayı basitleştirir. Bir araç ekosistemi olarak Apache Spark çerçevesini birkaç yeni yönde genişletir. SynapseML, mevcut çeşitli makine öğrenmesi çerçevelerini ve yeni Microsoft algoritmalarını tek, ölçeklenebilir bir API'de birleştirir. Açık kaynak SynapseML kitaplığı, tahmine dayalı model geliştirme için zengin bir ML araçları ekosistemi içerir ve Azure AI hizmetlerinden önceden eğitilmiş yapay zeka modellerini kullanır. Daha fazla bilgi için SynapseML kaynağını ziyaret edin.

Zenginleştirme ve kullanıma hazır hale getirme

Not defterleri, tahmin için açık kaynak kitaplıklarla makine öğrenmesi modeli toplu puanlama işlemlerini işleyebilir. Microsoft Fabric ölçeklenebilir evrensel Spark Predict işlevini de işleyebilirler. Bu işlev, Microsoft Fabric model kayıt defterinde MLflow paketlenmiş modelleri destekler.

İçgörüler elde edin

Microsoft Fabric'te tahmin edilen değerleri OneLake'e kolayca yazabilirsiniz. Power BI raporları, buradan başlayarak Power BI Direct Lake modu ile sorunsuz bir şekilde bunları kullanabilir. Veri bilimi uygulayıcıları daha sonra çalışmalarının sonuçlarını paydaşlarla kolayca paylaşabilir ve operasyonelleştirmeyi basitleştirir.

Toplu puanlama içeren not defterlerinin çalıştırmalarını zamanlamak için not defteri zamanlama özelliklerini kullanabilirsiniz. Ayrıca, veri işlem hattı etkinliklerinin veya Spark işlerinin bir parçası olarak toplu puanlama zamanlayabilirsiniz. Microsoft Fabric'teki Direct lake moduyla Power BI, veri yüklemelerine veya yenilemelerine gerek kalmadan en son tahminleri otomatik olarak alır.

Veri bilimcileri ve iş analistleri, anlamlı analizler başlamadan önce verileri anlamak, temizlemek ve dönüştürmek için çok zaman harcar. İş analistleri genellikle anlamsal modellerle çalışır ve etki alanı bilgilerini ve iş mantığını Power BI ölçülerine kodlar. Öte yandan, veri bilimcileri aynı verilerle çalışabilir, ancak genellikle farklı bir kod ortamında veya dilde çalışır. Anlamsal bağlantı sayesinde veri bilimciler, SemPy Python kitaplığı aracılığıyla Microsoft Fabric deneyiminde Power BI anlam modelleri ile Synapse Veri Bilimi arasında bir bağlantı kurabilir. Veri analizini basitleştirmek için SemPy, kullanıcılar anlam modellerinde çeşitli dönüştürmeler yaparken veri semantiğini yakalar ve kullanır. Veri bilimciler semantik bağlantı kullandığında,

  • iş mantığının ve alan bilgisinin kodlarında yeniden uygulanmasından kaçının
  • Kodlarında Power BI ölçülerine kolayca erişip kullanma
  • yeni deneyimlere güç vermek için semantiği kullanma , örneğin anlamsal işlevler
  • veriler arasındaki işlevsel bağımlılıkları ve ilişkileri keşfetme ve doğrulama

Kuruluşlar SemPy kullandığında, bekleyebilirler ki

  • aynı veri kümelerinde çalışan ekipler arasında daha yüksek üretkenlik ve daha hızlı işbirliği
  • iş zekası ve yapay zeka ekipleri arasında daha fazla çapraz işbirliği
  • daha az belirsizlik ve yeni bir modele veya veri kümesine geçiş yaparken daha kolay bir öğrenme eğrisi

Anlamsal bağlantı hakkında daha fazla bilgi için Anlamsal bağlantı nedir? kaynağını ziyaret edin.

İlgili içerik