Makine öğrenmesi modellerini eğitme

Microsoft Fabric'in bir parçası olan Apache Spark, makine öğrenmesini büyük ölçekte etkinleştirir. Büyük hacimli yapılandırılmış, yapılandırılmamış ve akış verilerinden içgörüler elde etmek için bunu kullanın. Apache Spark MLlib, SynapseML ve diğerleri gibi açık kaynak kitaplıklarla Microsoft Fabric'te modelleri eğitin.

Apache SparkML ve MLlib

Microsoft Fabric'in bir parçası olan Apache Spark, birleşik, açık kaynaklı, paralel bir veri işleme çerçevesidir. Büyük veri analizini hızlandırmak için bellek içi işleme kullanır. Spark hız, kullanım kolaylığı ve gelişmiş analiz için geliştirilmiştir. Spark'ın bellek içi, dağıtılmış hesaplaması yinelemeli makine öğrenmesi ve graf algoritmalarına uygundur.

MLlib ve SparkML ölçeklenebilir makine öğrenmesi kitaplıkları, algoritma modelleme özelliklerini bu dağıtılmış ortama getirir. MLlib, özgün RDD tabanlı API'yi sağlar. SparkML, ML işlem hatlarını derlemek için daha üst düzey Bir DataFrame tabanlı API sağlayan daha yeni bir pakettir. ML işlem hatlarının oluşturulması için DataFrame'lerin üzerine kurulu daha üst düzey bir API sağlar. SparkML henüz tüm MLlib özelliklerini desteklemez, ancak standart Spark makine öğrenmesi kitaplığı olarak MLlib'in yerini alır.

Not

Apache Spark MLlib ile modelleri eğitma bölümünde daha fazla bilgi edinin.

Popüler kitaplıklar

Apache Spark için Microsoft Fabric çalışma zamanı, makine öğrenmesi modellerini eğiten birçok popüler açık kaynak paketi içerir. Bu kitaplıklar projeleriniz için yeniden kullanılabilir kod sağlar. Çalışma zamanı şu makine öğrenmesi kitaplıklarını içerir:

• Scikit-learn - Klasik makine öğrenmesi algoritmaları için popüler bir tek düğümlü kitaplık. Çoğu denetimli ve denetimsiz algoritmayı destekler ve veri madenciliği ile veri analizini işler.

• XGBoost - karar ağaçlarını ve rastgele ormanları eğiten iyileştirilmiş algoritmalara sahip popüler bir kitaplık.

• PyTorch ve Tensorflow güçlü Python derin öğrenme kitaplıklarıdır. Bu kitaplıklarla, tek makineli modeller oluşturmak için havuzunuzdaki yürütücü sayısını sıfır olarak ayarlayabilirsiniz. Bu yapılandırma Apache Spark'ı desteklemese de, tek makineli modeller oluşturmanın basit, uygun maliyetli bir yoludur.

SynapseML

SynapseML açık kaynak kitaplığı (eski adıyla MMLSpark), ölçeklenebilir makine öğrenmesi (ML) işlem hatları oluşturmanıza yardımcı olur. Denemeleri hızlandırır ve derin öğrenme dahil olmak üzere gelişmiş teknikleri büyük veri kümelerine uygulamanıza olanak tanır.

SynapseML, ölçeklenebilir ML modelleri oluştururken SparkML alt düzey API'lerinin üzerinde bir katman sağlar. Bu API'ler dize dizinleme, özellik vektör derlemesi, verilerin makine öğrenmesi algoritmalarına uygun düzenlere zorlama ve daha fazlasını kapsar. SynapseML kitaplığı, PySpark'ta model oluşturmaya yönelik bu ve diğer yaygın görevleri basitleştirir.

İlgili içerik

Microsoft Fabric'te Apache Spark'ta makine öğrenmesi modellerini eğitecek seçenekleri keşfedin. Daha fazla bilgi için bakınız:

• Makine öğrenmesi modelleri oluşturmak için yapay zeka örneklerini kullanma: Yapay zeka örneklerini kullanma
• Denemeler: Makine öğrenmesi denemelerini kullanarak makine öğrenmesi çalıştırmalarını izleme