Azure Databricks'te Apache Spark

Bu makalede Apache Spark'ın Azure Databricks ve Databricks Veri Zekası Platformu ile ilişkisi açıklanmaktadır.

Apache Spark, Azure Databricks platformunun merkezinde yer alır ve işlem kümelerini ve SQL ambarlarını güçlendiren teknolojidir. Azure Databricks, Apache Spark iş yüklerini çalıştırmak için verimli ve basit bir platform sağlayan, Apache Spark için iyileştirilmiş bir platformdur.

Apache Spark'ın Azure Databricks ile ilişkisi nedir?

Databricks şirketi Apache Spark'ın özgün oluşturucuları tarafından kuruldu. açık kaynak bir yazılım projesi olarak Apache Spark, Databricks de dahil olmak üzere birçok üst düzey şirketten taahhütte bulunanlara sahiptir.

Databricks özellikleri geliştirmeye ve Apache Spark'a yayımlamaya devam eder. Databricks Runtime, C++ dilinde apache Spark'ın en iyi duruma getirilmiş sürümü olan Photon dahil olmak üzere Apache Spark üzerinde derlenen ve genişleten ek iyileştirmeler ve özel özellikler içerir.

Apache Spark, Azure Databricks'te nasıl çalışır?

Azure Databricks'te bir işlem kümesi veya SQL ambarı dağıttığınızda Apache Spark yapılandırılır ve sanal makinelere dağıtılır. Bunlar Sizin için Azure Databricks tarafından yönetildiğinden spark bağlamı veya Spark oturumu yapılandırmanız veya başlatmanız gerekmez.

Azure Databricks'i Apache Spark kullanmadan kullanabilir miyim?

Azure Databricks çeşitli iş yüklerini destekler ve Databricks Runtime'da açık kaynak kitaplıkları içerir. Databricks SQL, arka planda Apache Spark kullanır, ancak son kullanıcılar veritabanı nesneleri oluşturmak ve sorgulamak için standart SQL söz dizimini kullanır.

Machine Learning için Databricks Runtime ML iş yükleri için iyileştirilmiştir ve birçok veri bilimcisi Azure Databricks üzerinde çalışırken TensorFlow ve SciKit Learn gibi birincil açık kaynak kitaplıklarını kullanır. Azure Databricks tarafından dağıtılan ve yönetilen işlem kaynaklarına göre rastgele iş yükleri zamanlamak için iş akışlarını kullanabilirsiniz.

Azure Databricks'te Apache Spark neden kullanılır?

Databricks platformu, işletmenizle ölçeklendirilen kurumsal çözümler geliştirmek ve dağıtmak için güvenli, işbirliğine dayalı bir ortam sağlar. Databricks çalışanları dünyanın en bilgili Apache Spark bakımcıları ve kullanıcılarının birçoğuna dahildir. Şirket, kullanıcıların Apache Spark çalıştırmak için en hızlı ortama erişebilmesini sağlamak için sürekli olarak yeni iyileştirmeler geliştirip yayınlar.

Azure Databricks'te Apache Spark kullanma hakkında nasıl daha fazla bilgi edinebilirim?

Azure Databricks'te Apache Spark'ı kullanmaya başlamak için hemen başlayın! Apache Spark DataFrames öğreticisi Python, R veya Scala'da verileri yükleme ve dönüştürme işleminde yol gösterir. Bkz . Öğretici: Apache Spark DataFrames kullanarak verileri yükleme ve dönüştürme.

Spark'ta Python, R ve Scala dil desteği hakkında ek bilgiler Azure Databricks'teki PySpark, SparkR'ye genel bakış ve Scala geliştiricileri için Azure Databricks bölümlerinde ve Apache Spark API'leri başvurusu bölümünde bulunur.