Aracılığıyla paylaş

Apache Spark yönergeleri

  • Makale

Bu makalede, Azure HDInsight üzerinde Apache Spark kullanımına yönelik çeşitli yönergeler sağlanır.

Spark işlerini çalıştırmak veya göndermek Nasıl yaparım??

Seçenek Belgeler
VSCode Visual Studio Code için Spark ve Hive Araçlarını kullanma
Jupyter Notebooks Öğretici: Azure HDInsight'ta Apache Spark kümesinde veri yükleme ve sorgu çalıştırma
IntelliJ Öğretici: HDInsight kümesi için Apache Spark uygulamaları oluşturmak üzere IntelliJ için Azure Toolkit kullanma
IntelliJ Öğretici: IntelliJ kullanarak HDInsight'ta Apache Spark için Scala Maven uygulaması oluşturma
Zeppelin not defterleri Azure HDInsight'ta Apache Spark kümesiyle Apache Zeppelin not defterlerini kullanma
Livy ile uzak iş gönderimi HDInsight Spark kümesine uzak işleri göndermek için Apache Spark REST API’sini kullanma
Apache Oozie Oozie, Hadoop işlerini yöneten bir iş akışı ve koordinasyon sistemidir.
Apache Livy Livy'yi kullanarak etkileşimli Spark kabukları çalıştırabilir veya Spark üzerinde çalıştırılacak toplu işleri gönderebilirsiniz.
Apache Spark için Azure Data Factory Data Factory işlem hattındaki Spark etkinliği bir Spark programını kendi başınıza veya [isteğe bağlı HDInsight kümesinde) yürütür.
Apache Hive için Azure Data Factory Data Factory işlem hattındaki HDInsight Hive etkinliği Hive sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür.

Spark işlerini izlemek ve hatalarını ayıklamak Nasıl yaparım??

Seçenek Belgeler
Azure Toolkit for IntelliJ IntelliJ için Azure Toolkit ile spark işi hata ayıklama hatası (önizleme)
SSH aracılığıyla IntelliJ için Azure Toolkit SSH aracılığıyla Azure Toolkit for IntelliJ ile HDInsight kümesinde yerel olarak veya uzaktan Apache Spark uygulamalarının hatasını ayıklama
VPN aracılığıyla IntelliJ için Azure Toolkit VPN aracılığıyla HDInsight'ta Apache Spark uygulamalarında uzaktan hata ayıklamak için IntelliJ için Azure Toolkit'i kullanma
Apache Spark Geçmiş Sunucusu'nda iş grafı Apache Spark uygulamalarının hatasını ayıklamak ve bu uygulamaları tanılamak için genişletilmiş Apache Spark Geçmiş Sunucusunu kullanma

Spark işlerimin daha verimli çalışmasını Nasıl yaparım??

Seçenek Belgeler
GÇ Önbelleği Azure HDInsight GÇ Önbelleği(Önizleme) kullanarak Apache Spark iş yüklerinin performansını geliştirme
Yapılandırma seçenekleri Apache Spark işlerini iyileştirme

Diğer Azure Hizmetlerine Nasıl yaparım? bağlanın?

Seçenek Belgeler
HDInsight üzerinde Apache Hive Apache Spark ve Apache Hive'ı Hive Warehouse Bağlan veya tümleştirme
HDInsight üzerinde Apache HBase Apache HBase verilerini okumak ve yazmak için Apache Spark kullanma
HDInsight üzerinde Apache Kafka Öğretici: HDInsight üzerinde Apache Kafka ile Apache Spark Yapılandırılmış Akışı kullanma
Azure Cosmos DB Azure Cosmos DB için Azure Synapse Link

Depolama seçeneklerim nelerdir?

Seçenek Belgeler
Azure Data Lake Storage 2. Nesil Azure HDInsight kümeleriyle Azure Data Lake Storage 2. Nesil hizmetini kullanma
Azure Data Lake Storage Gen1 Azure HDInsight kümeleriyle Azure Data Lake Storage 1. Nesil kullanma
Azure Blob Storage Azure HDInsight kümeleri ile Azure Depolama'yı kullanma

Sonraki adımlar