İngilizce dilinde oku

Aracılığıyla paylaş

Windows bilgisayardan HDInsight üzerinde Apache Hadoop ekosisteminde çalışma

  • Makale

HDInsight üzerinde Apache Hadoop ekosisteminde çalışmaya yönelik Windows bilgisayarda geliştirme ve yönetim seçenekleri hakkında bilgi edinin.

HDInsight, Linux üzerinde geliştirilen açık kaynak teknolojileri olan Apache Hadoop ve Hadoop bileşenlerini temel alır. HDInsight sürüm 3.4 ve üzeri, küme için temel işletim sistemi olarak Ubuntu Linux dağıtımını kullanır. Ancak, Bir Windows istemcisinden veya Windows geliştirme ortamından HDInsight ile çalışabilirsiniz.

Dağıtım ve yönetim görevleri için PowerShell kullanma

Azure PowerShell, Windows'tan HDInsight'ta dağıtım ve yönetim görevlerini denetlemek ve otomatikleştirmek için kullanabileceğiniz bir betik ortamıdır.

PowerShell ile gerçekleştirebileceğiniz görev örnekleri:

En son sürümü almak için Azure PowerShell'i yükleme ve yapılandırma adımlarını izleyin.

Tarayıcıda çalıştırabileceğiniz yardımcı programlar

Aşağıdaki yardımcı programlar tarayıcıda çalışan bir web kullanıcı arabirimine sahiptir:

Aşağıdaki örneklere gitmeden önce Visual Studio için Data Lake Araçları'nı yükleyin ve deneyin.

Visual Studio ve .NET SDK

Kümeleri yönetmek ve büyük veri uygulamaları geliştirmek için Visual Studio'yu .NET SDK ile kullanabilirsiniz. Aşağıdaki görevler için diğer IDE'leri kullanabilirsiniz, ancak örnekler Visual Studio'da gösterilir.

Visual Studio'da .NET SDK ile gerçekleştirebileceğiniz görev örnekleri:

Spark kümeleri için IntelliJ IDEA ve Eclipse IDE

Hem IntelliJ IDEA hem de Eclipse IDE aşağıdakileri yapmak için kullanılabilir:

  • HDInsight Spark kümesinde Scala Spark uygulaması geliştirin ve gönderin.
  • Spark kümesi kaynaklarına erişme.
  • Scala Spark uygulamasını yerel olarak geliştirin ve çalıştırın.

Bu makaleler şunları göstermektedir:

Veri bilimciler için Spark'ta not defterleri

HDInsight'taki Apache Spark kümeleri, Jupyter Notebooks ile kullanılabilen Apache Zeppelin not defterlerini ve çekirdeklerini içerir.

Windows'da Linux tabanlı araçları ve teknolojileri çalıştırma

Yalnızca Linux'ta kullanılabilen bir araç veya teknoloji kullanmanız gereken bir durumla karşılaşırsanız aşağıdaki seçenekleri göz önünde bulundurun:

  • Windows 10'da Ubuntu üzerinde Bash, Windows üzerinde bir Linux alt sistemi sağlar. Bash, ayrılmış bir Linux yüklemesini sürdürmek zorunda kalmadan doğrudan Linux yardımcı programlarını çalıştırmanıza olanak tanır. Yükleme adımları için bkz. Linux için Windows Alt Sistemi Windows 10 Yükleme Kılavuzu. Diğer Unix kabukları da çalışır.
  • Windows için Docker, Linux tabanlı birçok aracuk için erişim sağlar ve doğrudan Windows'tan çalıştırılabilir. Örneğin Docker'ı kullanarak Hive için Beeline istemcisini doğrudan Windows'tan çalıştırabilirsiniz. Docker'ı yerel bir Jupyter Notebook çalıştırmak ve HDInsight üzerinde Spark'a uzaktan bağlanmak için de kullanabilirsiniz. Windows için Docker'ı kullanmaya başlama
  • MobaXTerm , SSH bağlantısı üzerinden küme dosya sistemine grafiksel olarak göz atmanızı sağlar.

Platformlar arası araçlar

Azure komut satırı arabirimi (CLI), Azure kaynaklarını yönetmek için Microsoft tarafından sunulan platformlar arası komut satırı deneyimidir. Daha fazla bilgi için bkz . Azure Komut Satırı Arabirimi (CLI).

Sonraki adımlar

Linux tabanlı kümelerde çalışmaya yeniyseniz aşağıdaki makalelere bakın: