Windows bilgisayarından HDInsight üzerinde Apache Hadoop ekosisteminde çalışma

Makale
09/14/2023

HDInsight'ta Apache Hadoop ekosisteminde çalışmaya yönelik Windows bilgisayarda geliştirme ve yönetim seçenekleri hakkında bilgi edinin.

HDInsight, Linux üzerinde geliştirilen açık kaynak teknolojileri olan Apache Hadoop ve Hadoop bileşenlerini temel alır. HDInsight sürüm 3.4 ve üzeri, küme için temel işletim sistemi olarak Ubuntu Linux dağıtımını kullanır. Ancak, bir Windows istemcisinden veya Windows geliştirme ortamından HDInsight ile çalışabilirsiniz.

PowerShell'i dağıtım ve yönetim görevleri için kullanma

Azure PowerShell, Windows'tan HDInsight'ta dağıtım ve yönetim görevlerini denetlemek ve otomatikleştirmek için kullanabileceğiniz bir betik oluşturma ortamıdır.

PowerShell ile gerçekleştirebileceğiniz görev örnekleri:

Azure PowerShell en son sürümü almak üzere yükleme ve yapılandırma adımlarını izleyin.

Tarayıcıda çalıştırabileceğiniz yardımcı programlar

Aşağıdaki yardımcı programların tarayıcıda çalışan bir web kullanıcı arabirimi vardır:

Azure Cloud Shell, tarayıcınızda ve Azure portal içinden çalışan etkileşimli bir komut satırı kabuğudur.
Apache Ambari Web Ui, Azure portal bulunan ve aşağıdakiler gibi farklı iş türlerini yönetmek için kullanılabilecek bir yönetim ve izleme yardımcı programıdır:

Aşağıdaki örneklere gitmeden önce Visual Studio için Data Lake Araçları'nı yükleyin ve deneyin.

Visual Studio ve .NET SDK

Kümeleri yönetmek ve büyük veri uygulamaları geliştirmek için Visual Studio'yu .NET SDK ile kullanabilirsiniz. Aşağıdaki görevler için diğer IDE'leri kullanabilirsiniz, ancak örnekler Visual Studio'da gösterilir.

Visual Studio'da .NET SDK ile gerçekleştirebileceğiniz görev örnekleri:

Spark kümeleri için Intellij IDEA ve Eclipse IDE

Hem Intellij IDEA hem de Eclipse IDE şunları yapmak için kullanılabilir:

HDInsight Spark kümesinde Scala Spark uygulaması geliştirin ve gönderin.
Spark kümesi kaynaklarına erişme.
Scala Spark uygulamasını yerel olarak geliştirin ve çalıştırın.

Bu makaleler şunları göstermektedir:

Intellij IDEA: Azure Toolkit for Intellij eklentisini ve Scala SDK'sını kullanarak Apache Spark uygulamaları oluşturun.
Eclipse için Eclipse IDE veya Scala IDE: Apache Spark uygulamaları ve Azure Toolkit for Eclipse oluşturma

Veri bilimciler için Spark'ta not defterleri

HDInsight'taki Apache Spark kümeleri, Jupyter Notebooks ile kullanılabilen Apache Zeppelin not defterlerini ve çekirdeklerini içerir.

Windows'da Linux tabanlı araçları ve teknolojileri çalıştırma

Yalnızca Linux'ta kullanılabilen bir araç veya teknoloji kullanmanız gereken bir durumla karşılaşırsanız aşağıdaki seçenekleri göz önünde bulundurun:

Windows 10 üzerinde Ubuntu üzerinde Bash, Windows üzerinde bir Linux alt sistemi sağlar. Bash, ayrılmış bir Linux yüklemesini sürdürmek zorunda kalmadan doğrudan Linux yardımcı programlarını çalıştırmanıza olanak tanır. Yükleme adımları için bkz. Windows 10 Linux için Windows Alt Sistemi Yükleme Kılavuzu. Diğer Unix kabukları da çalışır.
Windows için Docker , linux tabanlı birçok araç için erişim sağlar ve doğrudan Windows'tan çalıştırılabilir. Örneğin Docker'ı kullanarak Hive için Beeline istemcisini doğrudan Windows'tan çalıştırabilirsiniz. Docker'ı yerel bir Jupyter Notebook çalıştırmak ve HDInsight üzerinde Spark'a uzaktan bağlanmak için de kullanabilirsiniz. Windows için Docker'ı kullanmaya başlama
MobaXTerm , SSH bağlantısı üzerinden küme dosya sistemine grafik olarak göz atmanızı sağlar.

Platformlar arası araçlar

Azure komut satırı arabirimi (CLI), Azure kaynaklarını yönetmek için Microsoft tarafından sunulan platformlar arası komut satırı deneyimidir. Daha fazla bilgi için bkz. Azure Command-Line Arabirimi (CLI).

Sonraki adımlar

Linux tabanlı kümelerde çalışmaya yeniyseniz aşağıdaki makalelere bakın:

Aracılığıyla paylaş