SSH ile HDInsight üzerinde Apache Hadoop ile MapReduce kullanma
MapReduce işlerini Secure Shell (SSH) bağlantısından HDInsight'a göndermeyi öğrenin.
Not
Linux tabanlı Apache Hadoop sunucularını kullanmayı zaten biliyorsanız ancak HDInsight'ta yeniyseniz bkz. Linux tabanlı HDInsight ipuçları.
HDInsight üzerinde bir Apache Hadoop kümesi. Bkz. Azure portal kullanarak Apache Hadoop kümeleri oluşturma.
Kümenize bağlanmak için ssh komutunu kullanın. CLUSTERNAME değerini kümenizin adıyla değiştirerek aşağıdaki komutu düzenleyin ve komutu girin:
ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
HDInsight kümesine bağlandıktan sonra bir MapReduce işi başlatmak için aşağıdaki komutu kullanın:
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /example/data/WordCountOutput
Bu komut, dosyasında bulunan sınıfını
hadoop-mapreduce-examples.jar
başlatırwordcount
. Giriş olarak belgeyi/example/data/gutenberg/davinci.txt
kullanır ve çıkış konumunda/example/data/WordCountOutput
depolanır.Not
Bu MapReduce işi ve örnek veriler hakkında daha fazla bilgi için bkz. HDInsight üzerinde Apache Hadoop'ta MapReduce kullanma.
İş işlenirken ayrıntıları yayar ve iş tamamlandığında aşağıdaki metne benzer bilgiler döndürür:
File Input Format Counters Bytes Read=1395666 File Output Format Counters Bytes Written=337623
İş tamamlandığında, çıkış dosyalarını listelemek için aşağıdaki komutu kullanın:
hdfs dfs -ls /example/data/WordCountOutput
Bu komut iki dosya
_SUCCESS
görüntüler vepart-r-00000
. Dosya bupart-r-00000
işin çıkışını içerir.Not
Bazı MapReduce işleri sonuçları birden çok part-r-##### dosyası arasında bölebilir. Öyleyse, dosyaların sırasını belirtmek için ##### son ekini kullanın.
Çıkışı görüntülemek için aşağıdaki komutu kullanın:
hdfs dfs -cat /example/data/WordCountOutput/part-r-00000
Bu komut, wasbs://example/data/gutenberg/davinci.txt dosyasında bulunan sözcüklerin listesini ve her sözcüğün kaç kez gerçekleştiğini görüntüler. Aşağıdaki metin, dosyada yer alan verilerin bir örneğidir:
wreathed 3 wreathing 1 wreaths 1 wrecked 3 wrenching 1 wretched 6 wriggling 1
Gördüğünüz gibi Hadoop komutları, MAPReduce işlerini bir HDInsight kümesinde çalıştırmanın ve ardından iş çıktısını görüntülemenin kolay bir yolunu sağlar. HDInsight üzerinde Hadoop ile çalışmanın diğer yolları hakkında bilgi için: