Udostępnij za pośrednictwem


Praca w ekosystemie platformy Apache Hadoop w usłudze HDInsight z komputera z systemem Windows

Dowiedz się więcej o opcjach programowania i zarządzania na komputerze z systemem Windows do pracy w ekosystemie apache Hadoop w usłudze HDInsight.

Usługa HDInsight jest oparta na składnikach apache Hadoop i Hadoop, technologiach open source opracowanych w systemie Linux. Usługa HDInsight w wersji 3.4 lub nowszej używa dystrybucji systemu Ubuntu Linux jako podstawowego systemu operacyjnego dla klastra. Możesz jednak pracować z usługą HDInsight z poziomu klienta systemu Windows lub środowiska programistycznego systemu Windows.

Używanie programu PowerShell do wykonywania zadań wdrażania i zarządzania

Azure PowerShell to środowisko skryptowe, za pomocą którego można kontrolować i automatyzować zadania wdrażania i zarządzania w usłudze HDInsight z systemu Windows.

Przykłady zadań, które można wykonać za pomocą programu PowerShell:

Wykonaj kroki, aby zainstalować i skonfigurować Azure PowerShell, aby uzyskać najnowszą wersję.

Narzędzia, które można uruchomić w przeglądarce

Następujące narzędzia mają internetowy interfejs użytkownika, który działa w przeglądarce:

Przed przejściem do poniższych przykładów zainstaluj i wypróbuj narzędzia Data Lake Tools for Visual Studio.

Visual Studio i zestaw SDK platformy .NET

Za pomocą programu Visual Studio z zestawem .NET SDK można zarządzać klastrami i opracowywać aplikacje danych big data. W następujących zadaniach można użyć innych identyfikatorów, ale przykłady są wyświetlane w programie Visual Studio.

Przykłady zadań, które można wykonać za pomocą zestawu .NET SDK w programie Visual Studio:

Środowiska Intellij IDEA i Eclipse IDE dla klastrów Spark

Zarówno środowisko Intellij IDEA , jak i środowisko IDE środowiska Eclipse mogą służyć do:

  • Opracowywanie i przesyłanie aplikacji Scala Spark w klastrze spark usługi HDInsight.
  • Uzyskiwanie dostępu do zasobów klastra Spark.
  • Lokalnie twórz i uruchamiaj aplikację Platformy Spark w języku Scala.

W tych artykułach pokazano, jak:

Notesy na platformie Spark dla analityków danych

Klastry Apache Spark w usłudze HDInsight obejmują notesy i jądra Apache Zeppelin, których można używać z notesami Jupyter Notebook.

Uruchamianie narzędzi i technologii opartych na systemie Linux w systemie Windows

Jeśli napotkasz sytuację, w której musisz użyć narzędzia lub technologii dostępnej tylko w systemie Linux, rozważ następujące opcje:

  • Powłoka Bash w systemie Ubuntu w systemie Windows 10 udostępnia podsystem systemu Linux w systemie Windows. Powłoka Bash umożliwia bezpośrednie uruchamianie narzędzi systemu Linux bez konieczności obsługi dedykowanej instalacji systemu Linux. Aby uzyskać informacje Windows 10 na temat kroków instalacji, zobacz Podsystem Windows dla systemu Linux Przewodnik instalacji. Działają również inne powłoki systemu Unix .
  • Platforma Docker dla systemu Windows zapewnia dostęp do wielu narzędzi opartych na systemie Linux i może być uruchamiana bezpośrednio z systemu Windows. Na przykład można użyć platformy Docker do uruchomienia klienta Beeline dla programu Hive bezpośrednio z systemu Windows. Możesz również użyć platformy Docker do uruchamiania lokalnego Jupyter Notebook i zdalnego nawiązywania połączenia z platformą Spark w usłudze HDInsight. Wprowadzenie do platformy Docker dla systemu Windows
  • Narzędzie MobaXTerm umożliwia graficzne przeglądanie systemu plików klastra za pośrednictwem połączenia SSH.

Narzędzia międzyplatformowe

Interfejs wiersza polecenia platformy Azure to wieloplatformowe środowisko wiersza polecenia do zarządzania zasobami platformy Azure. Aby uzyskać więcej informacji, zobacz Azure Command-Line Interface (CLI).

Następne kroki

Jeśli dopiero zaczynasz pracę w klastrach opartych na systemie Linux, zobacz następujące artykuły: