Поделиться через

Установка сторонних приложений Apache Hadoop в Azure HDInsight

Узнайте, как установить стороннее приложение Apache Hadoop в Azure HDInsight. Инструкции по установке собственного приложения см. в разделе "Установка пользовательских приложений HDInsight".

Приложение HDInsight — это приложение, которое пользователи могут установить в кластере HDInsight. Разработчиками этих приложений могут быть корпорация Майкрософт, независимые поставщики программного обеспечения или вы сами.

В следующем списке показаны опубликованные приложения:

Application Типы кластера Description
Платформа аналитики AtScale Hadoop AtScale преобразует кластер HDInsight в масштабируемый сервер OLAP, что позволяет запрашивать миллиарды строк данных в интерактивном режиме с помощью уже известных, собственных и любовных средств бизнес-аналитики — от Microsoft Excel, Power BI, Tableau Software до QlikView.
Datameer Hadoop Масштабируемая платформа Datameer для подготовки, изучения и управления данными для аналитики ускоряет превращение сложных многокомпонентных данных в ценную бизнес-готовую информацию, обеспечивая более быстрые, интеллектуальные аналитические сведения в масштабе предприятия.
Dataiku DSS в HDInsight Hadoop, Spark Dataiku DSS на корпоративной платформе обработки и анализа данных, которая позволяет специалистам по обработке и анализу данных совместно разрабатывать и запускать новые продукты и службы данных более эффективно, превращая необработанные данные в эффективные прогнозы.
Приложение WANdisco Fusion HDI Hadoop, Spark, HBase, Kafka Поддержание согласованности данных в распределенной среде — это сложная задача операций с данными. WANdisco Fusion, корпоративная платформа программного обеспечения, решает эту проблему, обеспечивая неструктурированную согласованность данных в любой среде.
H2O SparklingWater для HDInsight Spark H2O Sparkling Water поддерживает следующие распределенные алгоритмы: GLM, Naïve Bayes, распределенный случайный лес, градиентный бустинг, глубокие нейронные сети, глубокое обучение, К-средний, метод главных компонент, обобщенные модели низкого ранга, обнаружение аномалий, автокодировщики.
Striim для интеграции данных Real-Time в HDInsight Hadoop, HBase, Spark, Kafka Striim (произнесенный "stream") — это сквозная платформа потоковой передачи данных и платформа аналитики, обеспечивающая непрерывную прием, обработку и аналитику разрозненных потоков данных.
Jumbune Enterprise-Accelerating BigData Analytics Hadoop, Spark В общем, Jumbune помогает предприятиям, делая следующее: 1. Ускорение производительности рабочих нагрузок на движках Tez, MapReduce и Spark с использованием Hive, Java, и Scala. 2. Упреждающий мониторинг кластера Hadoop, 3. Установка управления качеством данных в распределенной файловой системе.
Сборщик данных StreamSets для HDInsight Cloud Hadoop, HBase, Spark, Kafka Сборщик данных StreamSets — это упрощенный, мощный механизм потоковой передачи данных в режиме реального времени. Используйте сборщик данных для маршрутизации и обработки данных в потоках данных. Она поставляется с 30-дневной пробной лицензией.
Единая платформа данных Hadoop, HBase, Spark Это Unifi Data Platform — бесшовно интегрированный набор инструментов самообслуживания для работы с данными, предназначенный для наделения бизнес-пользователя возможностью решать задачи, связанные с данными, которые способствуют увеличению дохода, снижению затрат или операционной сложности.

Инструкции, приведенные в этой статье, используют портал Azure. Вы также можете экспортировать шаблон Azure Resource Manager на портале или получить копию шаблона Resource Manager от поставщиков, а также использовать Azure PowerShell и Классический интерфейс командной строки Azure для развертывания шаблона. См. статью "Создание кластеров Apache Hadoop в HDInsight с помощью шаблонов Resource Manager".

Prerequisites

Если вы хотите установить приложение HDInsight в существующем кластере HDInsight, вы должны создать кластер HDInsight. Инструкции по созданию кластера см. в этом разделе. При создании кластера HDInsight можно также установить приложения HDInsight.

Установка приложений в существующие кластеры

В следующей процедуре показано, как установить приложения HDInsight в существующий кластер HDInsight.

Установка приложения HDInsight

  1. Войдите на портал Azure.

  2. В меню слева перейдите к кластерам All services>Analytics>HDInsight.

  3. Выберите кластер HDInsight из списка. Если у вас его нет, сначала необходимо создать его. см. статью "Создание кластеров".

  4. В категории "Параметры" выберите "Приложения". Список установленных приложений можно просмотреть в главном окне.

    Меню портала приложений HDInsight.

  5. Нажмите кнопку +Добавить в меню. Список доступных приложений можно просмотреть. Если +Add неактивен, это означает, что для этой версии кластера HDInsight нет приложений.

    Доступные приложения HDInsight.

  6. Выберите одно из доступных приложений и следуйте инструкциям, чтобы принять юридические условия.

Состояние установки можно увидеть в уведомлениях портала (щелкните значок колокольчика в верхней части портала). После установки приложения приложение появится в списке установленных приложений.

Установка приложений во время создания кластера

При создании кластера можно установить приложения HDInsight. Во время процесса приложения HDInsight устанавливаются после создания кластера и находятся в состоянии выполнения. Чтобы установить приложения во время создания кластера с помощью портала Azure, на вкладке "Конфигурация и цены " нажмите кнопку "+ Добавить приложение".

Приложения конфигурации кластера портала Azure.

Список установленных приложений и свойств HDInsight

На портале отображается список установленных приложений HDInsight для кластера и свойств каждого установленного приложения.

Список приложений HDInsight и отображение их свойств

  1. Войдите на портал Azure.

  2. В меню слева перейдите к кластерам All services>Analytics>HDInsight.

  3. Выберите кластер HDInsight из списка.

  4. В категории "Параметры" выберите "Приложения". Список установленных приложений можно просмотреть в главном окне.

    Установленные приложения HDInsight.

  5. Выберите одно из установленных приложений, чтобы отобразить свойство. Список свойств:

    Property Description
    Имя приложения Имя приложения.
    Status Состояние приложения.
    Webpage URL-адрес веб-приложения, развернутого на пограничном узле. Учетные данные совпадают с учетными данными пользователя HTTP, настроенными для кластера.
    Конечная точка SSH SSH можно использовать для подключения к пограничному узлу. Учетные данные SSH совпадают с учетными данными пользователя SSH, настроенными для кластера. См. дополнительные сведения об использовании SSH в HDInsight.
    Description Описание приложения.

  6. Чтобы удалить приложение, щелкните правой кнопкой мыши приложение и выберите команду "Удалить " в контекстном меню.

Подключение к пограничному узлу

Вы можете подключиться к пограничному узлу с помощью ПРОТОКОЛА HTTP и SSH. Сведения о конечной точке можно найти на портале. См. дополнительные сведения об использовании SSH в HDInsight.

Учетные данные конечной точки HTTP — это учетные данные пользователя HTTP, настроенные для кластера HDInsight. Учетные данные конечной точки SSH — это учетные данные SSH, настроенные для кластера HDInsight.

Troubleshoot

См. раздел "Устранение неполадок с установкой".

Дальнейшие шаги

  • Last updated on