Поделиться через

Назначение «Файл HDFS»

  • Статья

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

Компонент назначения HDFS-файлов позволяет записывать данные в пакете служб SSIS в HDFS-файл. Поддерживаются следующие форматы файлов: Text, Avro и ORC.

Чтобы настроить назначение HDFS-файлов, перетащите источник HDFS-файлов в конструктор потоков данных и дважды щелкните компонент, чтобы открыть редактор.

Редактор назначений HDFS-файла

Параметры

Настройте следующие параметры на вкладке Общие в диалоговом окне Hadoop File Destination Editor (Редактор назначения файлов Hadoop).

Поле Description
Hadoop Connection (Подключение Hadoop) Укажите существующий диспетчер подключений Hadoop или создайте новый. Этот диспетчер подключений указывает, где размещены файлы HDFS.
Путь к файлу Укажите имя HDFS-файла.
Формат файлов Укажите формат HDFS-файла. Доступны следующие значения: Text, Avro и ORC.
Знак-разделитель столбцов Если выбран текстовый формат, укажите знак-разделитель столбцов.
Имена столбцов в первой строке данных Если выбран текстовый формат, укажите, будет ли первая строка файла содержать имена столбцов.

После настройки этих параметров перейдите на вкладку Столбцы , чтобы сопоставить исходные столбцы с целевыми столбцами в потоке данных.

Необходимое условие для использования формата файла ORC

Для использования формата файла ORC требуется Java. Архитектура сборки Java (32- или 64-разрядная) должна соответствовать архитектуре используемой среды выполнения SSIS. Были протестированы следующие сборки Java:

Настройка Zulu's OpenJDK

  1. Скачайте и извлеките ZIP-пакет установки.
  2. Запустите sysdm.cpl из командной строки.
  3. На вкладке Дополнительно выберите Переменные среды.
  4. В разделе Системные переменные выберите Создать.
  5. Введите JAVA_HOME в поле Имя переменной.
  6. Выберите Обзор каталога, перейдите к извлеченной папке и выберите вложенную папку jre. Затем нажмите кнопку ОК. Значение переменной заполняется автоматически.
  7. Нажмите кнопку ОК, чтобы закрыть диалоговое окно Создание системной переменной.
  8. Нажмите кнопку ОК, чтобы закрыть диалоговое окно Переменные среды.
  9. Нажмите кнопку ОК, чтобы закрыть диалоговое окно Свойства системы.

Настройка среды выполнения Oracle Java SE

  1. Скачайте и запустите EXE-установщик.
  2. Следуйте указаниям установщика, чтобы завершить настройку.

См. также

Диспетчер подключений Hadoop
Источник «Файл HDFS»