Назначение исходного файла

Область применения:SQL Server среда выполнения интеграции SSIS в Фабрика данных Azure

Назначение «Необработанный файл» записывает необработанные данные в файл. Так как формат данных является собственным для назначения, данные не требуют перевода и нуждаются лишь в небольшом анализе. Это значит, что назначение «Необработанный файл» может записывать данные быстрее, чем другие назначения, такие как «Неструктурированный файл» или «OLE DB».

Помимо записи необработанных данных в файл, можно также использовать назначение «Необработанный файл» для создания пустого необработанного файла, содержащего только столбцы (файла только с метаданными), без необходимости запуска пакета. Источник Raw File используется, чтобы извлечь необработанные данные, ранее записанные приёмником. Вы также можете указать для источника «Raw File» файл, содержащий только метаданные.

В формате необработанного файла содержатся сведения о сортировке. Назначение «Необработанный файл» сохраняет все сведения о сортировке, включая флаги сравнения для строковых столбцов. Источник «Необработанный файл» считывает и учитывает сведения о сортировке. У вас есть возможность с помощью расширенного редактора настроить источник «Необработанный файл» так, чтобы он игнорировал флаги сортировки в файле. Дополнительные сведения о флагах сравнения см. в разделе Comparing String Data.

Можно настроить назначение "Raw File" следующими способами:

  • Задайте режим доступа, являющийся либо именем файла, либо переменной, содержащей имя файла, в который записывает данные назначение «Необработанный файл».

  • Укажите, будет ли назначение «Raw File» добавлять данные в существующий файл с тем же именем или создавать новый файл.

Назначение Raw File часто используется для записи промежуточных результатов частично обработанных данных между выполнениями пакета. Хранение необработанных данных означает, что данные можно быстро считывать источником «Необработанный файл», а затем преобразовывать перед загрузкой в конечное место назначения. Например, пакет может запускаться несколько раз, каждый раз записывая в файлы необработанные данные. Впоследствии другой пакет может использовать источник «Необработанный файл» для чтения данных из каждого файла, затем с помощью преобразования «Union All» объединить данные в один набор данных, а после этого применить дополнительные преобразования, суммирующие данные, перед их загрузкой в конечное назначение, например в таблицу SQL Server.

Примечание.

Назначение Raw File поддерживает значения NULL, но не поддерживает данные двоичных больших объектов (BLOB).

Примечание.

Назначение «Необработанный файл» не использует диспетчер соединений.

Этот источник имеет один стандартный вход. Вывод ошибок не поддерживается.

Параметры добавления и нового файла

Свойство WriteOption включает возможности дозаписи данных в существующий файл или создания нового файла.

В следующей таблице описаны доступные значения свойства WriteOption.

Вариант Описание
Добавить Дозаписывает данные в существующий файл. Метаданные присоединенных данных должны соответствовать формату файла.
Создавать всегда Всегда создает новый файл.
Создать один раз Создает новый файл. Если файл существует, то работа компонента завершается аварийно.
Усечение и добавление Обрезает существующий файл, а затем записывает в него данные. Метаданные присоединенных данных должны соответствовать формату файла.

Ниже приведены важные вопросы о добавлении данных.

  • Добавление данных в существующий необработанный файл не приводит к повторной сортировке данных.

    Необходимо убедиться, что отсортированные ключи остаются в нужном порядке.

  • Добавление данных в существующий необработанный файл не меняет метаданные этого файла (сведения о сортировке).

Например, пакет считывает данные, отсортированные по ключу продукта (ProductKey, PK). Пакетный поток данных добавляет данные в существующий необработанный файл. При первом запуске пакета будут получены три строки (PK 1000, 1100, 1200). Теперь необработанный файл содержит следующие данные.

  • 1 000, продуктA

  • 1100, товарB

  • 1200, продуктC

При втором запуске пакета будут получены две новые строки (PK 1001, 1300). Теперь необработанный файл содержит следующие данные.

  • 1 000, продуктA

  • 1100, товарB

  • 1200, продуктC

  • 1001, продуктD

  • 1300, продукт E

Новые данные добавляются в конец необработанного файла, и порядок сортируемых ключей (PK) нарушается. Кроме того, операция добавления не меняет метаданные файла (сведения о сортировке). Если считывать файл с помощью источника «Необработанный файл», компонент указывает, что файл по-прежнему отсортирован по PK, хотя данные в файле уже расположены в неправильном порядке.

Чтобы сохранить сортируемые ключи в правильном порядке после добавления данных, можно разработать пакетный поток данных следующим образом:

  1. Извлечение новых строк с использованием источника A.

  2. Извлечение существующих строк из файла RawFile1 с помощью источника B.

  3. Объедините входные данные из источников A и B с помощью преобразования «Union All».

  4. Сортировка по PK.

  5. Запишите в RawFile2 с помощью назначения «Необработанный файл».

    Файл RawFile1 заблокирован, так как он используется для чтения в потоке данных.

  6. Замените RawFile1 на RawFile2.

Использование назначения «Необработанный файл» внутри цикла

Если поток данных, использующий назначение «Необработанный файл», находится в цикле, может потребоваться создать файл один раз, а затем дозаписывать в него данные при каждом повторении цикла. Чтобы добавить данные в файл, формат этих данных должен соответствовать формату существующего файла.

Чтобы создать файл в первой итерации цикла, а затем в последующих итерациях цикла добавлять в него строки, в процессе разработки необходимо выполнить следующие действия.

  1. Задайте для свойства WriteOption значение CreateOnce или CreateAlways и выполните одну итерацию цикла. Файл будет создан. Это будет гарантией того, что добавляемые метаданные и файл будут соответствовать друг другу.

  2. Сбросьте свойство WriteOption до значения Append и установите для свойства ValidateExternalMetadata значение False.

Если используется параметр TruncateAppend вместо параметра Append , то строки, которые были добавлены в любой предыдущей итерации, будут усечены, и только затем будет добавлена новая строка. Использование параметра TruncateAppend также требует, чтобы данные соответствовали формату файла.

Настройка назначения файла необработанных данных

Свойства могут быть заданы с помощью конструктора SSIS или программным путем.

Диалоговое окно Расширенный редактор содержит свойства, которые можно установить с помощью программных средств. Дополнительные сведения о свойствах, которые вы можете задать в диалоговом окне Расширенный редактор или программными средствами, см. в следующих разделах.

Дополнительные сведения о настройке свойств компонента см. в разделе Установление свойств компонента потока данных.

Редактор назначения «Необработанный файл» (страница диспетчера соединений)

Используйте редактор назначения «Необработанный файл», чтобы настроить назначение «Необработанный файл» для записи необработанных данных в файл.

Что вы хотите сделать?

Открытие редактора назначения «Необработанный файл»

  1. Добавьте назначение Raw File в пакет Integration Services в SQL Server Data Tools (SSDT).

  2. Щелкните правой кнопкой мыши компонент и выберите команду Изменить.

Задание параметров на вкладке «Диспетчер соединений»

Режим доступа
Выберите порядок указания имени файла. Выберите пункт Имя файла , чтобы ввести имя файла и путь непосредственно, или пункт Имя файла из переменной , чтобы указать переменную, содержащую имя файла.

Имя файла или Имя переменной
Введите имя необработанного файла и путь к нему или выберите переменную, содержащую имя файла.

Параметр записи
Выберите метод, используемый для создания файла и записи в файл.

Создание исходного необработанного файла
Нажмите эту кнопку для создания пустого необработанного файла, который содержит только столбцы (файл только с метаданными), без необходимости запуска пакета. Файл содержит столбцы, выбранные на странице Столбцы редактора Редактор назначения необработанного файла. Можно указать источник «Raw File» на этот файл, содержащий только метаданные.

После нажатия Создать исходный необработанный файлпоявляется окно сообщения. Щелкните ОК , чтобы продолжить создание файла. Щелкните Отмена , чтобы выбрать другой список столбцов на странице Столбцы .

Настройте параметры на вкладке «Столбцы»

Доступные входные столбцы
Выберите один или несколько входных столбцов для записи в необработанный файл.

Входной столбец
Входной столбец автоматически добавляется в эту таблицу во время выбора в списке Доступные входные столбцы. Также можно выбрать входной столбец непосредственно в этой таблице.

Псевдоним вывода
Укажите альтернативное имя для выходного столбца.

Редактор назначения «Необработанный файл» (страница «Столбцы»)

Используйте редактор назначения «Необработанный файл», чтобы настроить назначение «Необработанный файл» для записи необработанных данных в файл.

Что вы хотите сделать?

Открытие редактора назначения «Необработанный файл»

  1. Добавьте назначение Raw File в пакет Integration Services в SQL Server Data Tools (SSDT).

  2. Щелкните правой кнопкой мыши компонент и выберите команду Изменить.

Задание параметров на вкладке «Диспетчер соединений»

Режим доступа
Выберите порядок указания имени файла. Выберите пункт Имя файла , чтобы ввести имя файла и путь непосредственно, или пункт Имя файла из переменной , чтобы указать переменную, содержащую имя файла.

Имя файла или Имя переменной
Введите имя необработанного файла и путь к нему или выберите переменную, содержащую имя файла.

Параметр записи
Выберите метод, используемый для создания файла и записи в файл.

Создание исходного необработанного файла
Нажмите эту кнопку для создания пустого необработанного файла, который содержит только столбцы (файл только с метаданными), без необходимости запуска пакета. Можно указать для источника «Raw File» файл, содержащий только метаданные.

После нажатия этой кнопки появляется список столбцов. Можно нажать кнопку «Отмена» и изменить столбцы или нажать кнопку «ОК», чтобы продолжить создание файла.

Задайте параметры на вкладке «Столбцы»

Доступные входные столбцы
Выберите один или несколько входных столбцов для записи в необработанный файл.

Входной столбец
Входной столбец автоматически добавляется в эту таблицу во время выбора в списке Доступные входные столбцы. Также можно выбрать входной столбец непосредственно в этой таблице.

Псевдоним вывода
Укажите альтернативное имя для выходного столбца.

Связанные материалы

  • Last updated on