Пункт назначения Teradata

Область применения:SQL Server среда выполнения интеграции SSIS в Фабрика данных Azure

Приемник Teradata загружает данные в базу данных Teradata в режиме массовой загрузки.

Для подключения к источнику данных этот объект назначения использует диспетчер соединений Teradata. Дополнительные сведения см. в разделе Диспетчер подключений Teradata.

Параметры загрузки

Приёмник Teradata поддерживает два режима загрузки данных:

  • TPT Stream: в этом режиме используется оператор TPT API Stream (протокол Teradata TPump).

  • Загрузка TPT (быстрая массовая загрузка): этот режим использует оператор загрузки API TPT (протокол FastLoad Teradata) для быстрой массовой загрузки.

Режим быстрой загрузки имеет следующие ограничения.

  • Ограничение количества сеансов для базы данных Teradata определяется в зависимости от того, какой фактор будет обнаружен первым:

    • Ограничения сеансов заданы с помощью команды SESSIONS
    • Ограничение базы данных Teradata в один сеанс на каждый AMP
    • Ограничение платформы на максимальное количество сеансов на одно приложение: задаётся переменной MaxSess в файле программного обеспечения интерфейса процессора связи (COP) CLISPB.DAT. Для указания ограничения платформы можно использовать команду TDP SET MAXSESSIONS. Ограничение по умолчанию равно значению MAXSESS сервера.

  • Совместные индексы не поддерживаются.

  • Ссылки на внешние ключи в целевых таблицах не поддерживаются.

  • Целевые таблицы, определенные с помощью вторичного индекса, не поддерживаются.

Дополнительные сведения об ограничениях быстрой загрузки Teradata см. в справочнике по быстрой загрузке Teradata.

Режим можно задать в Редакторе назначений Teradata (страница "Диспетчер подключений").

Обработка ошибок

Ошибки, возвращенные в процессе загрузки, записываются во временные таблицы ошибок, которые блокируются во время загрузки. Свойство Максимальное число ошибок (MaxErrors) в Расширенном редакторе задает максимальное количество ошибок, которые могут быть записаны в эти таблицы.

Если максимальное число ошибок больше нуля, создаются таблицы ошибок с уникальными именами, а в журнал пакетов заносится информационное сообщение. Ошибки можно извлечь через стандартный выход ошибок компонента SSIS.

Временные таблицы удаляются после завершения процесса загрузки. Если назначению Teradata не удается прочитать временные таблицы, они не удаляются, если не установлен флажок свойства Всегда удалять таблицу ошибок. Если процесс загрузки остановлен до завершения, при необходимости нужно вручную удалить эти таблицы. Эти таблицы расположены в той же базе данных, что и таблица назначения.

При достижении максимального количества ошибок состояние таблицы назначения зависит от используемого режима.

  • В режиме быстрой загрузки таблица назначения непригодна для использования. Чтобы выполнить повторно, необходимо очистить целевую таблицу или удалить и заново создать её. Откат не поддерживается.
  • В режиме оператора TPT Steam целевой объект Teradata использует механизм буферизации строк. Если задание завершается сбоем, все выполненные изменения (буферы были отправлены) во время сбоя являются постоянными в таблицах назначения. Понятие отката отсутствует. Таблицы ошибок будут удалены.

Назначение Teradata содержит вывод с ошибками. Дополнительные сведения см. в разделе Редактор назначения Teradata (страница "Вывод ошибок").

Параллелизм

В режиме быстрой загрузки параллелизм ограничен: несколько независимых заданий быстрой загрузки не могут одновременно обращаться к одной и той же таблице. Кроме того, количество одновременных заданий быстрой загрузки ограничивается переменной MaxLoadTasks базы данных.

Ограничений параллелизма в режиме TPT Stream нет. Можно одновременно запускать несколько целевых объектов Teradata для одной и той же таблицы, хотя это может снизить производительность каждого такого объекта Teradata. Дополнительные сведения см. в документации по Teradata.

Устранение неполадок целевого объекта Teradata

Вы можете регистрировать вызовы, которые источник Teradata передает в API-интерфейс Teradata Parallel Transporter (TPT API). Вы можете включить ведение журнала пакетов и выбрать диагностическое событие на уровне пакета для записи вызовов.

Вы можете вести журнал вызовов ODBC, которые источник Teradata передает драйверу Teradata ODBC, включив трассировку диспетчера драйверов ODBC. Дополнительные сведения см. в документации Майкрософт по теме Как формировать трассировку ODBC с помощью администратора источника данных ODBC.

Пользовательские свойства назначения Teradata

В следующей таблице описаны пользовательские свойства назначения Teradata. Все свойства доступны для чтения и записи.

Имя свойства Тип данных Описание
AlwaysDropErrorTable Логический тип Значение по умолчанию — False. Удалите все таблицы ошибок, если значение равно True, даже если не удается прочитать назначение Teradata.
ArraySupport Логический тип Значение по умолчанию — True. Группы DML используют параметр ArraySupport, если значение равно true. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
Буферы Целое Число буферов запросов можно увеличить, задав значение от 2 до 64. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
BufferMode Логический тип Значение по умолчанию — True. Значение должно быть равно true, если используется функция PutBuffer. Это свойство находится в Расширенном редакторе.
Размер буфера Целое Размер выходного буфера (в КБ), используемого для отправки пакетов загрузки. Значение по умолчанию — 1024. Применимо только для TPT Load. Это свойство находится в Расширенном редакторе.
DataEncryption Логический тип Значение по умолчанию — False. Полное шифрование для безопасности используется, если значение равно true.
DefaultCodePage Целое Кодовая страница, которая используется, если для источника данных нет сведений о кодовой странице.
Примечание. Это свойство находится в Расширенный редактор.
Уровень подробной трассировки Целое число (перечисление) Выберите один из следующих вариантов расширенной трассировки:
Откл.: Без расширенного журналирования.
Общие: Регистрируется общая трассировка действий, связанных с драйвером.
CLI: в журнал записывается трассировка действий, связанных с CLIv2.
Метод уведомления: регистрируется трассировка действий, связанных с функцией уведомления.
Common Library: регистрируется трассировка операций библиотеки opcommon.
Все: регистрируется все указанные выше трассировки действий.
Файл журнала расширенной трассировки определен в свойстве DetailedTracingFile.
Свойство DetailedTracingFile должно быть задано, если этот параметр не выключен.
Это свойство находится в Расширенном редакторе.
Файл подробной трассировки Строка Путь к файлу журнала, который создается автоматически, когда для параметра DetailedTracingLevel не установлено значение Off. Это свойство находится в Расширенном редакторе.
Отбросить большую строку Логический тип Значение по умолчанию — False. Отбросить большие строки (больше 64 КБ), если значение равно true
ErrorTableName Строка Название таблицы ошибок. По умолчанию используется имя целевой таблицы
Распределение расширенных строковых столбцов Логический тип Максимальный коэффициент распределения символов используется, если значение равно true.
Это значение должно быть равно true, если для свойства базы данных Teradata Export Width Table ID задано значение Maximal Defaults.
Значение по умолчанию — False.
FastLoad Логический тип Быстрая загрузка используется, если значение равно true. Значение по умолчанию равно false. Это свойство можно также задать в редакторе назначения Teradata (страница "Диспетчер подключений").
MaxErrors Целое Максимальное число ошибок, после превышения которого останавливается поток данных. По умолчанию задано значение 0, что означает отсутствие ограничения на число ошибок.
Используется, если на странице Обработка ошибок выбрано Перенаправить поток. Пока не достигнут предел количества ошибок, в выводе ошибок возвращаются все ошибки. Дополнительные сведения см. в разделе Редактор назначения Teradata (страница "Вывод ошибок").
MaxSessions Целое Максимальное количество сеансов, в которых выполнен вход в систему. Это значение должно быть больше единицы. Значение по умолчанию — один сеанс для каждого доступного AMP.
MinSessions Целое Минимальное количество сеансов, в которых выполнен вход в систему. Это значение должно быть больше единицы. Значение по умолчанию — один сеанс для каждого доступного AMP.
Упаковка Целое Число инструкций для упаковки в запрос с несколькими инструкциями. Значение по умолчанию — 20, максимально допустимое — 2400. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
PackMaximum Логический тип Динамически определять максимальный коэффициент упаковки для текущего задания Stream, если True. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
QueryBandSessInfo Varchar Определяемое пользователем выражение диапазона запроса для обратного мониторинга и контроля. Это свойство должно быть в формате строки подключения. Это свойство находится в Расширенном редакторе.
ReplicationOveride Целое число (перечисление) Параметры:
По умолчанию инструкция SET SESSION OVERRIDE REPLICATION не отправляется в базу данных. Используются параметры базы данных по умолчанию.
Вкл.: стандартные элементы управления службой репликации переопределяются.
Отключен: используются обычные элементы управления службой репликации.
Это свойство применимо только для режима TPT Stream.
Это свойство находится в Расширенном редакторе.
Надёжный Логический тип Для операций восстановления и перезапуска используется устойчивая логика перезапуска, если значение равно true. Это свойство применимо только для режима TPT Stream. Это свойство находится в Расширенном редакторе.
TableName Строка Имя таблицы с используемыми данными.
TenacityHours Целое Количество часов, в течение которых драйвер TPT пытается войти в систему, если уже выполняется максимальное количество операций загрузки и экспорта. По умолчанию — 4 часа. Это свойство находится в Расширенном редакторе
TenacitySleep Целое Количество минут, в течение которых драйвер TPT приостанавливается перед попыткой выполнить вход в систему при достижении лимита. Ограничение определяется свойствами MaxSessions и TenacityHours. Значение по умолчанию — 6 минут. Это свойство находится в Расширенном редакторе
UnicodePassThrough Логический тип Выкл. (по умолчанию): отключает сквозную передачу Unicode.
Вкл.: включите сквозную передачу Unicode.

Настройка назначения Teradata

Назначение Teradata можно настраивать программными средствами или с помощью конструктора служб SSIS.

На рисунке ниже показан редактор назначения Teradata. Он включает страницу диспетчера подключений, страницу сопоставлений и страницу вывода ошибок.

Дополнительные сведения см. в одном из следующих разделов:

редактор места назначения

Диалоговое окно Расширенный редактор содержит свойства, которые можно задавать программным путем. Открытие диалогового окна Расширенный редактор .

  • На экране Поток данных в проекте Integration Services щелкните правой кнопкой мыши компонент назначения Teradata и выберите Показать расширенный редактор.

Дополнительные сведения о свойствах, которые вы можете задать в диалоговом окне "Расширенный редактор", см. в разделе Пользовательские свойства назначения Teradata.

Редактор назначения Teradata (страница диспетчера подключений)

Страница Диспетчер подключений диалогового окна Редактор назначения Teradata используется для выбора диспетчера подключений Teradata для назначения. На этой странице также можно выбрать таблицу или представление базы данных.

Чтобы открыть страницу «Диспетчер подключений» редактора назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке «Поток данных» дважды щелкните компонент назначения Teradata.

  • В редакторе назначения Teradata щелкните "Диспетчер подключений".

Параметры

Диспетчер соединений

Выберите в списке существующий диспетчер подключений или нажмите кнопку Создать, чтобы создать диспетчер подключений Teradata.

Новый

Нажмите кнопку Создать. Откроется диалоговое окно Редактор диспетчера подключений Teradata, где можно создать диспетчер подключений.

Режим доступа к данным

Выберите метод выбора данных из источника. Доступные параметры показаны в следующей таблице.

Вариант Описание
Имя таблицы — TPT Stream Инкрементальный режим с использованием оператора TPT Stream.
Имя таблицы или vie: выберите существующую таблицу или представление из списка. В этом списке показаны только первые 1000 таблиц. Можно ввести префикс имени таблицы или использовать любую часть имени с подстановочным знаком (*), чтобы получить список нужных таблиц.
Имя таблицы — TPL Load Режим быстрой (прямой) загрузки с помощью оператора TPT API Load (протокол Teradata FastLoad), в котором таблица назначения должна быть пустой.
Имя таблицы или представления: выберите существующую таблицу или представление из списка. В этом списке показаны только первые 1000 таблиц. Можно ввести префикс имени таблицы или использовать любую часть имени с подстановочным знаком (*), чтобы получить список нужных таблиц.

Шифрование данных. Флажок для включения шифрования данных. По умолчанию не выбрано.

Всегда удалять таблицу ошибок Установите этот флажок, чтобы удалять таблицы ошибок во всех случаях.

Таблица ошибок. Имя таблицы, в которую записываются ошибки.

Минимальное число сеансов. Минимальное число сеансов, в которых выполнен вход в систему. Значение по умолчанию — один сеанс для каждого доступного AMP. Это значение должно быть больше единицы.

Максимальное число сеансов. Максимальное число сеансов, в которых выполнен вход в систему. Значение по умолчанию — один сеанс для каждого доступного AMP. Это значение должно быть больше единицы.

Максимальное количество ошибок. Максимальное количество ошибок, которое может быть возвращено до остановки или перенаправления потока данных.

Редактор назначения Teradata (страница "Сопоставления")

Страница Сопоставления диалогового окна Редактор назначения Teradata используется для сопоставления входных столбцов с целевыми.

Чтобы открыть страницу «Сопоставления» в редакторе назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке «Поток данных» дважды щелкните компонент назначения Teradata.

  • В редакторе назначения Teradata щелкните Сопоставления.

Параметры

Доступные входные столбцы

Список доступных входных столбцов. Перетащите входной столбец в доступный целевой столбец, чтобы сопоставить эти столбцы.

Доступные целевые столбцы

Список доступных целевых столбцов. Перетащите целевой столбец в доступный входной столбец, чтобы сопоставить эти столбцы.

Входной столбец

Позволяет просматривать выбранные входные столбцы. Удалить сопоставления можно, выбрав пункт < игнорировать >, чтобы исключить столбцы из результата.

Целевой столбец

Просмотрите все доступные целевые столбцы, как сопоставленные, так и несопоставленные.

Примечание.

Столбцы с неподдерживаемыми типами данных будут удалены из схемы сопоставления с выводом предупреждения.

Редактор назначения Teradata (страница вывода ошибок)

Страница "Вывод ошибок" диалогового окна "Редактор назначения Teradata" используется для выбора параметров обработки ошибок.

Чтобы открыть страницу вывода ошибок редактора назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке «Поток данных» дважды щелкните компонент назначения Teradata.

  • В редакторе назначения Teradata щелкните «Вывод ошибок».

Параметры

Действия при ошибке

Выберите порядок обработки ошибок в потоке назначением Teradata: пропустить ошибку, перенаправить строку или вызвать сбой компонента.

Связанные разделы: Обработка ошибок в данных

Усечение

Выберите порядок обработки усечений в потоке назначением Teradata: пропустить ошибку, перенаправить строку или вызвать сбой компонента.

Связанные материалы

  • Last updated on