Поделиться через

Назначение Teradata

  • Статья

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

Назначение Teradata выполняет массовую загрузку данных в базу данных Teradata.

Для подключения к источнику данных это назначение использует диспетчер подключений Teradata. Дополнительные сведения см. в разделе Диспетчер подключений Teradata.

Параметры загрузки

Назначение Teradata поддерживает два режима загрузки данных:

  • TPT Stream: в этом режиме используется оператор потока потока API TPT (протокол Teradata TPump).

  • Загрузка TPT (быстрая массовая загрузка): этот режим использует оператор загрузки API TPT (протокол FastLoad Teradata) для быстрой массовой загрузки.

Режим быстрой загрузки имеет следующие ограничения.

  • Ограничение количества сеансов для базы данных Teradata определяется в зависимости от того, какой фактор будет обнаружен первым:

    • Ограничения сеансов заданы с помощью команды SESSIONS
    • Ограничение базы данных Teradata для одного сеанса на AMP
    • Ограничение платформы на максимальное количество сеансов для каждого приложения: определено переменной MaxSess в файле программного обеспечения процессора связи (COP) интерфейса, CLISPB.DAT. Для указания ограничения платформы можно использовать команду TDP SET MAXSESSIONS. Ограничение по умолчанию равно значению MAXSESS сервера.

  • Совместные индексы не поддерживаются.

  • Ссылки на внешние ключи в целевых таблицах не поддерживаются.

  • Целевые таблицы, определенные с помощью вторичного индекса, не поддерживаются.

Дополнительные сведения об ограничениях быстрой загрузки Teradata см. в справочнике по быстрой загрузке Teradata.

Режим можно задать в Редакторе назначений Teradata (страница "Диспетчер подключений").

Обработка ошибок

Ошибки, возвращенные в процессе загрузки, записываются во временные таблицы ошибок, которые блокируются во время загрузки. Свойство Максимальное число ошибок (MaxErrors) в Расширенном редакторе задает максимальное количество ошибок, которые могут быть записаны в эти таблицы.

Если максимальное число ошибок больше нуля, создаются таблицы ошибок с уникальными именами, а в журнал пакетов заносится информационное сообщение. Ошибки можно получить с помощью стандартного вывода ошибок компонента служб SSIS.

Временные таблицы удаляются после завершения процесса загрузки. Если назначению Teradata не удается прочитать временные таблицы, они не удаляются, если не установлен флажок свойства Всегда удалять таблицу ошибок. Если процесс загрузки остановлен до завершения, при необходимости нужно вручную удалить эти таблицы. Эти таблицы расположены в той же базе данных, что и таблица назначения.

При достижении максимального количества ошибок состояние таблицы назначения зависит от используемого режима.

  • В режиме быстрой загрузки таблица назначения непригодна для использования. Для повторного выполнения необходимо выполнить усечение или удалить и повторно создать таблицу назначения. Откат не поддерживается.
  • В режиме оператора TPT Steam назначение Teradata выполняется с помощью механизма буферизованной строки. Если задание завершается сбоем, все выполненные изменения (буферы были отправлены) во время сбоя являются постоянными в таблицах назначения. Понятие отката отсутствует. Таблицы ошибок будут удалены.

Назначение Teradata содержит вывод с ошибками. Дополнительные сведения см. в разделе Редактор назначения Teradata (страница "Вывод ошибок").

Параллелизм

В режиме быстрой загрузки параллелизм ограничен: несколько независимых заданий быстрой загрузки не могут одновременно обращаться к одной и той же таблице. Кроме того, количество одновременных заданий быстрой загрузки ограничивается переменной MaxLoadTasks базы данных.

Ограничений параллелизма в режиме TPT Stream нет. В одной таблице можно одновременно выполнять несколько назначений Teradata, хотя это может снизить производительность для каждого назначения Teradata. Дополнительные сведения см. в документации по Teradata.

Устранение неполадок назначения Teradata

Вы можете регистрировать вызовы, которые источник Teradata передает в API-интерфейс Teradata Parallel Transporter (TPT API). Вы можете включить ведение журнала пакетов и выбрать диагностическое событие на уровне пакета для записи вызовов.

Вы можете вести журнал вызовов ODBC, которые источник Teradata передает драйверу Teradata ODBC, включив трассировку диспетчера драйверов ODBC. Дополнительные сведения см. в документации Майкрософт по теме Как формировать трассировку ODBC с помощью администратора источника данных ODBC.

Пользовательские свойства назначения Teradata

В следующей таблице описаны пользовательские свойства назначения Teradata. Все свойства доступны для чтения и записи.

Имя свойства Тип данных Description
AlwaysDropErrorTable Логический Значение по умолчанию — False. Удалите все таблицы ошибок, если значение равно True, даже если не удается прочитать назначение Teradata.
ArraySupport Логический Значение по умолчанию — True. Группы DML используют параметр ArraySupport, если значение равно true. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
Буферы Целое Число буферов запросов можно увеличить, задав значение от 2 до 64. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
BufferMode Логический Значение по умолчанию — True. Значение должно быть равно true, если используется функция PutBuffer. Это свойство находится в Расширенном редакторе.
BufferSize Целое Размер выходного буфера (в КБ), используемого для отправки пакетов загрузки. Значение по умолчанию — 1024. Применимо только для TPT Load. Это свойство находится в Расширенном редакторе.
DataEncryption Логический Значение по умолчанию — False. Полное шифрование для безопасности используется, если значение равно true.
DefaultCodePage Целое Кодовая страница, которая используется, если для источника данных нет сведений о кодовой странице.
Примечание. Это свойство находится в Расширенный редактор.
DetailedTracingLevel Integer (перечисление) Выберите один из следующих вариантов расширенной трассировки:
Выкл. Нет расширенного ведения журнала.
Общие сведения. Общая трассировка действий, относящихся к драйверу, регистрируется.
CLI: трассировка действий, связанных с CLIv2, регистрируется.
Метод уведомления: регистрируется трассировка действий, связанных с функциями.
Common Library: ведение журнала трассировки действий библиотеки opcommon.
Все: регистрируется все указанные выше трассировки действий.
Файл журнала расширенной трассировки определен в свойстве DetailedTracingFile.
Свойство DetailedTracingFile должно быть задано, если этот параметр не выключен.
Это свойство находится в Расширенном редакторе.
DetailedTracingFile Строка Путь к файлу журнала, который создается автоматически, когда для параметра DetailedTracingLevel не установлено значение Off. Это свойство находится в Расширенном редакторе.
DiscardLargeRow Логический Значение по умолчанию — False. Отбросить большие строки (больше 64 КБ), если значение равно true
ErrorTableName Строка Имя таблицы ошибок. По умолчанию — это имя таблицы назначения
ExtendedStringColumnsAllocation Логический Максимальный коэффициент распределения символов используется, если значение равно true.
Это значение должно быть равно true, если для свойства базы данных Teradata Export Width Table ID задано значение Maximal Defaults.
Значение по умолчанию — False.
FastLoad Логический Быстрая загрузка используется, если значение равно true. Значение по умолчанию равно false. Это свойство можно также задать в редакторе назначения Teradata (страница "Диспетчер подключений").
MaxErrors Целое Максимальное число ошибок, после превышения которого останавливается поток данных. По умолчанию задано значение 0, что означает отсутствие ограничения на число ошибок.
Используется, если на странице Обработка ошибок выбрано Перенаправить поток. До достижения предельного числа ошибок в вывод ошибок возвращаются все ошибки. Дополнительные сведения см. в разделе Редактор назначения Teradata (страница "Вывод ошибок").
MaxSessions Целое Максимальное количество сеансов, в которых выполнен вход в систему. Это значение должно быть больше единицы. Значение по умолчанию — один сеанс для каждого доступного AMP.
MinSessions Целое Минимальное количество сеансов, в которых выполнен вход в систему. Это значение должно быть больше единицы. Значение по умолчанию — один сеанс для каждого доступного AMP.
Упаковка Целое Число инструкций для упаковки в запрос с несколькими инструкциями. Значение по умолчанию — 20, максимально допустимое — 2400. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
PackMaximum Логический Динамически определяет максимальный коэффициент упаковки для текущего задания потока, если значение равно True. Применимо только для TPT Stream. Это свойство находится в Расширенном редакторе.
QueryBandSessInfo Varchar Определяемое пользователем выражение диапазона запроса для обратного мониторинга и контроля. Это свойство должно быть в формате строки подключения. Это свойство находится в Расширенном редакторе.
ReplicationOveride Integer (перечисление) Параметры:
По умолчанию: инструкция SET SESSION OVERRIDE REPLICATION не отправляется в базу данных. Используются параметры базы данных по умолчанию.
В: обычные элементы управления службой репликации переопределяются.
Отключен: используются обычные элементы управления службой репликации.
Это свойство применимо только для режима TPT Stream.
Это свойство находится в Расширенном редакторе.
Robust Логический Для операций восстановления и перезапуска используется устойчивая логика перезапуска, если значение равно true. Это свойство применимо только для режима TPT Stream. Это свойство находится в Расширенном редакторе.
TableName Строка Имя таблицы с используемыми данными.
TenacityHours Целое Количество часов, в течение которых драйвер TPT пытается войти в систему, если уже выполняется максимальное количество операций загрузки и экспорта. По умолчанию — 4 часа. Это свойство находится в Расширенном редакторе
TenacitySleep Целое Количество минут, на которое драйвер TPT приостанавливается перед попыткой входа в систему при достижении предела. Ограничение определяется свойствами MaxSessions и TenacityHours. Значение по умолчанию — 6 минут. Это свойство находится в Расширенном редакторе
UnicodePassThrough Логический Отключить (по умолчанию): отключить сквозную передачу Юникода.
В: включите сквозную передачу Юникода.

Настройка назначения Teradata

Назначение Teradata можно настраивать программными средствами или с помощью конструктора служб SSIS.

На рисунке ниже показан редактор назначения Teradata. Он содержит такие страницы: "Диспетчер подключений", "Сопоставления" и "Вывод ошибок".

Дополнительные сведения см. в одном из следующих разделов:

редактор назначения

Диалоговое окно Расширенный редактор содержит свойства, которые можно задавать программным путем. Открытие диалогового окна Расширенный редактор .

  • На экране Поток данных проекта служб Integration Services щелкните правой кнопкой мыши назначение Teradata и выберите "Показать Расширенный редактор".

Дополнительные сведения о свойствах, которые вы можете задать в диалоговом окне "Расширенный редактор", см. в разделе Пользовательские свойства назначения Teradata.

Редактор назначения Teradata (страница "Диспетчер подключений")

Страница Диспетчер подключений диалогового окна Редактор назначения Teradata используется для выбора диспетчера подключений Teradata для назначения. На этой странице также можно выбрать таблицу или представление базы данных.

Открытие страницы "Диспетчер подключений" редактора назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке "Поток данных" дважды щелкните назначение Teradata.

  • В окне "Редактор назначения Teradata" щелкните "Диспетчер подключений".

Параметры

Connection manager

Выберите в списке существующий диспетчер подключений или нажмите кнопку Создать, чтобы создать диспетчер подключений Teradata.

Новый

Нажмите кнопку Создать. Откроется диалоговое окно Редактор диспетчера подключений Teradata, где можно создать диспетчер подключений.

Режим доступа к данным

Выберите метод выбора данных из источника. Доступные параметры показаны в следующей таблице.

Вариант Описание
Table Name — TPT Stream Добавочный режим с помощью оператора TPT Stream.
Имя таблицы или vie: выберите существующую таблицу или представление из списка. В этом списке показаны только первые 1000 таблиц. Можно ввести префикс имени таблицы или использовать любую часть имени с подстановочным знаком (*), чтобы получить список нужных таблиц.
Table Name — TPL Load Режим быстрой (прямой) загрузки с помощью оператора TPT API Load (протокол Teradata FastLoad), в котором таблица назначения должна быть пустой.
Имя таблицы или представления: выберите существующую таблицу или представление из списка. В этом списке показаны только первые 1000 таблиц. Можно ввести префикс имени таблицы или использовать любую часть имени с подстановочным знаком (*), чтобы получить список нужных таблиц.

Шифрование данных. Флажок для включения шифрования данных. Значение по умолчанию не выбрано.

Всегда удалять таблицу ошибок. Флажок для удаления таблиц ошибок во всех экземплярах.

Таблица ошибок. Имя таблицы, в которую записываются ошибки.

Минимальное число сеансов. Минимальное число сеансов, в которых выполнен вход в систему. Значение по умолчанию — один сеанс для каждого доступного AMP. Это значение должно быть больше единицы.

Максимальное число сеансов. Максимальное число сеансов, в которых выполнен вход в систему. Значение по умолчанию — один сеанс для каждого доступного AMP. Это значение должно быть больше единицы.

Максимальное количество ошибок. Максимальное количество ошибок, которое может быть возвращено до остановки или перенаправления потока данных.

Редактор назначения Teradata (страница "Сопоставления")

Страница Сопоставления диалогового окна Редактор назначения Teradata используется для сопоставления входных столбцов с целевыми.

Открытие страницы "Сопоставления" редактора назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке "Поток данных" дважды щелкните назначение Teradata.

  • В редакторе назначений Teradata щелкните "Сопоставления".

Параметры

Доступные входные столбцы

Список доступных входных столбцов. Перетащите входной столбец в доступный целевой столбец, чтобы сопоставить эти столбцы.

Доступные целевые столбцы

Список доступных целевых столбцов. Перетащите целевой столбец в доступный входной столбец, чтобы сопоставить эти столбцы.

Входной столбец

Позволяет просматривать выбранные входные столбцы. Сопоставления можно удалить, выбрав вариант <игнорировать>, чтобы исключить столбцы из выходных данных.

Целевой столбец

Просмотрите все доступные целевые столбцы, сопоставленные и несопоставленные.

Примечание.

Столбцы неподдерживаемых типов данных будут удалены из сопоставления с предупреждением.

Редактор назначения Teradata (страница "Вывод ошибок")

Страница "Вывод ошибок" диалогового окна "Редактор назначения Teradata" используется для выбора параметров обработки ошибок.

Открытие страницы "Вывод ошибок" редактора назначения Teradata

  • В SQL Server Data Tools откройте пакет SQL Server Integration Services (SSIS) с назначением Teradata.

  • На вкладке "Поток данных" дважды щелкните назначение Teradata.

  • В редакторе назначений Teradata щелкните "Вывод ошибок".

Параметры

Действия при ошибке

Выберите порядок обработки ошибок в потоке назначением Teradata: пропустить ошибку, перенаправить строку или вызвать сбой компонента.

Связанные разделы: передача ошибок в данных

Усечение

Выберите порядок обработки усечений в потоке назначением Teradata: пропустить ошибку, перенаправить строку или вызвать сбой компонента.

Следующие шаги