Ограничения соединителя Ingest Zerobus

На этой странице перечислены ограничения при использовании соединителя Ingest Zerobus в Lakeflow Connect.

Availability

Соединитель Ingest Zerobus доступен только в некоторых регионах. Список поддерживаемых регионов см. в разделе "Доступность инжестации.

Все доступные регионы обеспечивают доступность многозональных услуг, за исключением westus и northcentralus, которые обеспечивают доступность для одной зоны доступности.

Latency

Задержка отражает как подтверждение надежности, так и время создания записей в целевой таблице Delta. Фактическое время зависит от характеристик выравнивания региона и рабочей нагрузки.

• Время до достижения долговечности
  • P95 ≤ 500 мс
  • P50 ≤ 200 мс
• Время на таблицу
  • P95 ≤ 30 с
  • P50 ≤ 5 с

Ограничения пропускной способности

• 100 МБ/секунду на поток (показано на тестах с сообщениями размером 1 КБ)
• 10 ГБ в секунду на целевую таблицу
• 15 000 записей в секунду на поток

Чтобы обеспечить максимальную пропускную способность, клиентское приложение и конечная точка должны находиться в одном географическом регионе. Если вам нужна более высокая пропускная способность, обратитесь к представителю учетной записи Databricks.

Гарантии доставки

Коннектор Zerobus Ingest предоставляет только гарантии доставки по крайней мере один раз.

Quotas

Ниже приведены квоты по умолчанию для Соединителя Приема Zerobus. Если вам нужна более высокая производительность, обратитесь к представителю учетной записи Databricks.

gRPC

• Пропускная способность 100 МБ в секунду на поток
• Пропускная способность 10 Гбит/с на каждую целевую таблицу

REST

• 10 000 запросов в секунду

Секционированные таблицы

При записи в секционированные таблицы соединитель Ingest Zerobus не поддерживает запись в более чем 1000 секций в течение 5 секунд.

Коммиты каталога

Zerobus Ingest не поддерживает коммиты каталога. Не используйте Zerobus Ingest для таблиц Delta с включенными коммитами каталога.

Рабочая область и целевая таблица

Для приема необходимы следующие условия рабочей области и целевой таблицы.

• Соединитель поддерживает запись только в управляемые таблицы Delta. Запись в хранилище по умолчанию не поддерживается.
• Соединитель не поддерживает запись в хранилище, защищенное через частную конечную точку.
• Соединитель не поддерживает повторное создание целевой таблицы.
• Соединитель поддерживает только имена таблиц с буквами ASCII, цифрами и подчеркиваниями.
• Рабочая область и целевая таблица должны находиться в одном из доступных регионов и в одном регионе.

Кластеризованные таблицы с жидкостью

Это важно

Запись в жидкие кластеризованные таблицы с помощью соединителя Zerobus Ingest находится в бета-версии.

При использовании соединителя Ingest Zerobus с кластеризованными таблицами рекомендуется оставлять прогнозную оптимизацию включенной для целевой таблицы. Соединитель записывает данные в таблицу, но оптимальная кластеризация данных применяется асинхронно службой прогнозной оптимизации. Отключение прогнозной оптимизации может привести к неоптимальной производительности запросов на загруженных данных.

Рабочие области профиля безопасности соответствия требованиям

Коннектор Zerobus Ingest не поддерживается для рабочих областей профиля соответствия требованиям безопасности (например, FedRAMP, HIPAA и PCI-DSS). Не используйте соединитель Zerobus Ingest для рабочих нагрузок, требующих гарантий соответствия. Список поддерживаемых стандартов и программ соответствия требованиям см. в профиле безопасности соответствия требованиям.

Развитие схемы

Система Zerobus Ingest никогда не будет автоматически изменять вашу целевую таблицу.

Zerobus Ingest поддерживает непрерывную ингестацию при добавлении столбцов Delta, допускающих значение NULL, в целевую таблицу. Отсутствующие столбцы заполнены значениями NULL , что позволяет отправлять записи с отсутствующими полями.

Схема Protobuf

Определение схемы protobuf должно соответствовать 1:1 со схемой таблицы Delta (за исключением дополнительных столбцов с возможностью NULL, которые считаются несущественным изменением схемы). Если схема не соответствует, API возвращает ошибку. Сюда входит следующее:

• Другое количество столбцов

• Разные имена столбцов

• Необязательный столбец (допускающий значение NULL и не допускающий значения NULL)

• Соединитель не поддерживает схемы proto с более чем 2000 столбцами.

• Соединитель поддерживает только имена таблиц и столбцов с буквами, цифрами и подчеркиваниями ASCII.

• Соединитель не поддерживает использование другой схемы proto для операций создания потока и приема записей.

Размер записи

Каждое сообщение ограничено 10 МБ. Максимальный размер записи составляет 10 485 760 байт. Заголовки, необходимые для обмена данными, занимают 19 байт.

Поддержка типов

В следующей таблице показаны поддерживаемые типы Delta и соответствующие типы Protobuf для приема.

Дельта-типы	Типы Protobuf
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Должно быть преобразовано в int32 (число дней с эпохи).	int32
TIMESTAMP Следует преобразовать int64 в (эпохальное время в микросекундах).	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> map Синтаксический сахар Protobuf доступен только для компиляторов Protobuf версии 3 и выше.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Вариант должна быть предоставлена в виде строки в формате JSON с ключами типа STRING. Соединитель записывает данные в столбец без дробления. Поддерживаемые форматы включают: Объектов: "{\"id\":0,\"example\":\"this is variant example\"}" Примитивы: "5", "3.14", "\"string\"" Массивы: "[1,2,3]"	string