Share via

Новые возможности в системе платформы Аналитики— масштабируемое хранилище данных MPP

  • Статья

Узнайте, что нового в последних обновлениях устройств для системы платформы Microsoft Analytics (APS). APS — это локальное устройство, в котором размещено хранилище параллельных данных MPP SQL Server.

APS CU7.8

Дата выпуска — ноябрь 2021 г.

SCVMM2016

Программное обеспечение APS CU 7.8 добавляет поддержку автономной установки SCVMM2016.

Исправленная VMM с последней версией SQL.

Выпуск также включает дополнительные обновления системы безопасности и исправления ошибок.

APS CU7.7

Дата выпуска — ноябрь 2020 г.

SCVMM2016

Программное обеспечение APS CU7.7 обновляет виртуальную машину VMM до Windows Server 2016 и устанавливает SCVMM2016. SCVMM 2012 R2, который в настоящее время используется, имеет дату окончания срока жизни 2022 года. Для поддержки более новой версии SCVMM необходимо сделать накопительный пакет обновления CU7.7 обязательным обновлением. Клиентам рекомендуется как можно скорее обновить накопительный пакет обновления до CU7.7.

Целевой адаптер служб SSIS для SQL Server 2019 в качестве целевого объекта

Новый целевой адаптер APS SSIS, поддерживающий SQL Server 2019 в качестве целевого объекта развертывания, можно скачать с сайта скачивания.

APS CU7.6

Дата выпуска — апрель 2020 г.

Переименование столбца

После обновления до CU7.6 клиенты смогут переименовать столбец созданной пользователем таблицы. Дополнительные сведения см. в разделе RENAME (Transact-SQL) для синтаксиса, примеров, ограничений и дополнительных сведений.

Изменение представления

Теперь клиенты смогут изменять представления. Дополнительные сведения см. в разделе ALTER VIEW (Transact-SQL ).

APS CU7.5

Дата выпуска — сентябрь 2019 г.

Изменение внешнего источника данных

Клиенты смогут изменить определение внешнего источника данных с обновлением CU7.5. Клиенты с узлом имени Hadoop с высоким уровнем доступности теперь могут изменить источник данных, чтобы изменить аргументы при отработки отказа. Для APS можно изменить только расположение, RESOURCE_MANAGER_LOCATION и CREDENTIAL. Дополнительные сведения см. в разделе "Изменение внешнего источника данных".

Поддержка CDH 5.15 и 5.16 с PolyBase

PolyBase в APS с обновлением CU7.5 теперь поддерживает CDH 5.15 и 5.16 дистрибутива Hadoop из Cloudera. Используйте вариант 6 для версий CDH 5.x.

поддержка Try_Convert и Try_Cast

CU7.5 APS теперь поддерживает функции TRY_CAST и TRY_CONVERT tsql. Обе эти функции возвращают значение, преобразованное в указанный тип данных, если преобразование выполнено успешно; в противном случае возвращает значение NULL.

APS CU7.4

Дата выпуска — май 2019 г.

Загрузка больших строк с помощью dwloader

Начиная с APS CU7.4 клиенты смогут использовать новый dwloader для загрузки строк в таблицы размером более 32 КБ (32 768 байт). Новый dwloader поддерживает коммутатор -l, который принимает целочисленное значение от 32768 до 33554432 (в байтах) для загрузки строк размером более 32 КБ. Этот параметр используется только при загрузке больших строк (больше 32 КБ), так как этот коммутатор выделяет больше памяти на клиенте и сервере и может замедлить нагрузку. Вы можете скачать новый dwloader с сайта загрузки.

Поддержка HDP 3.0 и 3.1 с PolyBase

PolyBase в APS теперь поддерживает HDP 3.0 и 3.1 с этим обновлением. Используйте вариант 7 для версий HDP 3.x. Дополнительные сведения см. на странице подключения PolyBase.

Поддержка файлов UTF16 с PolyBase

PolyBase теперь поддерживает чтение текстовых файлов с разделителями, которые находятся в кодировке UTF16 (LE). Сведения о настройке см . в разделе "Создание внешнего формата файла".

APS CU7.3

Дата выпуска — декабрь 2018 г.

Исключение общих частей выражений

APS CU7.3 повышает производительность запросов с общей ликвидацией вложенных выражений в оптимизаторе запросов SQL. Улучшение улучшает запросы двумя способами. Первое преимущество — это возможность выявления и устранения таких выражений, помогающих сократить время компиляции SQL. Второе и более важное преимущество заключается в том, что операции перемещения данных для этих избыточных вложенных выражений устраняются таким образом, что время выполнения запросов становится быстрее. Подробное описание этой функции можно найти здесь.

Соединитель APS Informatica для Informatica 10.2.0 опубликован

Мы выпустили новую версию соединителей Informatica для APS, которая работает с Informatica версии 10.2.0 и 10.2.0 Исправление 1. Новые соединители можно скачать с сайта скачивания.

Заметка

Соединитель APS Informatica для Informatica 10.2.0 или 10.2.0 Исправление 1 не работает в строгом протоколе TLS1.2 и требует, чтобы протокол TLS1.0 и 1.1 был полностью функциональным.

Поддерживаемые версии

Версия APS Informatica PowerCenter Драйвер
APS 2016 9.6.1 Sql Server Native Client 11.x
APS 2016 и более поздних версий 10.2.0, исправление 10.2.0 Sql Server Native Client 11.x

APS CU7.2

Дата выпуска — октябрь 2018 г.

Поддержка TLS 1.2

APS CU7.2 поддерживает TLS 1.2. Теперь клиентский компьютер с APS и APS внутри узла можно настроить для обмена данными только по протоколу TLS1.2. Такие средства, как SSDT, SSIS и Dwloader, установленные на клиентских компьютерах, которые настроены для обмена данными только через TLS 1.2, теперь могут подключаться к APS с помощью TLS 1.2. По умолчанию APS поддерживает все версии TLS (1.0, 1.1 и 1.2) для обеспечения обратной совместимости. Если вы хотите задать для устройства APS строгое использование TLS 1.2, это можно сделать, изменив параметры реестра.

Дополнительные сведения см . в статье о настройке TLS1.2 в APS.

Поддержка зоны шифрования Hadoop для PolyBase

PolyBase теперь может взаимодействовать с зонами шифрования Hadoop. См. изменения конфигурации APS, необходимые для настройки безопасности Hadoop.

Параметры insert-Select maxdop

Мы добавили переключатель функций, позволяющий выбрать параметры maxdop больше 1 для операций вставки. Теперь можно задать для параметра maxdop значение 0, 1, 2 или 4. Значение по умолчанию — 1.

Внимание

Увеличение maxdop иногда может привести к более медленным операциям или ошибкам взаимоблокировки. Если это происходит, измените параметр обратно на maxdop 1 и повторите операцию.

Динамическое административное представление о работоспособности индекса ColumnStore

Сведения о работоспособности индекса columnstore можно просмотреть с помощью dm_pdw_nodes_db_column_store_row_group_physical_stats dmv. Используйте следующее представление, чтобы определить фрагментацию и решить, когда необходимо перестроить или реорганизовать индекс columnstore.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Увеличение диапазона дат PolyBase для файлов ORC и Parquet

Чтение, импорт и экспорт типов данных дат с помощью PolyBase теперь поддерживает даты до 1970-01-01 и после 2038-01-20 для типов файлов ORC и Parquet.

Целевой адаптер служб SSIS для SQL Server 2017 в качестве целевого объекта

Новый целевой адаптер APS SSIS, поддерживающий SQL Server 2017 в качестве целевого объекта развертывания, можно скачать с сайта скачивания.

APS CU7.1

Дата выпуска — июль 2018 г.

Команды DBCC не используют слоты параллелизма (изменение поведения)

APS поддерживает подмножество команд T-SQL DBCC, таких как DBCC DROPCLEANBUFFERS. Раньше эти команды потребляли слот выдачи, уменьшая количество пользовательских нагрузок и запросов, которые можно было выполнить. Теперь DBCC команды выполняются в локальной очереди, которая не использует слот параллелизма пользователя, повышая общую производительность выполнения запросов.

Заменяет некоторые вызовы метаданных объектами каталога

Использование объектов каталога для вызовов метаданных вместо использования SMO показало улучшение производительности APS. Начиная с CU7.1 некоторые из этих вызовов метаданных теперь используют объекты каталога по умолчанию. Это поведение можно отключить с помощью переключателя функций, если клиенты, использующие запросы метаданных, выполняются в любых проблемах.

Исправленные ошибки

Мы обновили до SQL Server 2016 с пакетом обновления 2 (SP2) с пакетом обновления 2 (SP2) с APS CU7.1. Обновление устраняет некоторые проблемы, описанные ниже.

Обращение Description
Потенциальная взаимоблокировка перемещения кортежей Обновление устраняет давнюю возможность взаимоблокировки в распределенной транзакции и фоновом потоке перемещения кортежей. После установки CU7.1 клиенты, которые использовали TF634 для остановки перемещения кортежей в качестве параметра запуска SQL Server или глобального флага трассировки, могут безопасно удалить его.
Сбой определенного запроса на задержку или потенциальный запрос Некоторые запросы к таблицам CCI с вложенными функциями задержки или свинца, которые теперь будут исправлены при этом обновлении.

APS AU7

Дата выпуска — май 2018 г.

APS 2016 является необходимым условием для обновления до AU7. Ниже приведены новые возможности APS AU7:

Статистика автоматического создания и автоматического обновления

APS AU7 автоматически создает и обновляет статистику по умолчанию. Чтобы обновить параметры статистики, администраторы могут использовать новый пункт меню переключателя функций в Configuration Manager. Переключатель функций управляет автоматическим созданием, автоматическим обновлением и асинхронным поведением обновления статистики. Вы также можете обновить параметры статистики с помощью инструкции ALTER DATABASE (Parallel Data Warehouse).

T-SQL

Теперь поддерживается выбор @var . Дополнительные сведения см. в разделе "Выбор локальной переменной"

Теперь поддерживаются указания HASH и ORDER GROUP. Дополнительные сведения см. в разделе "Подсказки(Transact-SQL) — запрос

Переключатель компонентов

APS AU7 представляет переключатель компонентов в Configuration Manager. AutoStatsEnabled и DmsProcessStopMessageTimeoutInSecond теперь настраиваются параметры, которые можно изменить администраторами.

Известные проблемы

С помощью программного обеспечения APS AU7 предоставляется обновление Intel BIOS, которое устраняет проблему, описанную как спекулятивные атаки на стороне канала. Атаки стремятся использовать уязвимости Spectre и Meltdown. Хотя пакет упакованы вместе с APS, обновление BIOS устанавливается вручную, а не в рамках установки программного обеспечения APS AU7.

Корпорация Майкрософт советует всем клиентам установить обновленный BIOS. Корпорация Майкрософт измеряла влияние тени виртуальных адресов ядра (KVAS), непрямого обращения к таблице страниц ядра (KPTI) и устранения рисков прогнозирования косвенной ветви (IBP) на различных рабочих нагрузках SQL в различных средах. Измерения обнаружили значительное снижение на некоторых рабочих нагрузках. На основе результатов рекомендация заключается в том, что вы проверяете влияние на производительность включения обновления BIOS перед их развертыванием в рабочей среде. Ознакомьтесь с руководством по SQL Server.

APS 2016

В этом разделе описаны новые возможности APS 2016-AU6.

SQL Server 2016

APS AU6 выполняется в последнем выпуске SQL Server 2016 и использует уровень совместимости базы данных по умолчанию 130. SQL Server 2016 обеспечивает поддержку новых функций, таких как:

  • Вторичные индексы для кластеризованных индексов columnstore.
  • Kerberos для PolyBase.

T-SQL

APS AU6 поддерживает эти улучшения совместимости T-SQL. Эти дополнительные языковые элементы упрощают миграцию из SQL Server и других источников данных.

Типы данных

Функции окна

Функции безопасности

Дополнительные функции

Усовершенствования PolyBase/Hadoop

  • Совместимость с Hortonworks HDP 2.4 и HDP 2.5
  • Поддержка Kerberos с помощью учетных данных с заданной областью базы данных
  • Поддержка учетных данных с большими двоичными объектами службы хранилища Azure

Усовершенствования установки и обновления

Обновления корпоративной архитектуры, обновляющие существующее устройство до APS AU6, устанавливают последние обновления встроенного ПО и драйверов, которые включают исправления безопасности.

Новое устройство от HPE или DELL включает все последние обновления плюс:

  • Поддержка процессоров последнего поколения (Broadwell)
  • Обновление до МОДУЛЕЙ DIMM DDR4
  • Улучшенная пропускная способность DIMM

Интеграция

  • Поддержка полного доменного имени (FQDN) позволяет настроить доверие домена к устройству.
  • Чтобы использовать полное доменное имя, необходимо выполнить полное обновление и принять участие во время обновления.

Сокращение простоя установка или обновление до APS AU6 ускоряется и требует меньше времени простоя, чем предыдущие выпуски. Чтобы сократить время простоя, установка или обновление:

  • Упрощение применения обновлений WSUS с помощью образа, содержащего все обновления до июня 2016 г.
  • Применение обновлений системы безопасности с обновлениями драйвера и встроенного ПО
  • Помещает последние исправления и служебную программу проверки устройства (PAV), чтобы они были готовы к установке без необходимости скачать их.