Новые возможности архива Azure Synapse Analytics

  • Статья

В этой статье описаны обновления для Azure Synapse Analytics за предыдущий месяц. Чтобы узнать о выпуске за последний месяц, ознакомьтесь с последними обновлениями Azure Synapse Analytics. Каждое обновление содержит ссылки на блог по Azure Synapse Analytics и статью с дополнительными сведениями.

Общедоступные функции

В следующей таблице перечислены прошлые журналы функций Azure Synapse Analytics, которые перешли с предварительной версии на общедоступную версию (GA).

Month Компонент Подробнее
Июль 2022 Apache Spark™ 3.2 для Synapse Analytics Apache Spark™ 3.2 для Synapse Analytics теперь общедоступен. Ознакомьтесь с официальными заметками о выпуске и руководством по миграции с Spark 3.1 на 3.2, чтобы оценить потенциальные изменения в приложениях. Дополнительные сведения см. в статье Поддержка версий среды выполнения Apache Spark и Azure Synapse для Apache Spark 3.2. Основные сведения о том, что улучшилось в Spark 3.2, в обновлении Azure Synapse Analytics за июль 2022 г.
Июль 2022 Функция интеллектуального кэша Apache Spark в Azure Synapse Интеллектуальный кэш для Spark автоматически сохраняет каждую операцию чтения в специальном хранилище кэша, выявляя изменения в базовом файле и обновляя файлы для предоставления самых актуальных данных. Дополнительные сведения см. в разделе Включение и отключение кэша для пула Apache Spark.
Июнь 2022 г. Средство сопоставления данных Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления исходных данных с Synapse без написания кода. Дополнительные сведения о средстве сопоставления данных см. в разделе Сопоставление данных в Azure Synapse Analytics.
Июнь 2022 г. Определяемые пользователем функции Определяемые пользователем функции (UDF) теперь предоставляются в общедоступной версии. См. Определяемые пользователем функции в потоках данных для сопоставления.
Май 2022 г. Соединитель Azure Synapse Data Explorer для Power Automate, Logic Apps и Power Apps Соединитель Azure Data Explorer для Power Automate позволяет управлять потоками и планировать их, отправлять уведомления и оповещения в рамках запланированной или активированной задачи. Дополнительные сведения см. в статьях Соединитель Azure Data Explorer для Microsoft Power Automate и Примеры использования соединителя Azure Data Explorer для Power Automate.
Апрель 2022 г. Восстановление между подписками для Azure Synapse SQL После обновления модуля Az.Sql PowerShell 3.8 командлет Restore-AzSqlDatabase можно использовать для восстановления выделенных пулов SQL в различные подписки. Дополнительные сведения см. в записи блога Восстановление выделенного пула SQL (прежнее название — хранилище данных SQL) в другую подписку. Эта функция теперь является общедоступной для выделенных пулов SQL (прежнее название — хранилище данных SQL) и выделенных пулов SQL в рабочей области Synapse. Какая разница?
Апрель 2022 г. Конструктор баз данных Конструктор баз данных позволяет пользователям визуально создавать базы данных в Synapse Studio без написания кода. Дополнительные сведения см. в разделе Объявление об общедоступной версии конструктора баз данных. Прочтите больше о базах данных озера и узнайте, как изменить существующую базу данных озера с помощью конструктора баз данных.
Апрель 2022 г. Шаблоны баз данных Новые отраслевые шаблоны баз данных представлены в записи блога об общей доступности шаблонов баз данных Synapse. Узнайте больше о шаблонах баз данных и улучшенных возможностях исследования.
Апрель 2022 г. Роль RBAC оператора мониторинга Synapse Роль RBAC оператора мониторинга Synapse позволяет пользователю отслеживать выполнение приложений Synapse Pipelines и Spark даже при отсутствии возможности запускать или отменять выполнение этих приложений. Дополнительные сведения см. в разделе о ролях RBAC в Synapse.
Март 2022 г. Потоки Flowlet помогают разрабатывать части логики нового потока данных или извлекать части существующего потока данных и сохранять их как отдельный артефакт в рабочей области Synapse. Затем эти Flowlet можно повторно использовать внутри других потоков данных. Чтобы узнать больше, просмотрите запись блога с объявлением общей доступности Flowlet и прочитайте статью Flowlet в потоке данных для сопоставления.
Март 2022 г. Соединители канала изменений Измененные преобразования потока данных потока данных для Azure Cosmos DB, Хранилище BLOB-объектов Azure, ADLS 1-го поколения, ADLS 2-го поколения и common Data Model (CDM) теперь общедоступны. Просто установите флажок, чтобы указать ADF, что нужно автоматически управлять контрольной точкой и читать только последние строки, которые были обновлены или вставлены с момента последнего запуска конвейера. Дополнительные сведения см. в записи блога об общедоступной версии соединителей канала изменений и разделе Копирование и преобразование данных в Azure Data Lake Storage 2-го поколения с помощью Фабрики данных Azure или Azure Synapse Analytics.
Март 2022 г. Шифрование на уровне столбца для выделенных пулов SQL Шифрование на уровне столбцов теперь доступно для использования на новых и существующих логических серверах SQL Azure с выделенными пулами SQL Azure Synapse и выделенными пулами SQL в рабочих областях Azure Synapse. SQL Server Data Tools (SSDT) поддерживает шифрование на уровне столбцов для выделенных пулов SQL, начиная с Visual Studio 2022 сборки 17.2, предварительная версия 2.
Март 2022 г. Соединитель Common Data Model (CDM) для Spark в Synapse Средство чтения/записи формата CDM позволяет программе Spark считывать и записывать сущности CDM в папке CDM через кадры данных Spark. Дополнительные сведения см. в том , как соединитель CDM поддерживает чтение, запись данных, примеры и известные проблемы.
Ноябрь 2021 г. PREDICT Синтаксис T-SQL PREDICT теперь доступен для выделенных пулов SQL. Начните работу с мастером оценки моделей машинного обучения для выделенных пулов SQL.
2021 октября Роли RBAC в Synapse Роли управления доступом на основе ролей (RBAC) в Synapse теперь общедоступны. Дополнительные сведения о ролях RBAC в Synapse и управлении доступом на основе ролей в Azure Synapse с помощью PowerShell.

Сообщество

Этот раздел является архивом возможностей сообщества Azure Synapse Analytics и программы Azure Synapse Influencer от Майкрософт.

Month Компонент Подробнее
Май 2022 г. Программа Влияния Azure Synapse Зарегистрируйтесь в нашей бесплатной программе Azure Synapse Influencer и подключитесь к сообществу пользователей Synapse-users, которые призваны помочь другим пользователям достичь большего количества возможностей облачной аналитики. Зарегистрируйтесь сейчас для нашего следующего Synapse Influencer спросите сессии экспертов. Это бесплатно, и любой желающий может поучаствовать в обсуждении тем, связанных с Synapse. Вы можете посмотреть запись прошлых событий "Спроси эксперта" на канале Azure Synapse на YouTube.
Март 2022 г. Серия видео об Azure Synapse Analytics и Microsoft MVP на YouTube Совместная работа группы разработчиков Azure Synapse и сообщества Microsoft MVP — новая серия видео на YouTube о функциях Azure Synapse. Узнайте больше на канале Azure Synapse Analytics на YouTube.

Apache Spark для Azure Synapse Analytics

В этом разделе представлен архив функций и возможностей Apache Spark для Azure Synapse Analytics.

Month Компонент Подробнее
Май 2022 г. Соединитель выделенного пула SQL в Azure Synapse для Apache Spark теперь доступен Python Ранее Соединитель выделенного пула SQL в Azure Synapse для Apache Spark был доступен только при использовании Scala. Теперь соединитель выделенного пула SQL для Apache Spark можно использовать с Python в Spark 3.
Май 2022 г. Управление конфигурацией Apache Spark Azure Synapse С помощью новой функции конфигурации Apache Spark можно создать изолированный артефакт конфигурации Spark с автоматическими предложениями и встроенными правилами проверки. Артефакт конфигурации Spark позволяет совместно использовать конфигурацию Spark в рабочих областях Azure Synapse и между ними. Кроме того, вы можете без труда связать конфигурацию Spark с пулом Spark, записной книжкой и определением задания Spark для повторного использования и свести к минимуму необходимость копировать конфигурации Spark в несколько расположений.
Апрель 2022 г. Apache Spark 3.2 для Synapse Analytics Apache Spark 3.2 для Synapse Analytics с предварительной версией доступности. Ознакомьтесь с официальными заметками о выпуске Spark 3.2 и руководством по миграции с Spark 3.1 на 3.2, чтобы оценить потенциальные изменения в приложениях. Дополнительные сведения см. в статье Поддержка версий среды выполнения Apache Spark и Azure Synapse для Apache Spark 3.2.
Апрель 2022 г. Параметризация для определения задания Spark Теперь можно динамически назначать параметры на основе переменных, метаданных или указания конкретных параметров конвейера для действия определения задания Spark. Дополнительные сведения см. в разделе Преобразование данных с помощью определения задания Apache Spark.
Апрель 2022 г. Моментальный снимок записной книжки Apache Spark Вы можете получить доступ к моментальному снимку записной книжки при сбое выполнения записной книжки конвейера или при наличии длительного задания записной книжки. Дополнительные сведения см. в статье Преобразование данных путем запуска записной книжки Synapse и Общие сведения о служебных программах Microsoft Spark.
Март 2022 г. Соединитель Common Data Model (CDM) для Spark в Synapse Средство чтения/записи формата CDM позволяет программе Spark считывать и записывать сущности CDM в папке CDM через кадры данных Spark. Дополнительные сведения см. в том , как соединитель CDM поддерживает чтение, запись данных, примеры и известные проблемы.
Март 2022 г. Оптимизация производительности для соединителя выделенного пула SQL в Synapse Spark Новые улучшения соединителя выделенного пула SQL Azure Synapse для Apache Spark сокращают перемещение данных и используют COPY INTO. Тесты производительности показали по крайней мере 5-кратное улучшение по сравнению с предыдущей версией. Для использования этих улучшений пользователю не требуется никаких действий. Дополнительные сведения см. в записи блоге Соединитель выделенного пула SQL (DW) в Synapse Spark: повышение производительности.
Март 2022 г. Поддержка всех вариантов SaveMode для кадра данных Spark Соединитель выделенного пула SQL в Azure Synapse для Apache Spark теперь поддерживает все четыре варианта SaveMode кадра данных Spark: Append, Overwrite, ErrorIfExists, Ignore. Дополнительные сведения о Spark SaveMode см. в официальной документации по Apache Spark.
Март 2022 г. Функция интеллектуального кэша Apache Spark в Azure Synapse Analytics Интеллектуальный кэш для Spark автоматически сохраняет каждую операцию чтения в специальном хранилище кэша, выявляя изменения в базовом файле и обновляя файлы для предоставления самых актуальных данных. Дополнительные сведения об этой предварительной версии функции см. в разделе Включение и отключение кэша для пула Apache Spark или в этой записи блога.

Интеграция данных

Этот раздел представляет собой архив функций и возможностей интеграции данных Azure Synapse Analytics. Узнайте, как загрузить данные в Azure Synapse Analytics с помощью конвейера Фабрики данных Azure или Synapse.

Month Компонент Подробнее
Июнь 2022 г. Предварительная версия соединителя SAP CDC Новый соединитель данных для системы отслеживания измененных данных (CDC) SAP теперь доступен в предварительной версии. Дополнительные сведения см. в разделе Объявление общедоступной предварительной версии решения SAP CDC в Фабрике данных Azure и Azure Synapse Analytics и Решение SAP CDC в Фабрике данных Azure.
Июнь 2022 г. Параметр нечеткого соединения в преобразовании "Соединение" Используйте нечеткое соответствие с ползунком порогового значения сходства, который был добавлен в преобразование "Соединение" в Потоках данных для сопоставления.
Июнь 2022 г. Средство сопоставления данных, общая доступность Мы рады сообщить, что средство сопоставления данных теперь является общедоступным. Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления исходных данных с Synapse без написания кода.
Июнь 2022 г. Повторное выполнение конвейера с новыми параметрами Теперь можно изменить параметры конвейера при повторном запуске конвейера со страницы мониторинга без возвращения в редактор конвейера. См. статью Повторный запуск конвейеров и действий.
Июнь 2022 г. Определяемые пользователем функции (общая доступность) Определяемые пользователем функции (UDF) в потоках данных сопоставления теперь являются общедоступными.
Май 2022 г. Экспорт мониторинга конвейера в формате CSV В ADF появилась возможность экспорта мониторинга конвейера в CSV-файл и другие улучшения мониторинга.
Май 2022 г. Автоматическая добавочная загрузка исходных данных из PostgreSQL и MySQL Автоматическая добавочная загрузка исходных данных из PostgreSQL и MySQL в Synapse SQL и Базу данных Azure теперь доступна в ADF как собственная возможность для Synapse SQL.
Май 2022 г. Обработка ошибок преобразования утверждений Теперь в приемники добавлена возможность обработки ошибок после преобразования утверждений в потоке данных для сопоставления. Теперь вы можете выбрать, куда следует выводить неудачные строки: в выбранный приемник или в отдельный файл.
Май 2022 г. Изменение проекции потоков данных для сопоставления В потоках данных для сопоставления теперь можно обновлять имена и типы столбцов исходной проекции.
Апрель 2022 г. Соединитель Dataverse для потоков данных Synapse Dataverse теперь является соединителем источника и приемника для потоков данных Synapse. Вы можете выполнять Копирование и преобразование данных в Dynamics 365 (Microsoft Dataverse) или Dynamics CRM с помощью Фабрики данных Azure или Azure Synapse Analytics.
Апрель 2022 г. Настраиваемое время ожидания ответа веб-действия конвейеров Synapse Свойство времени ожидания ответа httpRequestTimeout позволяет определить время ожидания HTTP-запроса продолжительностью 10 минут. Веб-действия очень хорошо работают с API, которые соответствуют асинхронному шаблону "запрос-ответ" — рекомендуемому подходу для создания масштабируемых веб-API и служб.
Март 2022 г. Соединитель SFTP для потоков данных Synapse Собственный соединитель SFTP в потоках данных Synapse поддерживается для чтения и записи данных из SFTP с помощью визуального интерфейса потоков данных в Synapse. См. статью Копирование и преобразование данных на SFTP-сервере с помощью Фабрики данных Azure или Azure Synapse Analytics.
Март 2022 г. Улучшения потока данных в режиме предварительного просмотра данных Просмотрите функции, добавленные в улучшения предварительного просмотра данных и отладки в потоках данных для сопоставления.
Март 2022 г. Действие скрипта конвейера Теперь можно преобразовать данные с помощью действия скрипта, чтобы вызвать команды SQL для выполнения DDL и DML.
Декабрь 2021 г. Пользовательские секции для Synapse Link для Azure Cosmos DB Ускоряйте выполнение запросов Spark, создавая пользовательские секции на основе часто используемых в запросах полей. См. раздел Пользовательское секционирование в Azure Synapse Link для Azure Cosmos DB (предварительная версия).

Шаблоны баз данных и конструктор баз данных

Этот раздел представляет собой архив функций и возможностей шаблонов баз данных и конструктора баз данных.

Month Компонент Подробнее
Апрель 2022 г. Конструктор баз данных Конструктор баз данных позволяет пользователям визуально создавать базы данных в Synapse Studio без написания кода. Дополнительные сведения см. в разделе Объявление об общедоступной версии конструктора баз данных. Прочтите больше о базах данных озера и узнайте, как изменить существующую базу данных озера с помощью конструктора баз данных.
Апрель 2022 г. Шаблоны баз данных Новые отраслевые шаблоны баз данных представлены в записи блога об общей доступности шаблонов баз данных Synapse. Узнайте больше о шаблонах баз данных и улучшенных возможностях исследования.
Апрель 2022 г. Клонирование базы данных озера В Synapse Studio вы можете быстро клонировать базу данных с помощью меню действий, доступного в базе данных озера. Дополнительные сведения см. в статье Практическое руководство. Клонирование базы данных озера.
Апрель 2022 г. Использование подстановочных знаков для указания пользовательских иерархий папок Базы данных озера располагаются поверх данных в озере, и эти данные могут находиться во вложенных папках, которые не вписываются в аккуратные шаблоны секционирования. Теперь можно использовать подстановочные знаки для указания пользовательских иерархий папок. Дополнительные сведения см. в разделе Практическое руководство. Изменение озера данных.
2022 января Новые шаблоны баз данных Узнайте больше о новых отраслевых шаблонах для автомобилестроения, геномики, производства и фармацевтики и начните работу с шаблонами баз данных в коллекции Synapse Studio.

Режим разработчика

Этот раздел представляет собой архив улучшений качества жизни и функций для разработчиков в Azure Synapse Analytics.

Month Компонент Подробнее
Май 2022 г. Обновленный отчет анализатора Azure Synapse Сведения о новых функциях в отчете Synapse Analyzer версии 2.0.
Апрель 2022 г. Отчет анализатора Azure Synapse Отчет анализатора Azure Synapse помогает выявить распространенные проблемы, которые могут возникнуть в базе данных и привести к проблемам с производительностью.
Апрель 2022 г. Ссылка на неопубликованные записные книжки Теперь при использовании записных книжек %run можно включить "неопубликованную ссылку на записную книжку", которая позволяет создавать ссылки на неопубликованные записные книжки. Если этот параметр включен, при запуске записной книжки будет получено текущее содержимое в веб-кэше записной книжки; это означает, что другие записные книжки могут создавать ссылки на изменения в редакторе записных книжек без необходимости публикации таких изменений (режим реального времени) или их фиксации (режим Git).
Март 2022 г. Ячейки кода, за исключением отображения стандартных выходных данных Теперь в записных книжках Synapse как стандартные выходные данные, так и сообщения об исключениях отображаются при сбое инструкции кода для языков Python и Scala. Примеры см. в записных книжках Synapse: ячейки кода с исключением для отображения стандартных выходных данных.
Март 2022 г. Частичные выходные данные доступны для выполнения ячеек кода записной книжки Теперь в записных книжках Synapse вы можете увидеть все, что пишете (например, с помощью команд println), пока ячейка выполняется, не дожидаясь завершения. Примеры см. в статье Записные книжки Synapse: частичные выходные данные доступны для выполняющихся ячеек кода записной книжки.
Март 2022 г. Динамическое управление конфигурацией сеанса Spark с помощью параметров конвейера Теперь в записных книжках Synapse можно использовать параметры конвейера для настройки сеанса с помощью записной книжки %%configure magic. Примеры см. в статье Записные книжки Synapse: динамическое управление конфигурацией сеанса Spark с помощью параметров конвейера.
Март 2022 г. Повторное использование сеансов записных книжек и управление ими Теперь в записных книжках Synapse легко использовать активный сеанс удобно без необходимости запускать новый сеанс и просматривать активные сеансы в списке активных сеансов и управлять ими. Чтобы просмотреть сеансы, нажмите на три точки в записной книжке и выберите Управление сеансами. Примеры см. в статье Записные книжки Synapse: повторное использование сеансов записных книжек и управление ими.
Март 2022 г. Поддержка ведения журналов Python Записные книжки Synapse теперь фиксируют все, что записывается через модуль ведения журнала Python, в дополнение к журналам драйверов. Примеры см. в статье Записные книжки Synapse: поддержка ведения журнала Python.

Машинное обучение

Этот раздел представляет собой архив функций и улучшений моделей машинного обучения в Azure Synapse Analytics.

Month Компонент Подробнее
Июнь 2022 г. Обучение распределенной глубокой нейронной сети (предварительная версия) Среда выполнения Azure Synapse также включает вспомогательные библиотеки, такие как Petastorm и Horovod, которые обычно используются для распределенного обучения. Эта функция в настоящее время доступна в предварительной версии. Среды выполнения Azure Synapse Analytics для Apache Spark 3.1 и 3.2 теперь также включают поддержку самых распространенных библиотек глубокого обучения, таких как TensorFlow и PyTorch. Дополнительные сведения о том, как использовать эти библиотеки в пулах с ускорением GPU Azure Synapse Analytics, см. в руководствах по глубокому обучению.
Ноябрь 2021 г. PREDICT Синтаксис T-SQL PREDICT теперь доступен для выделенных пулов SQL. Начните работу с мастером оценки моделей машинного обучения для выделенных пулов SQL.

Примеры и рекомендации

Этот раздел является архивом рекомендаций и примером ресурсов проекта для Azure Synapse Analytics.

Month Компонент Подробнее
Июнь 2022 г. Аналитика Azure Orbital с Synapse Analytics Теперь мы предлагаем пример решения аналитики Azure Orbital, демонстрирующий комплексную реализацию извлечения, загрузки, преобразования и анализа космических данных с помощью геопространственных библиотек и моделей ИИ в Azure Synapse Analytics. В примере решения также показано, как интегрировать модели служб ИИ azure, модели искусственного интеллекта от партнеров и создавать собственные модели данных.
Июнь 2022 г. Руководства по миграции для Oracle Доступно новое руководство по миграции из Oracle в Azure Synapse Analytics, созданное Майкрософт. Проектирование и повышение производительности миграции из Oracle
Июнь 2022 г. Успешное проектирование Azure Synapse Сборник схем подтверждения концепции Azure Synapse содержит инструкции по определению области, проектированию, выполнению и подтверждению концепции рабочих нагрузок SQL или Spark.
Июнь 2022 г. Руководства по миграции для Teradata Доступно новое руководство по миграции из Teradata в Azure Synapse Analytics, созданное Майкрософт. Проектирование и производительность при миграции из Teradata.
Июнь 2022 г. Руководства по миграции для IBM Netezza Доступно новое руководство по миграции из IBM Netezza в Azure Synapse Analytics, созданное Майкрософт. Проектирование и производительность при миграции из IBM Netezza.

Безопасность

Этот раздел является архивом функций безопасности и параметров в Azure Synapse Analytics.

Month Компонент Подробнее
Апрель 2022 г. Роль RBAC оператора мониторинга Synapse Роль RBAC оператора мониторинга Synapse позволяет пользователю отслеживать выполнение приложений Synapse Pipelines и Spark даже при отсутствии возможности запускать или отменять выполнение этих приложений. Дополнительные сведения см. в разделе о ролях RBAC в Synapse.
Март 2022 г. Применение минимальной версии TLS Теперь можно увеличить или уменьшить минимальную версию TLS для выделенных пулов SQL в рабочих областях Synapse. Дополнительные сведения см. в статье Параметры подключения к SQL Azure. Управляемый API SQL рабочей области можно использовать для изменения минимальных параметров TLS.
Март 2022 г. Теперь Azure Synapse Analytics поддерживает проверку подлинности только через Azure Active Directory (Azure AD) Теперь можно использовать проверку подлинности Azure Active Directory для централизованного управления доступом ко всем ресурсам Azure Synapse, включая пулы SQL. Вы также можете отключить локальную проверку подлинности после создания рабочей области с помощью портала Azure.
Декабрь 2021 г. Управляемые удостоверения, назначаемые пользователем Теперь вы можете использовать управляемые удостоверения, назначаемые пользователем, со связанными службами для проверки подлинности в конвейерах и потоках данных Synapse. Дополнительные сведения см. в разделе Учетные данные в Фабрике данных Azure и Azure Synapse.
Декабрь 2021 г. Обзор папок ADLS 2-го поколения в рабочей области Azure Synapse Analytics Теперь вы можете просматривать и защищать контейнер или папку Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) в рабочей области Azure Synapse Analytics, подключившись к конкретному контейнеру или папке в Synapse Studio.
Декабрь 2021 г. Протокол TLS 2.1, применяемый для новых рабочих областей Synapse С декабря 2021 г. требование к TLS 1.2 реализовано только для новых рабочих областей Synapse.

Azure Synapse Data Explorer

Обозреватель данных Azure (ADX)— это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Он позволяет принимать данные из Центров событий, Центров Интернета вещей, BLOB-объектов, записанных в контейнеры BLOB-объектов, и заданий Azure Stream Analytics. Этот раздел представляет собой архив функций и возможностей azure Synapse Data Обозреватель и язык запросов Kusto (KQL). См. статью Чем отличаются Azure Data Explorer и Azure Synapse Data Explorer? (предварительная версия)

Month Компонент Подробнее
Июнь 2022 г. Новая домашняя страница Web Explorer Новая домашняя страница Azure Synapse Web Explorer упрощает начало работы с Synapse Web Explorer.
Июнь 2022 г. Коллекция примеров Web Explorer Примеры веб-Обозреватель предоставляют комплексные примеры использования Synapse Data Обозреватель популярных вариантов использования, таких как журналы, метрики, данные Интернета вещей и базовые примеры больших данных.
Июнь 2022 г. Возможности детализации на панели мониторинга Web Explorer Теперь детализации можно использовать в качестве параметров на панелях мониторинга Synapse Web Explorer.
Июнь 2022 г. Параметры часового пояса Web Explorer Параметры часового пояса Web Explorer теперь применяются как к результатам запроса, так и к панели мониторинга. После изменения часового пояса панели мониторинга будут автоматически обновлены, чтобы представить данные в выбранном часовом поясе.
Май 2022 г. Динамический запрос Synapse Data Explorer в Excel С помощью новой функции веб-интерфейса Data Explorer "Открыть в Excel" теперь можно обеспечить доступ к динамическим результатам запроса, предоставив общий доступ к подключенной книге Excel коллегам и участниками команды. Вы можете открыть динамический запрос в книге Excel и обновить его непосредственно в Excel, чтобы получить самые актуальные результаты запроса. Чтобы создать книгу Excel, подключенную к Synapse Data Explorer, начните с выполнения запроса в веб-интерфейсе.
Май 2022 г. Использование управляемых удостоверений для внешних таблиц SQL Server Благодаря поддержке управляемого удостоверения определять таблицы Synapse Data Explorer стало проще и безопаснее. Теперь вместо ввода учетных данных вы можете использовать управляемые удостоверения. Дополнительные сведения см. в статье Создание и изменение внешних таблиц SQL Server.
Май 2022 г. Соединитель Azure Synapse Data Explorer для Microsoft Power Automate, Logic Apps и Power Apps Новые соединители Azure Data Explorer для Power Automate теперь общедоступны. Чтобы узнать больше, ознакомьтесь со статьями о соединителе Azure Data Explorer для Microsoft Power Automate, приложении логики Microsoft и Azure Data Explorer и возможности создавать приложения Power Apps для запроса данных в Azure Data Explorer.
Май 2022 г. Маршрутизация динамических событий из концентратора событий в несколько баз данных Теперь мы поддерживаем маршрутизацию данных событий из Концентратора событий Azure/Центра Интернета вещей Azure/Сетки событий Azure в несколько баз данных, размещенных в одном кластере ADX. Дополнительные сведения о динамической маршрутизации см. в статье Прием данных из концентратора событий.
Май 2022 г. Настройка базы данных с помощью встроенного скрипта KQL в рамках шаблона развертывания ARM JSON Скрипт на языке запросов Kusto (KQL) для настройки базы данных теперь можно запустить с помощью встроенного скрипта, предоставленного в качестве параметра для шаблона ARM JSON.

Azure Synapse Link — это автоматизированная система для реплика обработки данных из SQL Server или База данных SQL Azure, Azure Cosmos DB или Dataverse в Azure Synapse Analytics. Этот раздел представляет собой архив новостей о функции Azure Synapse Link.

Month Компонент Подробнее
Май 2022 г. Azure Synapse Link для предварительной версии SQL Служба Azure Synapse Link для SQL доступна в режиме предварительной версии как для SQL Server 2022, так и для Базы данных Azure SQL. Функция Azure Synapse Link предоставляет возможности репликации данных из операционных хранилищ на основе SQL в Azure Synapse Analytics практически в реальном времени, при этом написание кода почти или совсем не требуется. Создание отчетов бизнес-аналитики по операционным данным практически в реальном времени с минимальным влиянием на операционное хранилище. Объявлена предварительная версия Azure Synapse Link для SQL. Дополнительные сведения см. в записи блога Подробный обзор Azure Synapse Link для SQL.

Synapse SQL

Этот раздел представляет собой архив улучшений и функций в пулах SQL в Azure Synapse Analytics.

Month Компонент Подробнее
Июнь 2022 г. Увеличение предельного размера результирующих наборов Максимальный размер результирующих наборов запросов в бессерверных пулах SQL был увеличен с 200 ГБ до 400 ГБ.
Май 2022 г. Автоматическое вычисление длины столбца символов для бессерверных пулов SQL Больше не нужно определять длину символьного столбца для бессерверных пулов SQL в озере данных. Вы можете получить оптимальную производительность запросов, не определяя схему, так как бессерверный пул SQL будет использовать автоматически вычисляемые средние значения длины столбцов и оценки кратности.
Апрель 2022 г. Восстановление между подписками для Azure Synapse SQL, общая доступность После обновления модуля Az.Sql PowerShell 3.8 командлет Restore-AzSqlDatabase можно использовать для восстановления выделенных пулов SQL в различные подписки. Дополнительные сведения см. в разделе Восстановление выделенного пула SQL в другую подписку. Эта функция теперь является общедоступной для выделенных пулов SQL (прежнее название — хранилище данных SQL) и выделенных пулов SQL в рабочей области Synapse. Какая разница?
Апрель 2022 г. Восстановление пула SQL с удаленного сервера или рабочей области С помощью командлетов восстановления PowerShell в модулях Az.Sql и Az.Synapse теперь можно восстановить данные с удаленного сервера или рабочей области без отправки запроса в службу поддержки. Дополнительные сведения см. в разделе Восстановление выделенного пула SQL из удаленной рабочей области Azure Synapse или Восстановление автономных выделенных пулов SQL (прежнее название — хранилище данных SQL) с удаленного сервера в зависимости от вашего сценария.
Март 2022 г. Шифрование на уровне столбца для выделенных пулов SQL Шифрование на уровне столбцов теперь доступно для использования на новых и существующих логических серверах SQL Azure с выделенными пулами SQL Azure Synapse и выделенными пулами SQL в рабочих областях Azure Synapse. SQL Server Data Tools (SSDT) поддерживает шифрование на уровне столбцов для выделенных пулов SQL, начиная с Visual Studio 2022 сборки 17.2, предварительная версия 2.
Март 2022 г. Параллельное выполнение для CETAS Планы параллельного выполнения позволяют повысить производительность для инструкций CREATE TABLE AS SELECT (CETAS) и последующих инструкций SELECT. Примеры см. в разделе Улучшенная производительность для CETAS и последующих инструкций SELECT.

Предыдущие ежемесячные обновления в Azure Synapse Analytics

Ниже приведен предыдущий формат ежемесячных обновлений новостей для Synapse Analytics.

Обновление от июня 2022 г.

Общие

  • Аналитика Azure Orbital с Synapse Analytics. Теперь мы предлагаем пример решения аналитики Azure Orbital, демонстрирующий комплексную реализацию извлечения, загрузки, преобразования и анализа космических данных с помощью геопространственных библиотек и моделей ИИ в Azure Synapse Analytics. В примере решения также показано, как интегрировать модели служб ИИ azure, модели искусственного интеллекта от партнеров и создавать собственные модели данных.

  • Успешное проектирование Azure Synapse — успех проекта не является случайностью, это результат тщательного планирования и реализации проекта. Сборники схем Synapse Analytics' Success by Design теперь доступны. Сборник схем подтверждения концепции Azure Synapse содержит инструкции по определению области, проектированию, выполнению и подтверждению концепции рабочих нагрузок SQL или Spark. Эти руководства содержат рекомендации, взятые из реализаций самых сложных решений, включающих Azure Synapse. Дополнительные сведения о сборнике схем подтверждения концепции Azure Synapse см. в разделе Успешное проектирование.

SQL

Увеличение предельного размера результирующих наборов. Мы знаем, что вы обратились к Azure Synapse Analytics для работы с большими объемами данных. Учитывая это, максимальный размер результирующих наборов запросов в бессерверных пулах SQL был увеличен с 200 ГБ до 400 ГБ. Это ограничение распространяется на все одновременно выполняемые запросы. Подробные сведения об увеличении этого размера и о других ограничениях см. в Справке по бессерверному пулу SQL для самостоятельного изучения.

Synapse Data Explorer

  • Новая домашняя страница Web Explorer — новая домашняя страница Synapse Web Explorer упрощает начало работы с Synapse Web Explorer. Домашняя страница Web Explorer теперь содержит следующие разделы:

    • Начало работы — коллекция примеров, содержащая примеры запросов и панели мониторинга для популярных вариантов использования Synapse Data Explorer.
    • Рекомендации — популярные модули обучения, предназначенные для освоения Synapse Web Explorer и KQL.
    • Документация — базовая и расширенная документация по Synapse Web Explorer.

  • Коллекция примеров Web Explorer — отличный способ узнать о продукте и посмотреть, как он применяется пользователями. В коллекции примеров Web Explorer представлены комплексные примеры для популярных вариантов использования Synapse Data Explorer, таких как данные журналов, данные метрик, данные Интернета вещей и базовые большие данные. Каждый пример включает набор данных, хорошо документированные запросы и пример панели мониторинга. Дополнительные сведения о коллекции примеров см. в разделе Azure Data Explorer за 60 минут с новой коллекцией примеров.

  • Возможности детализации для панелей мониторинга Web Explorer — теперь вы можете добавить возможности детализации на панели мониторинга Synapse Web Explorer. Новые возможности детализации позволяют легко переключаться между страницами панели мониторинга. Для этого используется контекстный фильтр, который подключается к вашим панелям мониторинга. Эти контекстуальные детализации определяются путем редактирования визуальных взаимодействий на выбранной плитке панели мониторинга. Дополнительные сведения о возможностях детализации см. в разделе Использование детализаций в качестве параметров панели мониторинга.

  • Параметры часового пояса для Web Explorer — возможность отображения данных в разных часовых поясах очень эффективна. Теперь вы можете просмотреть данные для времени в формате UTC, местного часового пояса или часового пояса отслеживаемого устройства/компьютера. Параметры часового пояса Web Explorer теперь применяются как к результатам запроса, так и к панели мониторинга. После изменения часового пояса панели мониторинга будут автоматически обновлены, чтобы представить данные в выбранном часовом поясе. Дополнительные сведения о параметрах часового пояса см. в разделе Изменение даты и времени на определенный часовой пояс.

Интеграция данных

  • Параметр "Нечеткое соединение" в преобразовании "Соединение" — в преобразование "Соединение" в потоках данных для сопоставления добавлено нечеткое соответствие со скользящим параметром оценки сходства. С его помощью вы сможете создавать внутренние и внешние соединения для похожих, а не для точно совпадающих данных! Ранее вам пришлось бы использовать точное соответствие. Скользящее значение шкалы может находиться в диапазоне от 60 % до 100 %, что упрощает настройку порогового значения сходства для соответствия. Дополнительные сведения о нечетком соединении см. в разделе Преобразование "Соединение" в потоке данных для сопоставления.

  • Средство сопоставления данных [общедоступно] — мы рады сообщить, что средство сопоставления данных теперь является общедоступным. Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления исходных данных с Synapse без написания кода. Дополнительные сведения о сопоставлении данных см. в разделе Сопоставление данных в Azure Synapse Analytics.

  • Повторное выполнение конвейера с новыми параметрами — теперь можно изменить параметры конвейера при повторном запуске конвейера со страницы мониторинга без возвращения в редактор конвейера. После запуска конвейера с новыми параметрами можно легко отслеживать новый запуск по сравнению со старыми, не переключаясь между страницами. Дополнительные сведения о повторном запуске конвейеров с новыми параметрами см. в разделе Повторное выполнение конвейеров и действий.

  • Определяемые пользователем функции [общедоступны] — мы рады сообщить, что определяемые пользователем функции (UDF) теперь являются общедоступными. С помощью определяемых пользователем функций вы сможете создавать настраиваемые выражения, которые можно использовать повторно в нескольких потоках данных для сопоставления. Вам больше не нужно несколько раз использовать одни и те же операции со строками, математические вычисления или другую сложную логику. Определяемые пользователем функции группируются в библиотеки, чтобы разработчикам было проще группировать общие наборы функций. Дополнительные сведения см. в разделе Определяемые пользователем функции в потоках данных для сопоставления.

Машинное обучение

Распределенное обучение в глубокой нейронной сети с помощью Horovod и Petastorm [общедоступная предварительная версия] — чтобы упростить создание пулов с ускорением GPU и управление ими, Azure Synapse предварительно устанавливает низкоуровневые библиотеки и настраивает все сложные сетевые требования между разными вычислительными узлами. Эта интеграция позволяет пользователям начать работу с пулами с ускорением GPU всего за несколько минут.

Теперь Azure Synapse Analytics предоставляет встроенную поддержку инфраструктуры глубокого обучения. Среды выполнения Azure Synapse Analytics для Apache Spark 3.1 и 3.2 теперь включают поддержку самых распространенных библиотек глубокого обучения, таких как TensorFlow и PyTorch. Среда выполнения Azure Synapse также включает вспомогательные библиотеки, такие как Petastorm и Horovod, которые обычно используются для распределенного обучения. Эта функция сейчас доступна в виде общедоступной предварительной версии.

Дополнительные сведения о том, как использовать эти библиотеки в пулах с ускорением GPU Azure Synapse Analytics, см. в руководствах по глубокому обучению.

Обновление за май 2022 года

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Общие

Подключайтесь к новой программе Azure Synapse Influencer!Присоединяйтесь к сообществу участников Azure Synapse Influencer, которые помогают друг другу достичь большего с помощью облачной аналитики! Программа Azure Synapse Influencer предназначена для пользователей Azure Synapse Analytics и советников по решению, которые активно поддерживают сообщество, предоставляя общий доступ к содержимому, объявлениям и новостями о продуктах Synapse через социальные сети.

SQL

  • Руководство по переходу с Data Warehouse на выделенные пулы SQL в Azure Synapse Analytics. Миграция в облако предоставляет множество преимуществ. Поэтому пользователям часто требуются инструкции, описания процессов или рекомендации для быстрого и простого перехода из существующих сред хранилища данных. Недавно мы выпустили набор руководств по миграции из Data Warehouse, который поможет вам перейти на выделенные пулы SQL в Azure Synapse Analytics.

  • Автоматическое вычисление длины столбца символов. Вам больше не нужно определять длину столбца символов. Бессерверные пулы SQL позволяют выполнять запросы к файлам в озере данных без предварительного определения схемы. Ранее рекомендовалось указать длину столбцов символов для достижения оптимальной производительности. Теперь все иначе. Благодаря этой новой функции вы можете обеспечить оптимальную производительность запросов, не определяя схему. Бессерверный пул SQL вычисляет среднюю длину каждого выводимого столбца символов или столбца символов, объем которого превышает 100 байт. Схема останется прежней, а бессерверный пул SQL будет использовать вычисляемую среднюю длину столбцов внутри системы. Кроме того, он будет автоматически выполнять оценку кратности, если статистика ранее не создавалась.

Apache Spark для Synapse

  • Теперь соединитель выделенных пулов SQL в Azure Synapse для Apache Spark доступен для Python. Ранее соединитель выделенных пулов SQL в Azure Synapse был доступен только при использовании Scala. Теперь его можно использовать с Python в Spark 3. Единственное различие между реализациями Scala и Python — необязательный дескриптор обратного вызова Scala, который позволяет получать метрики после записи.

    Теперь Python в Spark 3 поддерживает следующие функции:

    • чтение с использованием аутентификации Azure Active Directory (AD) или обычной проверки подлинности;
    • запись во внутреннюю таблицу с использованием аутентификации Azure AD или обычной проверки подлинности;
    • запись во внешнюю таблицу с использованием аутентификации Azure AD или обычной проверки подлинности;

    Дополнительные сведения о соединителе для Python см. в статье Соединитель выделенных пулов SQL в Azure Synapse для Apache Spark.

  • Управление конфигурацией Apache Spark в Azure Synapse. Управление конфигурацией Apache Spark — непростая задача, так как Spark имеет сотни свойств. Кроме того, достаточно сложно определить оптимальное значение для конфигураций Spark. С помощью новой функции управления конфигурацией Spark можно создать изолированный артефакт конфигурации Spark с автоматическими предложениями и встроенными правилами проверки. Артефакт конфигурации Spark позволяет совместно использовать конфигурацию Spark в рабочих областях Azure Synapse и между ними. Кроме того, вы можете без труда связать конфигурацию Spark с пулом Spark, записной книжкой и определением задания Spark для повторного использования и свести к минимуму необходимость копировать конфигурации Spark в несколько расположений. Дополнительные сведения см. в статье Управление конфигурацией Apache Spark.

Synapse Data Explorer

  • Динамический запрос Synapse Data Explorer в Excel. С помощью новой функции веб-интерфейса Data Explorer "Открыть в Excel" теперь можно обеспечить доступ к динамическим результатам запроса, предоставив общий доступ к подключенной книге Excel коллегам и участниками команды.  Вы можете открыть динамический запрос в книге Excel и обновить его непосредственно в Excel, чтобы получить самые актуальные результаты запроса. Дополнительные сведения см. в статье Открытие динамического запроса в Excel.

  • Использование управляемых удостоверений для внешних таблиц SQL Server. Одно из ключевых преимуществ Azure Synapse — возможность объединить интеграцию данных, хранение корпоративных данных и аналитику больших данных. Благодаря поддержке управляемого удостоверения определять таблицы Synapse Data Explorer стало проще и безопаснее. Теперь вместо ввода учетных данных вы можете использовать управляемые удостоверения.

    Внешняя таблица SQL — это сущность схемы, которая ссылается на данные, хранящиеся за пределами базы данных Synapse Data Explorer. С помощью команды создания и изменения внешних таблиц SQL Server можно без труда добавить внешние таблицы SQL в схему базы данных Synapse Data Explorer.

    Чтобы ознакомиться с дополнительными сведениями об управляемых удостоверениях, прочтите статью Общие сведения об управляемых удостоверениях.

    Дополнительные сведения см. в статье Создание и изменение внешних таблиц SQL Server.

  • Доступен новый модуль Learn по KQL (2 из 3). Преимущество языка запросов Kusto (KQL) — простота совместного запрашивания структурированных, частично структурированных и неструктурированных данных. Чтобы вам было проще изучить KQL, мы выпускаем модули Learn. Ранее мы выпустили модуль Создание первого запроса на языке запросов Kusto. В этом месяце мы выпускаем новый модуль Получение аналитических сведений из данных с помощью языка запросов Kusto.

    KQL — это язык запросов, используемый для запрашивания больших данных Synapse Data Explorer. Сообщество пользователей KQL быстро расширяется. В него входят сотни тысяч разработчиков, инженеров данных, аналитиков данных и учащихся.

    Ознакомьтесь с новейшим модулем KQL Learn и узнайте, насколько легко стать мастером KQL.

    Дополнительные сведения см. в статье Общие сведения о языке запросов Kusto (KQL).

  • Соединитель Azure Synapse Data Explorer для Microsoft Power Automate, Logic Apps и Power Apps [общедоступная версия]. Соединитель Azure Data Explorer для Power Automate позволяет оркестрировать и планировать потоки, а также отправлять уведомления и оповещения в рамках запланированной или активированной задачи. Дополнительные сведения см. в статьях Соединитель Azure Data Explorer для Microsoft Power Automate и Примеры использования соединителя Azure Data Explorer для Power Automate.

  • Маршрутизация динамических событий из концентратора событий в несколько баз данных. Пользователи Azure Data Explorer (ADX) часто выполняют маршрутизацию событий из концентратора событий, Центра Интернета вещей или Сетки событий. Ранее можно было перенаправлять события только в одну базу данных для определенного подключения. Чтобы перенаправить события в несколько баз данных, нужно было создать несколько подключений к кластеру ADX.

    Для упрощения работы реализована поддержка маршрутизации данных событий в несколько баз данных, размещенных в одном кластере ADX. Дополнительные сведения о динамической маршрутизации см. в статье Прием данных из концентратора событий.

  • Настройка базы данных с помощью встроенного скрипта KQL в рамках шаблона развертывания ARM JSON. Ранее служба Azure Data Explorer поддерживала выполнение скрипта на языке запросов Kusto (KQL) для настройки базы данных во время развертывания шаблона Azure Resource Manager (ARM). Теперь это можно сделать с помощью встроенного скрипта, предоставленного в качестве параметра для шаблона ARM JSON. Дополнительные сведения об использовании встроенного скрипта KQL см. в статье Настройка базы данных с помощью скрипта языка запросов Kusto.

Интеграция данных

  • Экспорт данных мониторинга конвейера в виде CSV-файла. В ответ на множество запросов от сообщества была добавлена возможность экспортировать данные мониторинга конвейера в CSV-файл. Просто отфильтруйте экран выполнений конвейера для получения нужных данных и нажмите кнопку Экспортировать в CSV-файл*. Дополнительные сведения об экспорте данных мониторинга конвейера и других улучшениях мониторинга см. в статье Улучшения мониторинга в Фабрике данных Azure.

  • Упрощена добавочная загрузка данных для Synapse, а также Базы данных Azure для PostgreSQL и MySQL. В решении для интеграции данных добавочная загрузка данных после их начальной полной загрузки является широко используемым сценарием. Автоматическая добавочная загрузка исходных данных теперь доступна как собственная возможность для Synapse SQL, а также для Базы данных Azure для PostgreSQL и MySQL. Пользователи могут включить добавочное извлечение. При этом конвейер буде считывать только вставленные или обновленные строки. Чтобы больше узнать о добавочной загрузке данных, прочтите статью Добавочная загрузка данных из исходного хранилища данных в целевое.

  • Определяемые пользователем функции для потоков данных для сопоставления [общедоступная предварительная версия]. От пользователей поступило много сообщений о том, что они часто выполняют одни и те же операции со строками, математические вычисления или другую сложную логику несколько раз. Теперь с помощью новой определяемой пользователем функции вы можете создавать настраиваемые выражения, которые можно использовать повторно в нескольких потоках данных для сопоставления. Определяемые пользователем функции группируются в библиотеки, чтобы разработчикам было проще группировать общие наборы функций. После создания библиотеки потоков данных вы можете добавить определяемые пользователем функции. Можно даже добавить несколько аргументов, чтобы еще больше расширить возможности повторного использования функции. Дополнительные сведения см. в статье Определяемые пользователем функции в потоках данных для сопоставления.

  • Обработка ошибок утверждений. Теперь в приемники добавлена возможность обработки ошибок после преобразования утверждений. Преобразования утверждений позволяют создавать пользовательские правила для обеспечения качества и проверки данных. Теперь вы можете выбрать, куда следует выводить неудачные строки: в выбранный приемник или в отдельный файл. Дополнительные сведения об обработке ошибок см. в статье Преобразование утверждения в потоке данных для сопоставления.

  • Редактирование проекции потоков данных для сопоставления. В пользовательском интерфейсе реализованы новые обновления для редактирования исходной проекции в потоках данных для сопоставления. Теперь можно обновлять имена и типы столбцов исходной проекции. Дополнительные сведения о редактировании исходной проекции см. см. в статье Преобразование источника в потоке данных для сопоставления.

Azure Synapse Link для SQL Server — в Microsoft Build 2022 мы объявили о доступности общедоступной предварительной версии Azure Synapse Link для SQL для SQL Server 2022 и База данных SQL Azure. Аналитические сведения о качестве, полученные на основе данных, критически важны для сохранения конкурентоспособности компаний. Скорость получения этих аналитических сведений может сыграть решающую роль. Дорогостоящей и трудоемкой организации традиционных конвейеров "извлечение, преобразование и загрузка" и извлечение, загрузка и преобразование" больше не достаточно. В этом выпуске реализованы преимущества репликации данных из операционных хранилищ на основе SQL в Azure Synapse Analytics практически в реальном времени с минимальным использованием кода или вообще без его использования. Это упрощает создание отчетов бизнес-аналитики по операционным данным практически в реальном времени с минимальным влиянием на операционное хранилище. Дополнительные сведения см. в статье Объявление о выпуске общедоступной предварительной версии Azure Synapse Link для SQL и нашем видео на YouTube.

Обновление за апрель 2022 г.

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

SQL

  • Восстановление в различные подписки для Azure Synapse SQL теперь является общедоступной функцией. Ранее требовалось множество незарегистрированных действий для восстановления выделенного пула SQL в другую подписку. После обновления модуля Az.Sql PowerShell 3.8 командлет Restore-AzSqlDatabase можно использовать для восстановления в различные подписки. Дополнительные сведения см. в разделе Восстановление выделенного пула SQL (прежнее название — хранилище данных SQL) в другую подписку.

  • Теперь можно восстановить пул SQL с удаленного сервера или рабочей области. С помощью командлетов восстановления PowerShell в модулях Az.Sql и Az.Synapse теперь можно восстановить данные с удаленного сервера или рабочей области без отправки запроса в службу поддержки. Дополнительные сведения см. в разделе Пуля рабочей области SQL Synapse или Автономные пулы SQL (ранее — хранилище данных SQL) в зависимости от сценария.

Шаблоны баз данных Synapse и конструктор баз данных

  • С учетом популярных отзывов клиентов мы внесли значительные улучшения в наш интерфейс изучения при создании базы данных озера с использованием отраслевого шаблона. Дополнительные сведения см. в Кратком руководстве по созданию базы данных озера с использованием шаблонов баз данных.

  • Мы добавили параметр клонирования базы данных озера. Это открывает дополнительные возможности для управления новыми версиями баз данных и поддержки схем, развитие которых осуществляется дискретными этапами. Вы можете быстро клонировать базу данных с помощью меню действий, доступного в базе данных озера. Дополнительные сведения см. в статье Практическое руководство. Клонирование базы данных озера.

  • Теперь можно использовать подстановочные знаки для указания пользовательских иерархий папок. Базы данных озера располагаются поверх данных в озере, и эти данные могут находиться во вложенных папках, которые не вписываются в аккуратные шаблоны секционирования. Ранее для отправки запросов к базам данных озера требовалось, чтобы данные находились в простой структуре каталогов, которую можно просмотреть с помощью значка папки без возможности вручную указать структуру каталогов или использовать подстановочные знаки. Дополнительные сведения см. в разделе Практическое руководство. Изменение озера данных.

Apache Spark для Synapse

  • Мы рады объявить о выпуске предварительной версии Apache Spark™ 3.2 в Synapse Analytics. Эта новая версия включает в себя запрошенные пользователем улучшения и разрешает 1700 билетов Jira. Ознакомьтесь с официальными заметками о выпуске, где приведен полный список исправлений и функций, и ознакомьтесь с руководством по миграции между Spark 3.1 и 3.2, чтобы оценить потенциальные изменения в приложениях. Дополнительные сведения см. в статье Поддержка версий среды выполнения Apache Spark и Azure Synapse для Apache Spark 3.2.

  • Динамическое назначение параметров на основе переменных и метаданных или указание конкретных параметров конвейера было одним из самый популярных запрашиваемых функций. Это стало возможным с появлением системы параметризации для действия по определению задания Spark. Дополнительные сведения см. в разделе Преобразование данных с помощью определения задания Apache Spark.

  • Мы часто получаем от клиентов запрос на доступ к моментальному снимку записной книжки при сбое запуска записной книжки конвейера или при выполнении длительного задания записной книжки. Новая функция создания моментального снимка записной книжки Synapse позволяет просмотреть моментальный снимок действия записной книжки с исходным кодом записной книжки, выходными данными ячейки и входными параметрами. Вы также можете получить доступ к моментальному снимку записной книжки из ссылающихся на нее выходных данных ячейки записной книжки, если вы ссылаетесь на другие записные книжки с помощью служебных программ Spark. Дополнительные сведения см. в статье Преобразование данных путем запуска записной книжки Synapse и Общие сведения о служебных программах Microsoft Spark.

Безопасность

  • Роль RBAC оператора мониторинга Synapse теперь является общедоступной. С того момента как служба Synapse стала общедоступной, клиенты стали запрашивать детально настроенную роль RBAC (управление доступом на основе ролей), которая позволяет пользователю отслеживать выполнение приложений Synapse Pipelines и Spark даже при отсутствии возможности запускать или отменять выполнение этих приложений. Теперь клиенты могут назначить роль оператора мониторинга Synapse таким пользователям мониторинга. Это позволяет организациям обеспечить постоянное соответствие требованиям, при этом предоставляя гибкие возможности делегирования задач отдельным лицам или командам. Дополнительные сведения см. в разделе Роли RBAC Synapse.

Интеграция данных

  • Корпорация Майкрософт добавила Dataverse в качестве соединителя источника и приемника в потоки данных Synapse, позволяя создавать задания извлечения, преобразования и загрузки данных с малым объемом кода в Synapse посредством прямого доступа к среде Dataverse. Дополнительные сведения об использовании этого нового соединителя см. в разделе Свойства потока данных сопоставления.

  • Пользователи сообщали нам, что время ожидания веб-активности продолжительностью 1 минуту недостаточно, особенно в случае синхронных API. Теперь свойство времени ожидания ответа httpRequestTimeout позволяет определить время ожидания HTTP-запроса продолжительностью 10 минут. Дополнительные сведения см. в статье Оптимизация времени ожидания для отклика веб-действия.

Режим разработчика

  • Ранее, чтобы создать ссылку на записную книжку в другой записной книжке, можно было ссылаться только на опубликованное или зафиксированное содержимое. Теперь при использовании записных книжек %run можно включить "неопубликованную ссылку на записную книжку", которая позволяет создавать ссылки на неопубликованные записные книжки. Если этот параметр включен, при запуске записной книжки будет получено текущее содержимое в веб-кэше записной книжки; это означает, что другие записные книжки могут создавать ссылки на изменения в редакторе записных книжек без необходимости публикации таких изменений (режим реального времени) или их фиксации (режим Git). Дополнительные сведения см. в статье Справочник по неопубликованной записной книжке.

Обновление за март 2022 г.

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Опыт разработчика

  • Ячейки кода в записных книжках Synapse, в которых возникает исключение, теперь будут отображать стандартные выходные данные вместе с сообщением об исключении. Эта функция поддерживается в языках Python и Scala. Дополнительные сведения см. в примере выходных данных при сбое инструкции кода.

  • Теперь записные книжки Synapse поддерживают частичные выходные данные при выполнении ячеек кода. Дополнительные сведения см. в примерах в этой записи блога.

  • Теперь вы можете динамически управлять конфигурацией сеанса Spark для действия записной книжки с помощью параметров конвейера. Дополнительные сведения см. в описании функции обозревателя переменных в записных книжках Synapse.

  • Теперь можно повторно использовать сеансы записной книжки и управлять ими, не запуская новую. Вы можете легко подключить выбранную записную книжку к активному сеансу из списка, запущенному из другой записной книжки. Также можно отключить сеанс от записной книжки, остановить сеанс и отслеживать его. Дополнительные сведения см. в записи блога Управление активными сеансами записных книжек.

  • Записные книжки Synapse теперь фиксируют все, что записывается через модуль ведения журнала Python, в дополнение к журналам драйверов. Дополнительные сведения см в разделе Поддержка ведения журнала Python.

SQL

  • Шифрование на уровне столбцов для выделенных пулов SQL в Azure Synapse теперь общедоступно. При шифровании на уровне столбцов для каждого столбца можно использовать разные ключи защиты с отдельными разрешениями на доступ. Данные в столбцах, применяемых CLE, шифруются на диске и остаются зашифрованными в памяти, пока не будут расшифрованы с помощью функции DECRYPTBYKEY. Дополнительные сведения см. в статье Шифрование столбца данных.

  • Бессерверные пулы SQL теперь поддерживают более высокую производительность для запросов CETAS (Create External Table as Select) и последующих запросов SELECT. К улучшениям производительности относится план параллельного выполнения, который ускоряет выполнение CETAS и позволяет выводить несколько файлов. Дополнительные сведения см. в статье CETAS в SQL Synapse и этой записи блога.

Apache Spark для Synapse

  • Соединитель Common Data Model (CDM) для Synapse Spark теперь общедоступен. Средство чтения/записи формата CDM позволяет программе Spark считывать и записывать сущности CDM в папке CDM через кадры данных Spark. Дополнительные сведения см. в том , как соединитель CDM поддерживает чтение, запись данных, примеры и известные проблемы.

  • Соединитель выделенного пула SQL (DW) для Synapse Spark теперь поддерживает повышенную производительность. Новая архитектура исключает избыточное перемещение данных и использует COPY INTO вместо PolyBase. Вы можете пройти обычную проверку подлинности SQL или выбрать метод проверки подлинности на основе Azure Active Directory (Azure AD). Теперь он работает примерно в 5 раз лучше по сравнению с предыдущей версией. Дополнительные сведения см. в статье Соединитель выделенного пула SQL в Azure Synapse для Apache Spark.

  • Соединитель выделенного пула SQL (DW) для Synapse Spark теперь поддерживает все варианты SaveMode для кадров данных Spark. Он поддерживает режимы Append, Overwrite, ErrorIfExists и Ignore. Режимы Append и Overwrite критически важны для управления приемом данных в большом масштабе. Дополнительные сведения см. в разделе Поддержка SaveMode для записи DataFrame.

  • Ускорение выполнения Spark с помощью новой функции интеллектуального кэша. Эта функция сейчас доступна в виде общедоступной предварительной версии. Интеллектуальный кэш автоматически сохраняет каждую операцию чтения в специальном хранилище кэша, выявляя изменения в базовом файле и обновляя файлы для предоставления самых актуальных данных. Дополнительные сведения см. в разделе Включение и отключение кэша для пула Apache Spark или в этой записи блога.

Безопасность

Интеграция данных

Обновление за февраль 2022 года

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

SQL

Интеграция данных

Обновление за январь 2022 года

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Apache Spark для Synapse

Теперь в Azure Synapse можно использовать четыре новых шаблона баз данных. Дополнительные сведения о шаблонах "Автомобили", "Геномика", "Производство" и "Фармацевтика" приведены в записи блога или в статье о шаблонах баз данных. В настоящее время эти шаблоны находятся в общедоступной предварительной версии и доступны в коллекции Synapse Studio.

Машинное обучение

Улучшения в библиотеке машинного обучения Synapse, версия 0.9.5 (ранее называлась MMLSpark). Этот выпуск упрощает создание высокомасштабируемых конвейеров машинного обучения с помощью Apache Spark. Дополнительные сведения приведены в записи блога о новых возможностях в этом выпуске или заметках о полном выпуске

Безопасность

  • Обзор безопасности Azure Synapse Analytics — Технический документ, охватывающий пять уровней безопасности. К уровням безопасности относятся проверка подлинности, управление доступом, защита данных, сетевая безопасность и защита от угроз. Изучите подробно все функции безопасности для реализации стандартного уровня безопасности в отрасли и защиты данных в облаке.

  • TLS 1.2 теперь требуется для вновь создаваемых рабочих областей Synapse. Дополнительные сведения о том, как TLS 1.2 обеспечивает повышенную безопасность, приведены в статье или записи блога. Попытка входа в созданную рабочую область Synapse из соединений с использованием версий TLS ниже 1.2 приведет к сбою.

Интеграция данных

  • Правила проверки качества данных с помощью преобразования подтверждения: теперь можно легко добавить проверку качества данных, проверку данных и проверку схемы в задания Synapse ETL, используя преобразование подтверждения в потоках данных Synapse. Дополнительные сведения приведены в статье Преобразование подтверждения при сопоставлении потока данных или в записи блога.

  • Собственный соединитель потока данных для потоков данных Dynamics-Synapse может считывать и записывать данные непосредственно в Dynamics через новый соединитель Dynamics потока данных. Узнайте больше о том, как создавать наборы данных в потоках данных для чтения, преобразования, агрегирования, объединения и т.п., в этой статье или в записи блога. После этого можно записать данные обратно в Dynamics с помощью встроенного вычисления Synapse Spark.

  • IntelliSense и автоматическое завершение добавлены в выражения конвейера — IntelliSense упрощает создание и редактирование выражений. Дополнительные сведения приведены в статьях Проверка синтаксиса выражений, поиск функций и добавление кода в конвейеры.

Synapse SQL

  • Обнаружение схемы КОПИРОВАНИЯ для приема сложных данных. Дополнительные сведения приведены в записи блога или статье о том, как GitHub использует эту функцию для автоматического обнаружения схемы с автоматическим созданием таблиц для сложных типов данных.

  • Пулы бессерверных SQL теперь поддерживают функцию HASHBYTES. HASHBYTES — это функция T-SQL, которая хэширует значения. Узнайте, как использовать хэш-значения для распространения данных, из этой статьи или записи блога.

Обновление за декабрь 2021 г.

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Apache Spark для Synapse

  • Блогстатья об ускорении рабочих нагрузок Spark с помощью ускорения GPU NVIDIA
  • Блогстатья о подключении удаленного хранилища к пулу Synapse Spark
  • Чтение и запись данных в ADLS с помощью статьи блогаPandas
  • Блогстатья о динамическом выделении исполнителей для Spark

Машинное обучение

  • Блогстатья о библиотеке Машинного обучения Synapse
  • Блогстатья о начале работы с новейшими предварительно созданными интеллектуальными моделями
  • Блогстатья о создании ответственных систем ИИ с помощью библиотеки Synapse ML
  • Блогстатья о том, что PREDICT теперь является общедоступным для выделенных пулов SQL Synapse
  • Простая и масштабируемая оценка с помощью PREDICT и MLFlow для Apache Spark для Synapse блога
  • Блогстатья о розничных решениях ИИ

Безопасность

  • Блогстатья о назначаемых пользователем управляемых удостоверениях, которые теперь поддерживаются в конвейерах Synapse в предварительной версии
  • Блогстатья об обзоре папок ADLS 2-го поколения (предварительная версия) в рабочей области Azure Synapse Analytics

Интеграция данных

  • Блогстатья о сбое конвейера
  • Блогстатья о том, как сопоставление потоков данных получает собственные соединители
  • Блог о дополнительных форматах экспорта записных книжек: HTML, Python и LaTeX
  • Блог о трех новых типах диаграмм в представлении записной книжки: создание графиков, гистограмм и сводных таблиц
  • Блог о повторном подключении к потерянным записным книжкам

Интеграция

  • Блогстатья об Azure Synapse Link для Dataverse
  • Блогстатья о пользовательских разделах для ссылки на Azure Synapse Link для Azure Cosmos DB
  • Блогстатья об инструменте для работы с данными карт (общедоступная предварительная версия): руководство по ETL без кода
  • Блогстатья о быстром повторном использовании кластера Spark
  • Блогстатья о преобразовании внешнего вызова
  • Блогстатья о Flowlets (общедоступная предварительная версия)

Обновление за ноябрь 2021 г.

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Synapse Data Explorer

  • Блогстатья о Synapse Data Explorer, который теперь доступен в предварительной версии

Работа с базами данных и озерами данных

  • Блогстатья с вводной информацией о базах данных Lake (прежнее название базы данных Spark)
  • Блогстатья о конструкторе базы данных Lake, который теперь доступен в предварительной версии
  • Блогстатья о шаблонах баз данных и конструкторе баз данных

SQL

  • Блогстатья об общедоступной поддержке Delta Lake для бессерверных SQL
  • Блогстатья о запросе нескольких путей к файлам с помощью OPENROWSET в бессерверных SQL
  • Блогстатья о том, что запросы бессерверных SQL теперь могут возвращать результаты до 200 ГБ
  • Блогстатья об обработке недопустимых строк с помощью OPENROWSET в бессерверных SQL

Apache Spark для Synapse

  • Блогстатья об ускорении рабочих нагрузок Spark с помощью ускорения GPU NVIDIA
  • Блогстатья о подключении удаленного хранилища к пулу Synapse Spark
  • Чтение и запись данных в ADLS с помощью статьи блогаPandas
  • Блогстатья о динамическом выделении исполнителей для Spark

Машинное обучение

  • Блогстатья о библиотеке Машинного обучения Synapse
  • Блогстатья о начале работы с новейшими предварительно созданными интеллектуальными моделями
  • Блогстатья о создании ответственных систем ИИ с помощью библиотеки Synapse ML
  • Блогстатья о том, что PREDICT теперь является общедоступным для выделенных пулов SQL Synapse
  • Простая и масштабируемая оценка с помощью PREDICT и MLFlow для Apache Spark для Synapse блога
  • Блогстатья о розничных решениях ИИ

Безопасность

  • Блогстатья о назначаемых пользователем управляемых удостоверениях, которые теперь поддерживаются в конвейерах Synapse в предварительной версии
  • Блогстатья об обзоре папок ADLS 2-го поколения (предварительная версия) в рабочей области Azure Synapse Analytics

Интеграция данных

  • Блогстатья о сбое конвейера
  • Блогстатья о том, как сопоставление потоков данных получает собственные соединители
  • Блогстатья об Azure Synapse Link для Dataverse
  • Блогстатья о пользовательских разделах для ссылки на Azure Synapse Link для Azure Cosmos DB

Обновление за октябрь 2021 г.

В этом месяце в Azure Synapse Analytics были введены следующие обновления.

Общие

  • Блогстатья по управлению затратами с помощью предварительных планов покупки Azure Synapse
  • Блогстатья о рабочей области Azure Synapse по регионам Azure

Apache Spark для Synapse

  • Блог об оптимизации производительности Spark

Безопасность

  • Блогстатья о том, что теперь все роли RBAC Synapse доступны для использования в производстве
  • Блогстатья о применении управляемых удостоверений, назначаемых пользователем, для двойного шифрования
  • Блогстатья об администраторах Synapse, которые теперь имеют повышенный доступ к выделенным пулам SQL

Система управления

  • Блогстатья о рабочих областях Synapse, которые теперь могут автоматически отправлять данные журнала преобразований в Microsoft Purview

Интеграция

  • Блогстатья об использовании преобразования в строку в потоках данных для простого преобразования сложных типов данных в строки
  • Блогстатья об управлении сроком жизни сеанса Spark в потоках данных

CI/CD и Git

  • Блогстатья о развертывании рабочих областей Synapse с помощью GitHub Actions
  • Блогстатья о дополнительных элементах управления для создания ветвей Git в Synapse Studio

Опыт разработчика

  • Блогстатья об улучшенном редактировании Markdown в предварительной версии записных книжек Synapse
  • Блогстатья об автоматической подготовке кадров данных Pandas к просмотру в удобном формате таблиц HTML
  • Блогстатья об использовании мини-приложений IPython в записных книжках Synapse
  • Блогстатья о контексте среды выполнения Mssparkutils, который теперь доступен для Python и Scala

Следующие шаги

Начало работы с Azure Synapse Analytics