Новые и запланированные возможности фабрики данных в Microsoft Fabric
Внимание
Планы выпуска описывают функциональные возможности, которые могут или не были выпущены. Временная шкала доставки и проецируемые функциональные возможности могут изменяться или не могут отправляться. Дополнительные сведения см. в политике Майкрософт.
Фабрика данных в Microsoft Fabric объединяет возможности интеграции данных гражданина и профессиональные возможности интеграции данных в единый современный интерфейс интеграции данных. Он обеспечивает подключение к более чем 100 реляционным и нереляционным базам данных, lakehouses, хранилищам данных, универсальным интерфейсам, таким как REST API, OData и т. д.
Потоки данных: поток данных 2-го поколения позволяет выполнять крупномасштабные преобразования данных и поддерживает различные назначения выходных данных, которые записываются в База данных SQL Azure, Lakehouse, хранилище данных и многое другое. Редактор потоков данных предлагает более 300 преобразований, включая параметры на основе искусственного интеллекта, и позволяет легко преобразовывать данные с большей гибкостью, чем любой другой инструмент. Независимо от того, извлекаете ли данные из неструктурированного источника данных, например веб-страницу или измените существующую таблицу в редакторе Power Query, можно легко применить извлечение данных Power Query по примеру, которая использует искусственный интеллект (ИИ) и упрощает процесс.
Конвейеры данных: конвейеры данных предоставляют возможность создавать универсальные рабочие процессы оркестрации данных, которые объединяют такие задачи, как извлечение данных, загрузка в предпочитаемые хранилища данных, выполнение записных книжек, выполнение скрипта SQL и многое другое. Вы можете быстро создавать мощные конвейеры данных, управляемые метаданными, которые автоматизируют повторяющиеся задачи. Например, загрузка и извлечение данных из разных таблиц в базе данных, итерирование нескольких контейнеров в Хранилище BLOB-объектов Azure и многое другое. Кроме того, с конвейерами данных можно получить доступ к данным из Microsoft 365 с помощью соединителя Подключение к данным Microsoft Graph ion (MGDC).
Дополнительные сведения см. в документации.
Инвестиционные области
В течение следующих нескольких месяцев Фабрика данных в Microsoft Fabric расширит свои возможности подключения и продолжит добавлять в богатую библиотеку преобразований и действий конвейера данных. Кроме того, он позволяет выполнять репликацию данных в режиме реального времени, высокопроизводительную репликацию данных из операционных баз данных и переносить эти данные в озеро для аналитики.
Поддержка конвейера данных для DBT
Предполагаемая временная шкала выпуска: Q1 2024
Тип выпуска: общедоступная предварительная версия
Оркестрация ИНТЕРФЕЙСА командной строки DBT (средство сборки данных): включает средство сборки данных (dbt) для рабочих процессов преобразования данных.
Поддержка быстрого копирования в Dataflow 2-го поколения
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общая доступность
Мы добавляем поддержку приема крупномасштабных данных непосредственно в интерфейсе потока данных 2-го поколения, используя возможность действия копирования конвейеров. Это улучшение значительно масштабирует емкость обработки данных потока данных 2-го поколения, обеспечивая возможности высокомасштабируемого ELT (Extract-Load-Transform).
Управление удостоверениями источника данных (управляемое удостоверение)
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Это позволяет настроить управляемое удостоверение на уровне рабочей области. Управляемые удостоверения Fabric можно использовать для безопасного подключения к источнику данных.
Интеграция Git фабрики данных для потоков данных
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Вы можете подключиться к репозиторию Git и разработать потоки данных. Эта возможность обеспечивает интеграцию с управлением версиями и предлагает фиксации и запросы на вытягивание.
Copilot для фабрики данных (конвейер данных)
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Copilot для фабрики данных (конвейер данных) позволяет клиентам создавать конвейеры данных с помощью естественного языка и предоставлять рекомендации по устранению неполадок.
Отправленные функции
Поддержка локального шлюза данных (OPDG), добавленная в конвейеры данных
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Эта функция позволяет конвейерам данных использовать шлюзы данных Fabric для доступа к данным в локальной среде и за виртуальной сетью. Для пользователей, использующих локальную среду выполнения интеграции (SHIR), они смогут перейти к локальным шлюзам данных в Fabric.
Поддержка вызова конвейеров данных между рабочими областями
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Вызов обновления действий Конвейеров: мы включаем некоторые новые и захватывающие обновления для действия Invoke Pipeline. В ответ на подавляющие запросы клиентов и сообщества мы включаем запуск конвейеров данных в рабочих областях. Теперь вы сможете вызывать конвейеры из других рабочих областей, к которым у вас есть доступ к выполнению. Это позволит очень захватывающим шаблонам рабочих процессов данных, которые могут использовать совместную работу из команд разработки и интеграции данных в рабочих областях и между функциональными командами.
Фабрика данных Azure в Fabric
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Доведите существующие Фабрика данных Azure (ADF) в рабочую область Fabric! Это новая предварительная версия, которая позволяет подключаться к существующим фабрикам ADF из рабочей области Fabric.
Теперь вы сможете полностью управлять фабриками ADF непосредственно из пользовательского интерфейса рабочей области Fabric! После связывания ADF с рабочей областью Fabric вы сможете активировать, выполнять и отслеживать конвейеры, как и в ADF, но непосредственно внутри Fabric.
Поддержка добавочного обновления в потоке данных 2-го поколения
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Мы добавим поддержку добавочного обновления в Dataflow 2-го поколения. Эта функция позволяет постепенно извлекать данные из источников данных, применять преобразования Power Query и загружать их в различные выходные назначения.
Поддержка конвейера данных для заданий Azure Databricks
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Мы обновляем конвейеры данных фабрики данных Azure Databricks, чтобы теперь использовать api последних заданий, чтобы обеспечить захватывающие возможности рабочих процессов, такие как выполнение заданий DLT.
Улучшенная Уведомления по электронной почте для сбоев обновления
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Уведомления по электронной почте позволяют создателям потока данных отслеживать результаты (успешное выполнение или сбой) операции обновления потока данных.
Копирование задания
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Задание копирования упрощает работу для клиентов, которым требуется прием данных, без необходимости создавать поток данных или конвейер данных. Задание копирования поддерживает полную и добавочную копию из любых источников данных в любые назначения данных. Теперь зарегистрируйтесь для частной предварительной версии.
Copilot для фабрики данных (поток данных)
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Copilot для фабрики данных (Dataflow) позволяет клиентам выразить свои требования с помощью естественного языка при создании решений для интеграции данных с dataflows 2-го поколения.
Промежуточные значения по умолчанию для назначения вывода потока данных 2-го поколения
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Поток данных 2-го поколения предоставляет возможности приема данных из широкого спектра источников данных в Fabric OneLake. При промежуточной подготовке этих данных его можно преобразовать при использовании подсистемы высокомасштабируемых потоков данных 2-го поколения (на основе вычислений SQL Fabric Lakehouse или Warehouse).
Поведение по умолчанию для потоков данных 2-го поколения — этап обработки данных в OneLake, чтобы включить преобразования данных с высоким уровнем масштаба. Хотя это работает отлично для крупномасштабных сценариев, он не работает так же, как и для сценариев, связанных с небольшим объемом данных, принимаемых с учетом того, что он вводит дополнительный прыжк (промежуточный) для данных, прежде чем он в конечном итоге загружается в целевое место вывода потока данных.
При запланированных улучшениях мы настраиваем поведение промежуточного хранения по умолчанию, которое необходимо отключить, для запросов с назначением выходных данных, для которых не требуется промежуточное выполнение (а именно, Fabric Lakehouse и База данных SQL Azure).
Промежуточное поведение можно настроить вручную на основе каждого запроса с помощью области "Параметры запроса" или контекстного меню запроса в области "Запросы".
Поддержка конвейера данных для триггеров на основе событий
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Распространенным вариантом использования конвейеров данных фабрики данных является активация конвейера при событиях файлов, таких как прибытие файла и удаление файла. Для клиентов, поступающих из ADF или Synapse в Fabric, использование событий хранения ADLS/Blog очень распространено как способ сигнализировать о новом выполнении конвейера или записать имена созданных файлов. Триггеры в фабрике данных Fabric используют возможности платформы Fabric, включая триггеры EventStreams и Reflex. На холсте конструктора конвейера фабрики данных Fabric вы получите кнопку триггера, которую можно нажать, чтобы создать триггер "Рефлектор" для конвейера или создать триггер непосредственно из интерфейса активации данных.
Поддержка конвейера данных для SparkJobDefinition
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Теперь вы можете выполнить код Spark, включая JAR-файлы, непосредственно из действия конвейера. Просто укажите код Spark и конвейер выполнит задание в кластере Spark в Fabric. Это новое действие позволяет захватывающим шаблонам рабочих процессов данных, которые используют возможности подсистемы Spark Fabric, включая поток управления фабрики данных и возможности потока данных в том же конвейере, что и задания Spark.
Поддержка конвейера данных для Azure HDInsight
Отправлено (Q2 2024)
Тип выпуска: общая доступность
HDInsight — это служба Azure PaaS для Hadoop, которая позволяет разработчикам создавать очень мощные решения больших данных в облаке. Новое действие конвейера HDI позволит выполнять действия заданий HDInsights внутри конвейеров данных фабрики данных, аналогичные существующей воронке, которую вы заразили в течение многих лет в конвейерах ADF и Synapse. Теперь мы добавили эту возможность непосредственно в конвейеры данных Fabric.
Новые соединители для действия копирования
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Новые соединители будут добавлены для действие Copy для предоставления клиентам возможности приема из следующих источников, а также для использования конвейера данных: Oracle, MySQL, Поиск ИИ Azure, Файлы Azure, Dynamics AX, Google BigQuery.
Задание Apache Airflow: создание конвейеров данных на основе Apache Airflow
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Задание Apache Airflow (ранее называемое рабочими процессами данных) на базе Apache Airflow и предлагает интегрированную среду выполнения Apache Airflow, что позволяет легко создавать, выполнять и планировать daGs Python.
Управление удостоверениями источника данных (SPN)
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Субъект-служба . Чтобы получить доступ к ресурсам, защищенным клиентом Azure AD, сущность, требующая доступа, должна быть представлена субъектом безопасности. Вы сможете подключиться к источникам данных с помощью субъекта-службы.
Улучшение возможностей работы с данными (обзор ресурсов Azure)
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Просмотр ресурсов Azure обеспечивает удобную навигацию для просмотра ресурсов Azure. Вы можете легко перемещать подписки Azure и подключаться к источникам данных с помощью интуитивно понятного пользовательского интерфейса. Это помогает быстро находить и подключаться к нужным данным.
Поддержка локального шлюза данных (OPDG), добавленная в конвейеры данных
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Эта функция позволяет конвейерам данных использовать шлюзы данных Fabric для доступа к данным в локальной среде и за виртуальной сетью. Для пользователей, использующих локальную среду выполнения интеграции (SHIR), они смогут перейти к локальным шлюзам данных в Fabric.
Интеграция фабрики данных Git для конвейеров данных
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Вы можете подключиться к репозиторию Git для совместной разработки конвейеров данных. Интеграция конвейеров данных с возможностью управления жизненным циклом приложений (ALM) платформы Fabric обеспечивает управление версиями, ветвление, фиксации и запросы на вытягивание.
Улучшения выходных назначений в dataflow 2-го поколения (схема запроса)
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Мы расширим назначения выходных данных в Dataflow 2-го поколения с помощью следующих высоко запрошенных возможностей:
- Возможность обрабатывать изменения схемы запросов после настройки назначения вывода.
- Параметры назначения по умолчанию для ускорения создания потоков данных.
Дополнительные сведения см. в разделе назначения данных потока данных 2-го поколения и управляемые параметры
Поддержка быстрого копирования в Dataflow 2-го поколения
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Мы добавляем поддержку приема крупномасштабных данных непосредственно в интерфейсе потока данных 2-го поколения, используя возможность действия копирования конвейеров. Это поддерживает такие источники, База данных SQL Azure, CSV и Parquet-файлы в Azure Data Lake Storage и хранилище BLOB-объектов.
Это улучшение значительно масштабирует емкость обработки данных потока данных 2-го поколения, обеспечивая возможности высокомасштабируемого ELT (Extract-Load-Transform).
Отмена поддержки обновления в Dataflow 2-го поколения
Отправлено (Q4 2023)
Тип выпуска: общедоступная предварительная версия
Мы добавляем поддержку для отмены текущих обновлений потока данных 2-го поколения из представления элементов рабочей области.