В этой статье приведены ответы на часто задаваемые вопросы о фабрике данных в Microsoft Fabric.
Что такое будущее Фабрика данных Azure (ADF) и Synapse Pipelines?
Фабрика данных Azure (ADF) и конвейеры Azure Synapse поддерживают отдельные стратегии платформы как услуги (PaaS). Эти два решения продолжают сосуществовать вместе с фабрикой данных Fabric, которая служит предложением Software as a Service (SaaS). Конвейеры ADF и Synapse остаются полностью поддерживаемыми, и нет планов на амортизацию. Важно подчеркнуть, что для всех предстоящих проектов мы рекомендуем инициировать их с помощью Фабрики данных Fabric. Кроме того, у нас есть стратегии для упрощения перехода конвейеров ADF и Synapse в фабрику данных Fabric, что позволяет им воспользоваться новыми функциональными возможностями Fabric.
Учитывая пробелы в функциональных возможностях фабрики данных для Fabric, каковы причины выбора их по конвейерам ADF или Synapse?
Так как мы стремимся преодолеть пробелы в функциональных возможностях и включить надежные возможности оркестрации конвейеров данных и рабочих процессов, найденных в конвейерах ADF или Azure Synapse, в фабрику данных Fabric мы признаем, что некоторые функции, присутствующих в конвейерах ADF/ Synapse, могут быть важными для ваших потребностей. Хотя вам рекомендуется продолжать использовать конвейеры ADF или Synapse, если эти функции необходимы, мы рекомендуем сначала изучить новые возможности интеграции данных в Fabric. Ваши отзывы о том, какие функции являются ключевыми для вашего успеха, является бесценным. Чтобы упростить эту задачу, мы активно работаем над внедрением новой возможности, что позволяет переносить существующие фабрики данных из Azure в рабочие области Fabric.
Новые возможности фабрики данных Fabric также доступны в ADF/Synapse?
Мы не возвращаем новые функции из конвейеров Fabric в конвейеры ADF или Synapse. Мы поддерживаем две отдельные стратегии для Фабрики данных Fabric и ADF/ Synapse. Мы оцениваем запросы обратной связи в ответ на входящие отзывы.
Совпадает ли конвейер Fabric с Azure Synapse Pipeline?
Основная функция конвейера Fabric аналогична конвейеру Azure Synapse, но с помощью конвейера Fabric пользователи могут применять все возможности аналитики данных на платформе Fabric. Важные различия и сопоставления функций между конвейером Fabric и конвейером Azure Synapse см. здесь: различия между фабрикой данных в Fabric и Azure.
Что такое разница между фабрикой данных и вкладкой "Проектирование данных" в Fabric?
Фабрика данных помогает решать сложные сценарии интеграции данных и ETL с помощью служб перемещения данных в облаке и преобразования данных, а проектирование данных помогает создавать lake house, использовать Apache Spark для преобразования и подготовки данных. Различия между каждой терминологией и интерфейсом Fabric доступны в терминологии Microsoft Fabric.
Где можно найти ежемесячные обновления, доступные в Fabric?
Разделы справки перенос существующих конвейеров из рабочей области Фабрика данных Azure (или) Azure Synapse в фабрику данных Fabric?
В настоящее время единственным доступным методом является повторное создание конвейеров в Фабрике данных Fabric. Мы тщательно разрабатываем новую функцию, которая позволяет пользователям эффективно контролировать конвейеры Fabric и ADF и управлять ими на платформе Fabric. Эта инновационная новая возможность не только гарантирует простое сохранение непрерывности продуктов, но и предоставляет пользователям возможность погрузиться в расширенные функциональные возможности, предоставляемые возможностями интеграции данных Fabric.
Разделы справки отслеживать и отслеживать емкость Fabric, используемую с конвейерами?
Администраторы емкости Microsoft Fabric могут использовать приложение Метрик емкости Microsoft Fabric, также известное как приложение метрик , чтобы получить представление о ресурсах емкости. Это приложение позволяет администраторам узнать, сколько ресурсов ЦП, времени обработки и памяти используется конвейерами данных, потоками данных и другими элементами в рабочих областях с поддержкой емкости Fabric. Получите видимость причин перегрузки, пикового спроса, потребления ресурсов и более простой идентификации наиболее требовательных или наиболее популярных элементов.
Похож ли Поток данных Fabric 2-го поколения на Power Query, внедренный в Фабрика данных Azure?
Действие Power Query в ADF разделяет сходство с Dataflow 2-го поколения, но имеет дополнительные функции, которые позволяют выполнять такие действия, как запись в определенные назначения данных и т. д. Это сравнение более справедливо соответствует потоку данных 1-го поколения (потоки данных Power BI или потоки данных Power Apps). Дополнительные сведения см. здесь: различия между потоком данных 1-го поколения и потоком данных 2-го поколения.
Как подключиться к локальным источникам данных в Фабрике данных Fabric?
В настоящее время основное внимание уделяется активной разработке поддержки конвейера Fabric в локальном шлюзе данных. Эта предстоящая возможность позволяет легко использовать конвейеры Fabric для прямого доступа к локальным данным. До тех пор, пока эта функция не будет доступна, можно использовать поток данных Fabric для передачи данных в облачное хранилище, а затем использовать конвейер Fabric для упрощения перемещения данных в нужное место назначения. Это обеспечивает плавный переход до тех пор, пока не будет доступна интеграция локального шлюза данных.
Можно ли подключиться к существующим ресурсам с поддержкой частной конечной точки (PE) в Фабрике данных Fabric?
В настоящее время шлюз виртуальной сети предлагает метод внедрения, чтобы легко интегрироваться в виртуальную сеть, предоставляя надежный способ использования частных конечных точек для установления безопасных подключений к хранилищам данных. Важно отметить, что шлюз виртуальной сети размещает только потоки данных Fabric в данный момент. Однако наши предстоящие инициативы охватывают расширение возможностей для охвата конвейеров Fabric.
Насколько быстро можно получать данные в конвейерах данных Fabric?
Фабрика данных Fabric позволяет разрабатывать конвейеры, которые обеспечивают максимальную пропускную способность перемещения данных для вашей среды. Эти конвейеры полностью используют следующие ресурсы.
- Пропускная способность сети между исходным и целевым хранилищами данных.
- Входные и выходные операции хранилища данных источника или назначения (IOPS) и пропускная способность— это полное использование позволяет оценить общую пропускную способность, измеряя минимальную пропускную способность, доступную со следующими ресурсами:
- Исходное хранилище данных
- Целевое хранилище данных
- Пропускная способность сети между исходным и целевым хранилищами данных Между тем мы постоянно работаем над инновациями для повышения максимально возможной пропускной способности, которые можно достичь. Сегодня служба может переместить 1 ТБ набор данных TPC-DI (файлы parquet) в таблицу Fabric Lakehouse и хранилище данных в течение 5 минут — перемещение 1B строк в течение 1 мин; Обратите внимание, что эта производительность является только ссылкой, выполнив приведенный выше набор данных тестирования. Фактическая пропускная способность по-прежнему зависит от факторов, перечисленных ранее. Кроме того, можно всегда умножать пропускную способность путем параллельного выполнения нескольких действий копирования. Например, с помощью цикла ForEach.
Какой подход рекомендуется назначать роли в фабрике данных Fabric?
Можно разделить различные рабочие нагрузки между рабочими областями и использовать такие роли, как член и средство просмотра, чтобы иметь рабочую область для проектирования данных, которая подготовки данных для рабочей области, которая используется для обучения отчета или искусственного интеллекта. С помощью роли просмотра можно использовать данные из рабочей области проектирования данных.