В этой статье приведены ответы на часто задаваемые вопросы о фабрике данных в Microsoft Fabric.
Фабрика данных в Fabric
Что такое разница между фабрикой данных и вкладкой "Проектирование данных" в Fabric?
Фабрика данных помогает решать сложные сценарии интеграции данных и ETL с помощью служб перемещения данных в облаке и преобразования данных, а проектирование данных помогает создавать lake house, использовать Apache Spark для преобразования и подготовки данных. Различия между каждой терминологией и интерфейсом Fabric доступны в терминологии Microsoft Fabric.
Разделы справки отслеживать и отслеживать емкость Fabric, используемую с конвейерами?
Администраторы емкости Microsoft Fabric могут использовать приложение Метрик емкости Microsoft Fabric, также известное как приложение метрик , чтобы получить представление о ресурсах емкости. Это приложение позволяет администраторам узнать, сколько ресурсов ЦП, времени обработки и памяти используется конвейерами данных, потоками данных и другими элементами в рабочих областях с поддержкой емкости Fabric. Получите видимость причин перегрузки, пикового спроса, потребления ресурсов и более простой идентификации наиболее требовательных или наиболее популярных элементов.
Какой подход рекомендуется использовать для назначения ролей в Фабрике данных в Fabric?
Можно разделить различные рабочие нагрузки между рабочими областями и использовать такие роли, как член и средство просмотра, чтобы иметь рабочую область для проектирования данных, которая подготовки данных для рабочей области, которая используется для обучения отчета или искусственного интеллекта. С помощью роли просмотра можно использовать данные из рабочей области проектирования данных.
Можно ли подключиться к существующим ресурсам с поддержкой частной конечной точки (PE) в Фабрике данных Fabric?
В настоящее время шлюз виртуальной сети предлагает метод внедрения, чтобы легко интегрироваться в виртуальную сеть, предоставляя надежный способ использования частных конечных точек для установления безопасных подключений к хранилищам данных. Важно отметить, что шлюз виртуальной сети размещает только потоки данных Fabric в данный момент. Однако наши предстоящие инициативы охватывают расширение возможностей для охвата конвейеров Fabric.
Как подключиться к локальным источникам данных в Фабрике данных Fabric?
При использовании локального шлюза данных теперь можно подключиться к локальным источникам данных с помощью потоков данных и конвейеров данных (предварительная версия) с фабрикой данных в Microsoft Fabric. Дополнительные сведения см. в статье о доступе к локальным источникам данных в фабрике данных.
Обновления и цены на выпуск
Где можно найти ежемесячные обновления, доступные в Fabric?
Что такое модель ценообразования и выставления счетов фабрики данных Fabric?
Цены на фабрику данных в Microsoft Fabric содержат комплексное руководство по вычислению затрат на конвейеры данных и поток данных 2-го поколения. Он включает несколько примеров ценообразования, которые помогут вам лучше понять модель ценообразования.
Где можно найти дополнительные сведения о предстоящих функциях, запланированных для фабрики данных в Microsoft Fabric?
Новые и запланированные возможности фабрики данных в Microsoft Fabric предоставляют аналитические сведения о предстоящих функциях и их предполагаемой временной шкале выпуска в течение следующих нескольких месяцев.
Конвейеры данных
Насколько быстро можно получать данные в конвейерах данных Fabric?
Фабрика данных Fabric позволяет разрабатывать конвейеры, которые обеспечивают максимальную пропускную способность перемещения данных для вашей среды. Эти конвейеры полностью используют следующие ресурсы.
- Пропускная способность сети между исходным и целевым хранилищами данных.
- Входные и выходные операции хранилища данных источника или назначения (IOPS) и пропускная способность— это полное использование позволяет оценить общую пропускную способность, измеряя минимальную пропускную способность, доступную со следующими ресурсами:
- Исходное хранилище данных
- Целевое хранилище данных
- Пропускная способность сети между исходным и целевым хранилищами данных Между тем мы постоянно работаем над инновациями для повышения максимально возможной пропускной способности, которые можно достичь. Сегодня служба может переместить набор данных TPC-DI 1 ТБ (файлы parquet) в таблицу Fabric Lakehouse и хранилище данных в течение 5 минут — перемещение 1B строк в течение 1 мин; Обратите внимание, что эта производительность является только ссылкой, выполнив приведенный выше набор данных тестирования. Фактическая пропускная способность по-прежнему зависит от факторов, перечисленных ранее. Кроме того, можно всегда умножать пропускную способность путем параллельного выполнения нескольких действий копирования. Например, с помощью цикла ForEach.
Будет ли функция CDC доступна в Фабрике данных в Fabric?
Наше текущее внимание включает в себя активную разработку возможностей CDC в фабрике данных в Fabric. Эта возможность позволяет перемещать данные между несколькими источниками данных, сочетая различные шаблоны копирования, включая шаблон массового и пакетного копирования, шаблон добавочного и непрерывного копирования (CDC) и шаблон копирования в режиме реального времени в один интерфейс 5x5.
Потоки данных 2-го поколения
Похож ли Поток данных Fabric 2-го поколения на Power Query, внедренный в Фабрика данных Azure?
Действие Power Query в ADF разделяет сходство с Dataflow 2-го поколения, но имеет дополнительные функции, которые позволяют выполнять такие действия, как запись в определенные назначения данных и т. д. Это сравнение более справедливо соответствует потоку данных 1-го поколения (потоки данных Power BI или потоки данных Power Apps). Дополнительные сведения см. здесь: различия между потоком данных 1-го поколения и потоком данных 2-го поколения.
В Fabric DataFlow 2-го поколения я иногда сталкиваюсь с такими функциями, как DataflowsStaginglakehouse / DataflowsStagingwarehouse. Что такое эти функции?
В некоторых пользовательских интерфейсах могут возникнуть системные артефакты, не предназначенные для взаимодействия. Лучше всего игнорировать эти артефакты, так как они в конечном итоге будут удалены из интерфейса получения данных в будущем.
Сбой обновления с сообщением об ошибке "Сбой обновления потока данных из-за нехватки разрешений для доступа к промежуточным артефактам". Что делать?
Это сообщение об ошибке возникает, когда пользователь, создавший первый поток данных в рабочей области, не вошел в Fabric более 90 дней или покинул организацию. Чтобы устранить эту проблему, пользователь, упомянутый в сообщении об ошибке, должен войти в Fabric. Если пользователь покинул организацию, откройте запрос в службу поддержки.
Поддержка и путь миграции конвейеров ADF/Synapse
Что такое будущее Фабрика данных Azure (ADF) и Synapse Pipelines?
Фабрика данных Azure (ADF) и конвейеры Azure Synapse поддерживают отдельные стратегии платформы как услуги (PaaS). Эти два решения продолжают сосуществовать вместе с фабрикой данных Fabric, которая служит предложением Software as a Service (SaaS). Конвейеры ADF и Synapse остаются полностью поддерживаемыми, и нет планов по прекращению использования. Важно подчеркнуть, что для всех предстоящих проектов мы рекомендуем инициировать их с помощью Фабрики данных Fabric. Кроме того, у нас есть стратегии для упрощения перехода конвейеров ADF и Synapse в фабрику данных Fabric, что позволяет им воспользоваться новыми функциональными возможностями Fabric. Более подробную информацию можно найти здесь.
Учитывая пробелы в функциональных возможностях фабрики данных для Fabric, каковы причины выбора их по конвейерам ADF или Synapse?
Так как мы стремимся преодолеть пробелы в функциональных возможностях и включить надежные возможности оркестрации конвейеров данных и рабочих процессов, найденных в конвейерах ADF или Azure Synapse, в фабрику данных Fabric мы признаем, что некоторые функции, присутствующих в конвейерах ADF/ Synapse, могут быть важными для ваших потребностей. Хотя вам рекомендуется продолжать использовать конвейеры ADF или Synapse, если эти функции необходимы, мы рекомендуем сначала изучить новые возможности интеграции данных в Fabric. Ваши отзывы о том, какие функции являются ключевыми для вашего успеха, является бесценным. Чтобы упростить эту задачу, мы активно работаем над внедрением новой возможности, что позволяет переносить существующие фабрики данных из Azure в рабочие области Fabric.
Новые возможности фабрики данных Fabric также доступны в ADF/Synapse?
Мы не возвращаем новые функции из конвейеров Fabric в конвейеры ADF или Synapse. Мы поддерживаем две отдельные стратегии для Фабрики данных Fabric и ADF/ Synapse. Мы оцениваем запросы обратной связи в ответ на входящие отзывы.
Совпадают ли конвейеры данных Fabric с конвейерами Azure Synapse?
Основная функция конвейера Fabric аналогична конвейеру Azure Synapse, но с помощью конвейера Fabric пользователи могут применять все возможности аналитики данных на платформе Fabric. Важные различия и сопоставления функций между конвейером Fabric и конвейером Azure Synapse см. здесь: различия между фабрикой данных в Fabric и Azure.
Разделы справки перенос существующих конвейеров из рабочей области Фабрика данных Azure (или) Azure Synapse в фабрику данных Fabric?
Чтобы упростить переход клиентов на Microsoft Fabric из Фабрика данных Azure (ADF), мы предлагаем ряд основных функций и механизмов поддержки. Во-первых, мы предоставляем комплексную поддержку большинства действий, используемых в ADF в Fabric, а также добавление новых действий, адаптированных для уведомлений, таких как Teams и Outlook. Клиенты могут получить подробный список доступных действий в Фабрике данных в Fabric. Кроме того, мы представили соединители Fabric Lakehouse / Warehouse в Фабрика данных Azure, что позволяет легко интегрировать данные в среду OneLake Fabric для клиентов ADF. Мы также предоставляем руководство для клиентов ADF, которые помогают сопоставить существующие преобразования потока данных сопоставления с новыми преобразованиями потока данных 2-го поколения. По мере того как мы смотрим вперед, мы включаем возможность подключения ресурсов ADF в Fabric в нашей стратегии, что позволит клиентам сохранять функциональные возможности существующих конвейеров ADF в Azure при изучении Структуры и планировании комплексных стратегий обновления. Мы тесно сотрудничаем с клиентами и сообществом, чтобы определить наиболее эффективные способы поддержки миграции конвейеров данных из ADF в Fabric. В рамках этой работы мы предоставим возможности обновления, которые позволяют протестировать текущие конвейеры данных в Fabric с помощью процесса подключения и обновления.