Руководство по обновлению семантической модели Power BI с помощью задания Apache Airflow

2025-05-30

Примечание.

Задание Apache Airflow работает под управлением Apache Airflow.

В современном мире, ориентированном на данные, обслуживание актуальных и точных моделей данных имеет решающее значение для обоснованных бизнес-решений. По мере развития данных важно регулярно обновлять эти модели, чтобы гарантировать, что отчеты и панели мониторинга отражают самые актуальные сведения. Обновления вручную могут занимать много времени и быть подверженными ошибкам, поэтому возможности оркестрации, планирования и мониторинга Apache Airflow пригодятся. Используя Airflow, организации могут автоматизировать процесс обновления семантических моделей Power BI, обеспечивая своевременное и точное обновление данных с минимальным вмешательством вручную.

В этой статье описывается интеграция Apache Airflow с Power BI для автоматизации обновления семантической модели с помощью рабочих процессов данных. Он содержит пошаговое руководство по настройке среды, настройке подключений и созданию рабочих процессов для простого обновления семантических моделей Power BI.

Требования

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

Администратор уровня клиента должен включить функцию "Субъекты-службы могут вызывать общедоступные API Fabric":
1. Перейдите на портал администрирования Microsoft Fabric и перейдите к параметрам клиента.
2. В разделе "Параметры разработчика" разверните подраздел "Субъекты службы могут вызывать общедоступные API Fabric".
3. Переключите кнопку "Включено" и выберите "Вся организация" или "Определенные группы безопасности".
4. Выберите Применить.
Создайте учетную запись службы. Необходимо добавить учетную запись службы в качестве вкладчика в рабочую область Power BI.
Создайте задание Apache Airflow в рабочей области.
Создание семантической модели в Power BI

Добавьте требование Apache Airflow

Перейдите к разделу "Параметры" и выберите "Конфигурация среды".
В разделе "Требования к Apache Airflow" включите "airflow-powerbi-plugin".
Нажмите кнопку "Применить", чтобы сохранить изменения.

Создание подключения Apache Airflow для подключения к рабочей области Power BI

Выберите «Просмотр подключений Airflow», чтобы увидеть список всех настроенных подключений.
Добавьте новое подключение. Вы можете использовать Generic тип подключения. Сохраните следующие поля:
- Идентификатор подключения: идентификатор подключения.
- Тип подключения:Generic
- Логин: идентификатор клиента служебного принципала.
- Пароль: ключ клиента учетной записи службы.
- Дополнительно:{"tenantId": Идентификатор клиента вашего служебного принципала.}
Выберите Сохранить.

Создайте DAG Apache Airflow

Начните с выбора карточки "Новый файл DAG". Затем назначьте имя файлу и нажмите кнопку "Создать".
После создания вы получите стандартный код DAG. Измените файл, чтобы включить пример DAG. Этот DAG активирует синхронное обновление семантической модели Power BI. Обновите аргумент dataset_id с помощью идентификатора семантической модели Power BI и аргумент workspace_id с помощью идентификатора рабочей области соответственно.

from datetime import datetime
# The DAG object
from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow_powerbi_plugin.operators.powerbi import PowerBIDatasetRefreshOperator

with DAG(
        dag_id='refresh_dataset_powerbi',
        schedule_interval=None,
        start_date=datetime(2023, 8, 7),
        catchup=False,
        concurrency=20,
) as dag:

    # [START howto_operator_powerbi_refresh_dataset]
    dataset_refresh = PowerBIDatasetRefreshOperator(
        powerbi_conn_id= "powerbi_default",
        task_id="sync_dataset_refresh",
        dataset_id="<dataset_id>",
        group_id="<workspace_id>",
    )
    # [END howto_operator_powerbi_refresh_dataset]

    dataset_refresh

Нажмите кнопку "Сохранить", чтобы сохранить файл.

Создание файла подключаемого модуля для Power BI (необязательно)

Если вы хотите включить внешнюю ссылку мониторинга на Power BI из пользовательского интерфейса Airflow, выполните следующие действия.

Создайте файл в папке "подключаемые модули".
Вставьте содержимое, предоставленное ниже, в файл.

from airflow.plugins_manager import AirflowPlugin

from airflow_powerbi_plugin.hooks.powerbi import PowerBIHook
from airflow_powerbi_plugin.operators.powerbi import PowerBILink

# Defining the plugin class
class AirflowExtraLinkPlugin(AirflowPlugin):
    """
    PowerBI plugin.
    """

    name = "powerbi_plugin"
    operator_extra_links = [
        PowerBILink(),
    ]
    hooks= [
        PowerBIHook,
    ]

По завершении вы увидите DAG, загруженную с помощью ссылки внешнего мониторинга на обновление семантической модели Power BI.

Мониторинг DAG рабочего процесса данных и его запуск из пользовательского интерфейса Apache Airflow

После нажатия кнопки "Сохранить" файлы автоматически загружаются в пользовательский интерфейс Apache Airflow. Чтобы отслеживать их, нажмите кнопку "Монитор в Apache Airflow".

Снимок экрана для мониторинга DAG Airflow.

Быстрый старт: Создание задания Apache Airflow

Поделиться через