Преобразуйте данные, используя Synapse-ноутбук

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Действие блокнота Azure Synapse в рамках конвейера Synapse запускает блокнот Synapse. Данная статья основана на материалах статьи о действиях преобразования данных , в которой приведен общий обзор преобразования данных и список поддерживаемых действий преобразования.

Создание действия записной книжки Synapse

Вы можете создать активность в записной книжке Synapse в среде конвейера Synapse или в редакторе записных книжек. Операция блокнота Synapse выполняется в Spark-пуле, который выбирается в блокноте Synapse.

Добавление действия записной книжки Synapse с холста конвейера

Перетащите записную книжку Synapse из раздела Действия на холст конвейера Synapse. Выберите ячейку действия записной книжки Synapse и настройте содержимое записной книжки для этого действия в разделе Параметры. Вы можете выбрать одну из существующих в текущей рабочей области записных книжек или добавить новую.

Если выбрать существующую записную книжку из текущей рабочей области, нажмите кнопку "Открыть ", чтобы открыть страницу записной книжки.

(Необязательно) Вы также можете перенастроить пул Spark\Размер исполнителя\Динамически выделить исполнителей\Min executors\Max executors\Driver size\Authentication в параметрах. Следует отметить, что измененные здесь параметры заменят параметры из сеанса настройки в Notebook. Если в параметрах текущего действия записной книжки ничего не указано, оно будет выполняться с настройками сеанса конфигурирования в этой записной книжке.

Свойство	Описание:	Обязательное поле
Пул Spark	Ссылка на пул Spark. В списке можно выбрать пул Apache Spark. Если этот параметр не указан, выполнение будет происходить в пуле Spark ноутбука.	нет
Размер исполнителя	Количество ядер и объем памяти, которые будут использоваться для исполнителей, выделяются в определенном пуле Apache Spark для сеанса.	нет
Динамическое выделение исполнителей	Этот параметр сопоставляется с динамическим свойством выделения в конфигурации Spark для выделения исполнителей приложения Spark.	нет
Минимальное число исполнителей	Минимальное число исполнителей, которые будут выделены в указанном пуле Spark для этого задания.	нет
Максимальное число исполнителей	Максимальное число исполнителей, которые будут выделены в указанном пуле Spark для этого задания.	нет
Размер драйвера	Количество ядер и объем памяти, которые будут использоваться для драйвера, предоставленного для задания в указанном пуле Apache Spark.	нет
Аутентификация	Может проходить проверку подлинности с помощью управляемого удостоверения, назначаемого системой, или управляемого удостоверения, назначаемого пользователем.	нет

Примечание.

Выполнение параллельных записных книжек Spark в конвейерах Azure Synapse помещаются в очередь и выполняются в порядке очереди (FIFO); порядок выполнения заданий определяется временной последовательностью, а срок действия задания составляет 3 дня. Обратите внимание, что очередь для записных книжек работает только в рамках конвейера Synapse.

Добавьте записную книжку в конвейер Synapse

Нажмите кнопку Добавить в конвейер в правом верхнем углу для добавления записной книжки в существующий конвейер или создания нового конвейера.

Передача параметров

Назначение ячейки параметров

Чтобы параметризовать записную книжку, нажмите кнопку с многоточием (...), чтобы получить доступ к другим командам на панели инструментов для ячейки. Затем выберите Переключить ячейку параметров, чтобы назначить её ячейкой параметров.

Определите параметры в этой ячейке. Это может быть что-то так простое, как:

a = 1
b = 3
c = "Default Value"

На эти параметры можно ссылаться в других ячейках и при запуске записной книжки использовать значения по умолчанию, указанные в ячейке параметров.

При запуске этой записной книжки из конвейера Фабрика данных Azure ищет ячейку параметров и использует значения, предоставленные в качестве значений по умолчанию для параметров, переданных во время выполнения. При назначении значений параметров из конвейера подсистема выполнения добавит новую ячейку под ячейкой параметров с входными параметрами, чтобы перезаписать значения по умолчанию.

Назначьте значения параметров из потока данных

Создав записную книжку с параметрами, можно выполнить ее из конвейера с помощью действия записной книжки Synapse. Добавив действия в конвейер, вы можете задать значения параметров в разделе Базовые параметры на вкладке Параметры.

Совет

Фабрика данных не заполняет параметры автоматически. Необходимо добавить их вручную. Обязательно используйте точное имя в ячейке параметров в записной книжке и базовом параметре в конвейере.

После того как вы добавили параметры к вашему действию, Data Factory передаст указанные вами значения в ваш ноутбук, и ноутбук будет работать с этими новыми значениями параметров, вместо значений по умолчанию, указанных в ячейке параметров.

При назначении значений параметров можно использовать язык выражений для конвейера или системные переменные.

Чтение значения результата ячейки в блокноте Synapse

Вы можете считать выходное значение ячейки записной книжки в следующих действиях, следуя шагам ниже:

1. Вызовите API-метод mssparkutils.notebook.exit в активности записной книжки Synapse, чтобы вернуть значение, которое вы хотите показать в результате действия, например:

   mssparkutils.notebook.exit("hello world") 
   

   Сохранив содержимое записной книжки и повторно запустив конвейер, вы получите в выходных данных активности записной книжки значение exitValue, которое можно использовать в последующих действиях на шаге 2.

2. Считайте значение свойства exitValue из выходных данных действия записной книжки. Ниже представлено простое выражение, которое используется для проверки, равно ли значение exitValue, полученное из результата выполнения вычислительной активности, строке "hello world":

   

Запустите другую записную книжку Synapse

В активности записной книжки Synapse вы можете ссылаться на другие записные книжки, вызывая магическую команду %run или утилиты mssparkutils для записных книжек. Оба компонента поддерживают вложенные вызовы функций. Основные отличия этих двух методов, которые следует учитывать в зависимости от сценария, приведены ниже:

• Магическая команда %run копирует все ячейки из указанной записной книжки в ячейку %run и предоставляет доступ к контексту переменной. Если notebook1 ссылается на notebook2 через вызов %run notebook2, а notebook2 вызывает функцию mssparkutils.notebook.exit, выполнение ячейки в notebook1 останавливается. Мы рекомендуем использовать магическую команду %run, если вы хотите включить файл записной книжки.
• Утилиты mssparkutils для записных книжек вызывают указанную записную книжку как метод или функцию. Контекст переменной при этом не передается. Если notebook1 ссылается на notebook2 через вызов mssparkutils.notebook.run("notebook2"), а notebook2 вызывает функцию mssparkutils.notebook.exit, выполнение ячейки в notebook1 продолжается. Мы рекомендуем использовать служебные программы записных книжек mssparkutils, если вы хотите импортировать записную книжку.

Просмотр журнала выполнения действия записной книжки

Откройте раздел Запуски конвейера на вкладке Монитор, где отображается активированный конвейер. Откройте конвейер, который содержит действие записной книжки, чтобы просмотреть историю выполнения.

Нажав кнопку открыть записную книжку, вы увидите снимок последнего выполнения записной книжки, включая входные и выходные данные ячеек.

Открыть моментальный снимок записной книжки:

Чтобы изучить входные или выходные данные действия записной книжки, нажмите кнопку Входные данные или Выходные данные. Если конвейер завершился сбоем из-за пользовательской ошибки, в разделе Выходные данные можно проверить поле Результат с подробной трассировкой этой ошибки.

Определение действия блокнота Synapse

Вот пример JSON, содержащий определение действия блокнота Synapse.

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Выходные данные активности блокнота Synapse

Вот пример JSON-файла с выходными данными блокнота Synapse.

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Известные проблемы

Если имя блокнота параметризовано в процессе "Блокнот конвейера", то версия блокнота в статусе неопубликованного не может быть указана в запусках отладки.