Mentransformasikan data dengan menjalankan buku catatan Synapse

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Petunjuk / Saran

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Aktivitas notebook Azure Synapse dalam alur Synapse menjalankan buku catatan Synapse. Artikel ini membangun artikel aktivitas transformasi data, yang menyajikan gambaran umum tentang transformasi data dan aktivitas transformasi yang didukung.

Membuat aktivitas notebook Synapse

Anda dapat membuat aktivitas Synapse notebook langsung dari kanvas alur Synapse atau dari editor notebook. Aktivitas notebook Synapse berjalan pada kumpulan Spark yang dipilih pada notebook Synapse.

Menambahkan aktivitas Synapse notebook dari alur kanvas

Seret dan lepas Synapse notebook di bawah Aktivitas ke kanvas alur Synapse. Pilih pada kotak aktivitas Synapse notebook dan konfigurasikan konten notebook untuk aktivitas saat ini di pengaturan. Anda dapat memilih notebook yang sudah ada dari ruang kerja saat ini atau menambahkan yang baru.

Jika Anda memilih buku catatan yang sudah ada dari ruang kerja saat ini, Anda bisa mengklik tombol Buka untuk langsung membuka halaman buku catatan.

(Optional) Anda juga dapat mengonfigurasi ulang ukuran Spark pool\Eksekutor\Mengalokasikan eksekutor secara dinamis\Minimal eksekutor\Maksimal eksekutor\Ukuran driver\Otentikasi dalam pengaturan. Perlu dicatat bahwa pengaturan yang dikonfigurasi ulang di sini akan menggantikan pengaturan sesi konfigurasi di Notebook. Jika tidak ada yang diatur dalam pengaturan aktivitas notebook saat ini, pengaturan tersebut akan berjalan dengan pengaturan sesi konfigurasi di notebook tersebut.

Properti	Deskripsi	Wajib diisi
Kumpulan Spark	Referensi ke kumpulan Spark. Anda dapat memilih kumpulan Apache Spark dari daftar. Jika pengaturan ini kosong, maka akan dijalankan di kumpulan spark dari notebook itu sendiri.	Tidak
Ukuran Pelaksana	Jumlah inti dan memori yang akan digunakan untuk eksekutor yang dialokasikan di kumpulan Spark yang ditentukan untuk sesi.	Tidak
Mengalokasikan pelaksana secara dinamis	Pengaturan ini dipetakan ke properti alokasi dinamis dalam konfigurasi Spark untuk alokasi eksekutor Aplikasi Spark.	Tidak
Jumlah minimum pelaksana	Jumlah minimum eksekutor yang akan dialokasikan dalam kumpulan Spark yang ditentukan untuk pekerjaan tersebut.	Tidak
Jumlah maksimum eksekutor	Jumlah maksimum eksekutor yang akan dialokasikan dalam kumpulan Spark yang ditentukan untuk pekerjaan tersebut.	Tidak
Ukuran driver	Jumlah inti dan memori yang akan digunakan untuk driver pada kumpulan Apache Spark yang telah ditentukan untuk pekerjaan tersebut.	Tidak
Otentikasi	Dapat mengautentikasi menggunakan identitas terkelola yang ditetapkan sistem atau identitas terkelola yang ditetapkan pengguna.	Tidak

Catatan

Eksekusi paralel Spark Notebooks dalam pipeline Azure Synapse diantrekan dan dieksekusi dengan metode FIFO, urutan pekerjaan dalam antrean sesuai dengan urutan waktu, dan waktu kedaluwarsa pekerjaan dalam antrean adalah 3 hari. Harap diperhatikan bahwa fungsi antrean untuk notebook hanya tersedia dalam pipeline Synapse.

Menambahkan notebook ke alur Synapse

Pilih tombol Tambahkan ke alur di sudut kanan atas untuk menambahkan notebook ke saluran yang sudah ada atau membuat saluran baru.

Pengoperan Parameter

Menetapkan sel parameter

Untuk menetapkan parameter notebook Anda, pilih elipsis (...) untuk mengakses perintah lainnya di toolbar sel. Lalu pilih Alihkan sel parameter untuk menetapkan sel sebagai sel parameter.

Tentukan parameter Anda dalam sel ini. Ini bisa menjadi sesuatu yang sederhana seperti:

a = 1
b = 3
c = "Default Value"

Anda dapat mereferensikan parameter ini di sel lain dan saat menjalankan buku catatan untuk menggunakan nilai default yang Anda tentukan di sel parameter.

Saat Anda menjalankan buku catatan ini dari alur kerja, Azure Data Factory mencari sel parameter dan menggunakan nilai yang Anda berikan sebagai default untuk parameter yang diteruskan saat proses dijalankan. Jika Anda menetapkan nilai parameter dari alur, mesin eksekusi akan menambahkan sel baru di bawah sel parameter dengan parameter input untuk menimpa nilai default.

Menetapkan nilai parameter dari alur

Setelah membuat notebook dengan parameter, Anda dapat menjalankannya dari alur dengan aktivitas Synapse notebook. Setelah Anda menambahkan aktivitas ke kanvas alur, Anda akan dapat mengatur nilai parameter di bagianParameter dasar pada tab Pengaturan.

Petunjuk / Saran

Data Factory tidak akan secara otomatis mengisi parameter. Anda perlu menambahkannya secara manual. Pastikan untuk menggunakan nama yang sama persis di sel parameter Anda di notebook dan parameter dasar dalam alur.

Setelah Anda menambahkan parameter ke aktivitas Anda, Data Factory akan meneruskan nilai yang Anda tentukan dalam aktivitas Anda ke buku catatan Anda, dan buku catatan Anda akan berjalan dengan nilai parameter baru tersebut, alih-alih default yang Anda tentukan di sel parameter.

Saat menetapkan nilai parameter, Anda dapat menggunakan bahasa pemrograman ekspresi alur atau variabel sistem.

Baca nilai output dari sel notebook Synapse

Anda dapat membaca nilai output sel notebook pada aktivitas selanjutnya dengan mengikuti langkah-langkah di bawah ini:

1. Hubungi mssparkutils.notebook.exit API dalam aktivitas Synapse notebook Anda untuk mengembalikan nilai yang ingin Anda tampilkan dalam output aktivitas, misalnya:

   mssparkutils.notebook.exit("hello world") 
   

   Menyimpan konten notebook dan memicu ulang pipeline, output aktivitas notebook akan berisi exitValue yang dapat dikonsumsi untuk aktivitas berikut di langkah 2.

2. Bacalah properti exitValue dari keluaran aktivitas notebook. Berikut adalah contoh ekspresi yang digunakan untuk memeriksa apakah exitValue yang diambil dari output aktivitas notebook sama dengan "halo dunia":

   

Menjalankan notebook Synapse lain

Anda dapat mereferensikan notebook lain dalam aktivitas Synapse notebook dengan memanggil %run magic atau utilitas notebook mssparkutils. Keduanya mendukung panggilan fungsi bersarang. Perbedaan utama dari kedua metode ini yang harus Anda pertimbangkan berdasarkan skenario Anda adalah:

• %run magic menyalin semua sel dari notebook yang direferensikan ke %run cell dan membagi konteks variabel. Saat notebook1 mereferensikan notebook2 melalui %run notebook2 dan notebook2 memanggil fungsi mssparkutils.notebook.exit, eksekusi sel di notebook1 akan dihentikan. Sebaiknya gunakan %run magic saat Anda ingin "menyertakan" file notebook.
• Utilitas notebook mssparkutils memanggil notebook yang direferensikan sebagai metode atau fungsi. Konteks variabel tidak dibagikan. Saat notebook1 mereferensikan notebook2 melalui mssparkutils.notebook.run("notebook2") dan notebook2 memanggil fungsi mssparkutils.notebook.exit, eksekusi sel di notebook1 akan dilanjutkan. Sebaiknya gunakan utilitas notebook mssparkutils saat Anda ingin "mengimpor" notebook.

Melihat riwayat aktivitas menjalankan notebook

Pergi ke Pelaksanaan Pipeline di bawah tab Monitor, Anda akan melihat pipeline yang telah Anda picu. Buka pipeline yang berisi aktivitas notebook untuk melihat riwayat eksekusi.

Anda dapat melihat rekam jepret perjalanan notebook terbaru termasuk input dan output sel dengan memilih tombol buka notebook.

Buka cuplikan notebook:

Anda dapat melihat input atau output aktivitas notebook dengan memilih tombol input atau Output. Jika pipeline Anda mengalami kegagalan karena kesalahan pengguna, pilih output untuk memeriksa bidang hasil dan melihat penelusuran kesalahan pengguna yang terperinci.

Definisi aktivitas untuk notebook Synapse

Berikut adalah contoh definisi JSON dari aktivitas Synapse notebook:

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Hasil Aktivitas Notebook Synapse

Berikut adalah contoh JSON dari output aktivitas notebook Synapse:

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Masalah umum

Jika nama buku catatan diparmetris dalam aktivitas Buku Catatan Alur, maka versi buku catatan dalam status tidak diterbitkan tidak dapat direferensikan dalam eksekusi debug.