Mengembangkan, menjalankan, dan mengelola notebook Microsoft Fabric

Notebook Microsoft Fabric adalah item kode utama untuk mengembangkan pekerjaan Apache Spark dan eksperimen pembelajaran mesin. Ini adalah permukaan interaktif berbasis web yang digunakan oleh ilmuwan data dan insinyur data untuk menulis kode yang mendapat manfaat dari visualisasi yang kaya dan teks Markdown. Artikel ini menjelaskan cara mengembangkan buku catatan dengan operasi sel kode dan menjalankannya.

Mengembangkan buku catatan

Notebooks terdiri dari sel, yang berupa blok individual kode atau teks yang bisa dijalankan secara independen atau sebagai grup.

Kami menyediakan operasi yang kaya untuk mengembangkan notebook:

• Menambahkan sel
• Mengatur bahasa utama
• Menggunakan beberapa bahasa
• IntelliSense bergaya IDE
• Cuplikan kode
• Seret dan letakkan untuk menyisipkan cuplikan
• Seret dan letakkan untuk menyisipkan gambar
• Memformat sel teks dengan tombol toolbar
• Membatalkan atau mengulangi operasi sel
• Memindahkan sel
• Menghapus sel
• Ciutkan input sel
• Menciutkan output sel
• Keamanan output sel
• Mengunci atau membekukan sel
• Konten buku catatan
• Pelipatan markdown
• Temukan dan ganti

Menambahkan sel

Ada beberapa cara untuk menambahkan sel baru ke notebook Anda.

1. Arahkan mouse ke ruang kosong di antara dua sel lalu pilih Kode atau Markdown.

2. Gunakan Tombol pintasan dalam mode perintah. Tekan A untuk menyisipkan sel di atas sel saat ini. Tekan B untuk menyisipkan sel di bawah sel saat ini.

Mengatur bahasa utama

Notebook Fabric saat ini mendukung empat bahasa Apache Spark:

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR

Anda dapat mengatur bahasa utama untuk sel baru yang ditambahkan dari daftar drop-down di bilah perintah atas.

Menggunakan beberapa bahasa

Anda bisa menggunakan beberapa bahasa dalam buku catatan dengan menentukan perintah ajaib bahasa di awal sel. Anda juga dapat mengalihkan bahasa sel dari pemilih bahasa. Tabel berikut mencantumkan perintah ajaib untuk beralih bahasa sel.

Perintah ajaib	Bahasa	Keterangan
%%pyspark	Python	Menjalankan kueri Python terhadap Spark Context.
%%spark	Scala	Menjalankan kueri Scala terhadap Spark Context.
%%sql	SparkSQL	Menjalankan kueri SparkSQL terhadap Spark Context.
%%html	Html	Jalankan kueri HTML terhadap Konteks Spark.
%%sparkr	R	Jalankan kueri R terhadap Konteks Spark.

IntelliSense bergaya IDE

Notebook Fabric terintegrasi dengan editor Monako untuk membawa IntelliSense bergaya IDE ke editor sel. Sorotan sintaksis, penanda kesalahan, dan penyelesaian kode otomatis membantu Anda menulis kode dengan cepat dan mengidentifikasi masalah.

Fitur IntelliSense berada pada tingkat kematangan yang berbeda untuk bahasa pemrogram yang berbeda. Tabel berikut menunjukkan apa yang didukung Fabric:

Bahasa	Sorotan sintaksis	Penanda kesalahan sintaksis	Penyelesaian kode sintaks	Penyelesaian kode variabel	Penyelesaian kode fungsi sistem	Penyelesaian kode fungsi pengguna	Inden pintar	Pelipatan kode
PySpark (Python)	Ya	Ya	Ya	Ya	Ya	Ya	Ya	Ya
Spark (Scala)	Ya	Ya	Ya	Ya	Ya	Ya	Ya	Ya
SparkSQL	Ya	Ya	Ya	Ya	Ya	No	Ya	Ya
SparkR	Ya	Ya	Ya	Ya	Ya	Ya	Ya	Ya

Catatan

Anda harus memiliki sesi Spark aktif untuk menggunakan penyelesaian kode IntelliSense.

Cuplikan kode

Notebook Fabric menyediakan cuplikan kode yang membantu Anda dengan mudah menulis pola kode yang umum digunakan, seperti:

• Membaca data sebagai Spark DataFrame
• Menggambar bagan dengan Matplotlib

Cuplikan muncul di Kunci pintasan gaya IDE IntelliSense bercampur dengan saran lain. Konten cuplikan kode selaras dengan bahasa sel kode. Anda dapat melihat cuplikan yang tersedia dengan mengetik Cuplikan. Anda juga dapat mengetik kata kunci apa pun untuk melihat daftar cuplikan yang relevan. Misalnya, jika Anda mengetik baca, Anda akan melihat daftar cuplikan untuk membaca data dari berbagai sumber data.

Seret dan letakkan untuk menyisipkan cuplikan

Gunakan seret dan letakkan untuk membaca data dari penjelajah Lakehouse dengan nyaman. Beberapa jenis file didukung di sini; Anda dapat beroperasi pada file teks, tabel, gambar, dll. Anda bisa menjatuhkan ke sel yang sudah ada atau ke sel baru. Notebook menghasilkan cuplikan kode yang sesuai untuk mempratinjau data.

Seret dan letakkan untuk menyisipkan gambar

Gunakan seret dan letakkan untuk menyisipkan gambar dengan mudah dari browser atau komputer lokal Anda ke sel markdown.

Memformat sel teks dengan tombol bilah alat

Untuk menyelesaikan tindakan markdown umum, gunakan tombol format di toolbar sel teks.

Membatalkan atau mengulangi operasi sel

Pilih Urungkan atau Ulangi, atau tekan Z atau Shift+Z untuk mencabut operasi sel terbaru. Anda dapat membatalkan atau mengulangi hingga 10 operasi sel historis terbaru.

Operasi sel undo yang didukung:

• Sisipkan atau hapus sel. Anda dapat mencabut operasi penghapusan dengan memilih Batalkan (konten teks disimpan bersama dengan sel).
• Susun ulang sel.
• Alihkan parameter.
• Konversi antara sel kode dan sel Markdown.

Catatan

Operasi teks dalam sel dan operasi komentar sel kode tidak dapat dibatalkan. Anda dapat membatalkan atau mengulangi hingga 10 operasi sel historis terbaru.

Memindahkan sel

Anda dapat menyeret dari bagian kosong sel dan meletakkannya ke posisi yang diinginkan.

Anda juga bisa memindahkan sel yang dipilih menggunakan Pindahkan ke atas dan Pindahkan ke bawah pada pita.

Menghapus sel

Untuk menghapus sel, pilih tombol hapus di sisi kanan sel.

Anda juga dapat menggunakan kunci pintasan dalam mode perintah. Tekan Shift+D untuk menghapus sel saat ini.

Menciutkan input sel

Pilih elipsis perintah Lainnya (...) pada toolbar sel dan Sembunyikan input untuk menciutkan input sel saat ini. Untuk memperluasnya lagi, pilih Tampilkan input saat sel diciutkan.

Menciutkan output sel

Pilih elipsis perintah Lainnya (...) pada toolbar sel dan Sembunyikan output untuk menciutkan output sel saat ini. Untuk memperluasnya lagi, pilih Tampilkan output saat output sel diciutkan.

Keamanan output sel

Menggunakan peran akses data OneLake (pratinjau), pengguna hanya dapat mengonfigurasi akses ke folder tertentu di lakehouse selama kueri buku catatan. Pengguna tanpa akses ke folder atau tabel akan melihat kesalahan yang tidak sah selama eksekusi kueri.

Penting

Keamanan hanya berlaku selama eksekusi kueri dan sel notebook apa pun yang berisi hasil kueri dapat dilihat oleh pengguna yang tidak berwenang untuk menjalankan kueri terhadap data secara langsung.

Mengunci atau membekukan sel

Operasi kunci dan bekukan sel memungkinkan Anda membuat sel baca-saja atau menghentikan sel kode dijalankan secara individual.

Gabungkan dan pisahkan sel

Anda bisa menggunakan Gabungkan dengan sel sebelumnya atau Gabungkan dengan sel berikutnya untuk menggabungkan sel terkait dengan nyaman.

Memilih Pisahkan sel membantu Anda memisahkan pernyataan yang tidak relevan ke beberapa sel. Operasi membagi kode sesuai dengan posisi baris kursor Anda.

Konten buku catatan

Memilih Kerangka atau Daftar Isi menyajikan header markdown pertama dari sel markdown apa pun di jendela bilah samping untuk navigasi cepat. Bilah samping Kerangka dapat diubah ukurannya dan dapat diciutkan agar sesuai dengan layar dengan cara terbaik. Pilih tombol Konten pada bilah perintah buku catatan untuk membuka atau menyembunyikan bilah samping.

Pelipatan markdown

Opsi lipat markdown memungkinkan Anda menyembunyikan sel di bawah sel markdown yang berisi judul. Sel markdown dan sel tersembunyinya diperlakukan sama dengan sekumpulan sel multi-dipilih yang berdampingan saat melakukan operasi sel.

Cari dan ganti

Opsi temukan dan ganti dapat membantu Anda mencocokkan dan menemukan kata kunci atau ekspresi dalam konten buku catatan Anda. Anda juga dapat dengan mudah mengganti string target dengan string baru.

Menjalankan notebook

Anda dapat menjalankan sel kode di notebook Anda satu per satu atau sekaligus. Status dan kemajuan setiap sel ditampilkan di buku catatan.

Menjalankan satu Sel

Ada beberapa cara untuk menjalankan kode dalam sel.

• Arahkan mouse ke sel yang ingin Anda jalankan dan pilih tombol Jalankan sel atau tekan Ctrl+Enter.

• Gunakan Tombol pintasan dalam mode perintah. Tekan Shift+Enter untuk menjalankan sel saat ini dan pilih sel berikutnya. Tekan Alt+Enter untuk menjalankan sel saat ini dan menyisipkan sel baru.

Menjalankan semua sel

Pilih tombol Jalankan semua untuk menjalankan semua sel di buku catatan saat ini secara berurutan.

Jalankan semua sel di atas atau di bawah

Perluas daftar drop-down dari Jalankan semua, lalu pilih Jalankan sel di atas untuk menjalankan semua sel di atas saat ini secara berurutan. Pilih Jalankan sel di bawah ini untuk menjalankan sel saat ini dan semua sel di bawah saat ini secara berurutan.

Membatalkan semua sel yang sedang berjalan

Pilih Batalkan semua untuk membatalkan sel atau sel yang sedang berjalan yang menunggu dalam antrean.

Menghentikan sesi

Hentikan sesi membatalkan sel yang sedang berjalan dan menunggu dan menghentikan sesi saat ini. Anda dapat memulai ulang sesi baru dengan memilih opsi jalankan lagi.

Eksekusi referensi

Referensi menjalankan Buku Catatan

Selain API eksekusi referensi mssparkutils, Anda juga dapat menggunakan %run <notebook name> perintah ajaib untuk mereferensikan notebook lain dalam konteks notebook saat ini. Semua variabel yang ditentukan dalam notebook referensi tersedia di buku catatan saat ini. %run Perintah ajaib mendukung panggilan berlapis tetapi tidak mendukung panggilan rekursif. Anda menerima pengecualian jika kedalaman pernyataan lebih besar dari lima.

Contoh: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }.

Referensi notebook berfungsi dalam mode interaktif dan alur.

Catatan

• Perintah %run saat ini hanya mendukung buku catatan referensi di ruang kerja yang sama dengan buku catatan saat ini.
• Perintah %run saat ini hanya mendukung hingga empat jenis nilai parameter: int, , floatbool, dan string. Operasi penggantian variabel tidak didukung.
• Perintah %run tidak mendukung referensi berlapis dengan kedalaman lebih besar dari lima.

Referensi menjalankan skrip

Perintah ini %run juga memungkinkan Anda menjalankan file Python atau SQL yang disimpan di sumber daya bawaan notebook, sehingga Anda dapat menjalankan file kode sumber anda di notebook dengan nyaman.

%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]

Untuk opsi:

• -b/--builtin: Opsi ini menunjukkan bahwa perintah akan menemukan dan menjalankan file skrip yang ditentukan dari sumber daya bawaan notebook.
• -c/--saat ini: Opsi ini memastikan bahwa perintah selalu menggunakan sumber daya bawaan buku catatan saat ini, meskipun buku catatan saat ini dirujuk oleh buku catatan lain.

Contoh:

• Untuk menjalankan script_file.py dari sumber daya bawaan: %run -b script_file.py

• Untuk menjalankan script_file.sql dari sumber daya bawaan: %run -b script_file.sql

• Untuk menjalankan script_file.py dari sumber daya bawaan dengan variabel tertentu: %run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }

Catatan

Jika perintah tidak berisi -b/--builtin, perintah akan mencoba menemukan dan menjalankan item buku catatan di dalam ruang kerja yang sama daripada sumber daya bawaan.

Contoh penggunaan untuk kasus eksekusi berlapis:

• Misalkan kita memiliki dua buku catatan.
  • Notebook1: Berisi script_file1.py dalam sumber daya bawaannya
  • Notebook2: Berisi script_file2.py dalam sumber daya bawaannya
• Mari kita gunakan Notebook1 bekerja sebagai buku catatan akar dengan konten: %run Notebook2.
• Kemudian di Notebook2 instruksi penggunaannya adalah:
  • Untuk menjalankan script_file1.py di Notebook1(Notebook akar) kodenya adalah: %run -b script_file1.py
  • Untuk menjalankan script_file2.py di Notebook2(Notebook saat ini) kodenya adalah: %run -b -c script_file2.py

Penjelajah variabel

Notebook Fabric menyediakan penjelajah variabel bawaan yang menampilkan daftar nama variabel, jenis, panjang, dan nilai dalam sesi Spark saat ini untuk sel PySpark (Python). Lebih banyak variabel muncul secara otomatis saat ditentukan dalam sel kode. Mengklik setiap header kolom mengurutkan variabel dalam tabel.

Untuk membuka atau menyembunyikan penjelajah variabel, pilih Variabel pada tampilan pita buku catatan.

Catatan

Penjelajah variabel hanya mendukung Python.

Indikator status Sel

Status eksekusi sel langkah demi langkah ditampilkan di bawah sel untuk membantu Anda melihat progresnya saat ini. Setelah eksekusi sel selesai, ringkasan eksekusi dengan total durasi dan waktu akhir muncul dan disimpan di sana untuk referensi di masa mendatang.

Indikator pekerjaan Spark sebaris

Notebook Fabric berbasis Spark. Sel kode dijalankan pada kluster Spark dari jarak jauh. Indikator kemajuan pekerjaan Spark disediakan dengan bilah kemajuan real time yang tampaknya membantu Anda memahami status eksekusi pekerjaan. Jumlah tugas per setiap pekerjaan atau tahap membantu Anda mengidentifikasi tingkat paralel pekerjaan Spark Anda. Anda juga dapat menelusuri lebih dalam ke antarmuka pengguna Spark dari pekerjaan (atau tahap) tertentu dengan memilih tautan pada nama pekerjaan (atau tahap).

Anda juga dapat menemukan log real-time tingkat Sel di samping indikator kemajuan, dan Diagnostik dapat memberi Anda saran yang berguna untuk membantu memperbaiki dan men-debug kode.

Di Tindakan lainnya, Anda dapat dengan mudah menavigasi ke halaman detail aplikasi Spark dan halaman antarmuka pengguna web Spark.

Redaksi rahasia

Untuk mencegah kredensial bocor secara tidak sengaja saat menjalankan notebook, notebook Fabric mendukung redaksi Rahasia untuk mengganti nilai rahasia yang ditampilkan dalam output sel dengan [REDACTED]. Redaksi rahasia berlaku untuk Python, Scala, dan R.

Perintah ajaib di buku catatan

Perintah ajaib bawaan

Anda dapat menggunakan perintah ajaib Ipython yang sudah dikenal di notebook Fabric. Tinjau daftar perintah ajaib yang saat ini tersedia.

Catatan

Ini adalah satu-satunya perintah ajaib yang didukung dalam alur Fabric: %%pyspark, %%spark, %%csharp, %%sql, %%configure.

Perintah ajaib baris yang tersedia: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoff, %log masuk, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %presisi, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.

Fabric notebook juga mendukung perintah manajemen pustaka yang ditingkatkan %pip dan %conda. Untuk informasi selengkapnya tentang penggunaan, lihat Mengelola pustaka Apache Spark di Microsoft Fabric.

Perintah ajaib sel yang tersedia: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%configure, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.

Perintah ajaib kustom

Anda juga dapat membangun lebih banyak perintah ajaib kustom untuk memenuhi kebutuhan spesifik Anda. Berikut contohnya:

1. Buat buku catatan dengan nama "MyLakehouseModule".

   

2. Di notebook lain, referensikan "MyLakehouseModule" dan perintah ajaibnya. Proses ini adalah bagaimana Anda dapat dengan mudah mengatur proyek Anda dengan buku catatan yang menggunakan bahasa yang berbeda.

   

Widget IPython

Widget IPython adalah objek Python yang penuh kejadian yang memiliki representasi di browser. Anda dapat menggunakan Widget IPython sebagai kontrol kode rendah (misalnya, slider atau kotak teks) di notebook Anda, sama seperti notebook Jupyter. Saat ini hanya berfungsi dalam konteks Python.

Untuk menggunakan Widget IPython

1. Impor modul ipywidgets terlebih dahulu untuk menggunakan kerangka kerja Widget Jupyter.

   import ipywidgets as widgets
   

2. Gunakan fungsi tampilan tingkat atas untuk merender widget, atau biarkan ekspresi jenis widget di baris terakhir sel kode.

   slider = widgets.IntSlider()
   display(slider)
   

3. Jalankan sel. Widget ditampilkan di area output.

   slider = widgets.IntSlider()
   display(slider)
   

   

4. Gunakan beberapa panggilan display() untuk merender instans widget yang sama beberapa kali. Mereka tetap sinkron satu sama lain.

   slider = widgets.IntSlider()
   display(slider)
   display(slider)
   

   

5. Untuk merender dua widget independen dari satu sama lain, buat dua instans widget:

   slider1 = widgets.IntSlider()
   slider2 = widgets.IntSlider()
   display(slider1)
   display(slider2)
   

   

Widget yang didukung

Jenis widget	Widget
Widget numerik	IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText
Widget Boolean	ToggleButton, Checkbox, Valid
Widget pilihan	Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple
Widget string	Teks, area Teks, Combobox, Kata Sandi, Label, HTML, HTML Math, Citra, Tombol
Memutar widget (animasi)	Pemilih tanggal, Pemilih warna, Pengontrol
Widget kontainer atau tata letak	Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked

Pembatasan yang diketahui

• Widget berikut belum didukung. Solusi berikut tersedia:

  Fungsionalitas	Solusi Sementara
  Widget output	Anda dapat menggunakan fungsi print() sebagai gantinya untuk menulis teks ke stdout.
  widgets.jslink()	Anda dapat menggunakan fungsi widgets.link() untuk menautkan dua widget serupa.
  Widget FileUpload	Belum didukung.

• Fungsi tampilan global Fabric tidak mendukung tampilan beberapa widget dalam satu panggilan (misalnya, display(a, b)). Perilaku ini berbeda dari fungsi tampilan IPython.

• Jika Anda menutup notebook yang berisi widget IPython, Anda tidak dapat melihat atau berinteraksi dengannya sampai Anda menjalankan sel yang sesuai lagi.

Mengintegrasikan notebook

Menetapkan sel parameter

Untuk membuat parameter buku catatan Anda, pilih elipsis (...) untuk mengakses perintah Lainnya di toolbar sel. Lalu pilih Alihkan sel parameter untuk menetapkan sel sebagai sel parameter.

Sel parameter berguna untuk mengintegrasikan buku catatan dalam alur. Aktivitas alur mencari sel parameter dan memperlakukan sel ini sebagai default untuk parameter yang diteruskan pada waktu eksekusi. Mesin eksekusi menambahkan sel baru di bawah sel parameter dengan parameter input untuk menimpa nilai default.

Menetapkan nilai parameter dari alur

Setelah membuat notebook dengan parameter, Anda dapat menjalankannya dari alur dengan aktivitas notebook Fabric. Setelah menambahkan aktivitas ke kanvas alur, Anda dapat mengatur nilai parameter di bawah bagian Parameter dasar dari tab Pengaturan.

Saat menetapkan nilai parameter, Anda dapat menggunakan bahasa atau fungsi ekspresi alur dan variabel.

Perintah ajaib konfigurasi sesi Spark

Anda dapat mempersonalisasi sesi Spark Anda dengan perintah ajaib %%configure. Notebook Fabric mendukung vCore yang disesuaikan, Memori Driver dan Eksekutor, properti Spark, titik pemasangan, kumpulan, dan lakehouse default sesi notebook. Mereka dapat digunakan dalam notebook interaktif dan aktivitas notebook alur. Kami menyarankan agar Anda menjalankan perintah %%configure di awal buku catatan Anda, atau Anda harus memulai ulang sesi Spark agar pengaturan berlaku.

%%configure
{
    // You can get a list of valid parameters to config the session from  https://github.com/cloudera/livy#request-body.
    "driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g", "472g"]
    "driverCores": 4, // Recommended values: [4, 8, 16, 32, 64, 80]
    "executorMemory": "28g",
    "executorCores": 4,
    "jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
    "conf": {
        // Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
        "livy.rsc.sql.num-rows": "3000",
        "spark.log.level": "ALL"
    }
    "defaultLakehouse": {  // This overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
    "useStarterPool": false,  // Set to true to force using starter pool
    "useWorkspacePool": "<workspace-pool-name>"
}

Catatan

• Kami menyarankan agar Anda menetapkan nilai yang sama untuk "DriverMemory" dan "ExecutorMemory" di %%configure. Nilai "driverCores" dan "executorCores" juga harus sama.
• "defaultLakehouse" akan menimpa lakehouse yang disematkan di penjelajah Lakehouse, tetapi itu hanya berfungsi di sesi buku catatan Anda saat ini.
• Anda dapat menggunakan %%configure dalam alur Fabric, tetapi jika tidak diatur dalam sel kode pertama, eksekusi alur akan gagal karena tidak dapat memulai ulang sesi.
• Konfigurasi %%yang digunakan dalam mssparkutils.notebook.run akan diabaikan tetapi digunakan dalam %run notebook akan terus dijalankan.
• Properti konfigurasi Spark standar harus digunakan dalam isi "conf". Fabric tidak mendukung referensi tingkat pertama untuk properti konfigurasi Spark.
• Beberapa properti Spark khusus, termasuk "spark.driver.cores", "spark.executor.cores", "spark.driver.memory", "spark.executor.memory", dan "spark.executor.instances" tidak berlaku dalam isi "conf".

Konfigurasi sesi berparameter dari alur

Konfigurasi sesi berparameter memungkinkan Anda mengganti nilai dalam %%configure magic dengan parameter aktivitas notebook eksekusi alur. Saat menyiapkan sel kode %%configure, Anda dapat mengganti nilai default (juga dapat dikonfigurasi, 4 dan "2000" dalam contoh di bawah) dengan objek seperti ini:

{
      "parameterName": "paramterNameInPipelineNotebookActivity",
      "defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
} 

%%configure  

{ 
    "driverCores": 
    { 
        "parameterName": "driverCoresFromNotebookActivity", 
        "defaultValue": 4 
    }, 
    "conf": 
    { 
        "livy.rsc.sql.num-rows": 
        { 
            "parameterName": "rows", 
            "defaultValue": "2000" 
        } 
    } 
} 

Notebook menggunakan nilai default jika Anda menjalankan notebook dalam mode interaktif secara langsung atau jika aktivitas notebook alur tidak memberikan parameter yang cocok dengan "activityParameterName."

Selama eksekusi alur, Anda dapat mengonfigurasi pengaturan aktivitas buku catatan alur sebagai berikut:

Jika Anda ingin mengubah konfigurasi sesi, nama parameter aktivitas notebook alur harus sama seperti parameterName di buku catatan. Dalam contoh menjalankan alur ini, driverCores dalam %%configure digantikan oleh 8, dan livy.rsc.sql.num-rows diganti dengan 4000.

Catatan

• Jika eksekusi alur gagal karena Anda menggunakan perintah ajaib %%configure, temukan informasi kesalahan lainnya dengan menjalankan %%configure magic cell dalam mode interaktif notebook.
• Eksekusi terjadwal notebook tidak mendukung konfigurasi sesi berparameter.

Pengelogan Python di buku catatan

Anda dapat menemukan log Python dan mengatur tingkat log dan format yang berbeda seperti kode sampel yang diperlihatkan di sini:

import logging

# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
    handler.setFormatter(formatter)

# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)

# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)

# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")

# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")

Melihat riwayat perintah input

Fabric notebook mendukung perintah %history ajaib untuk mencetak riwayat perintah input yang dijalankan dalam sesi saat ini, dibandingkan dengan perintah %history Jupyter Ipython standar yang berfungsi untuk konteks beberapa bahasa dalam notebook.

%history [-n] [range [range ...]]

Untuk opsi:

• -n: Cetak nomor eksekusi.

Di mana rentang dapat:

• N: Cetak kode sel Nth yang dijalankan.
• M-N: Cetak kode dari Mth ke sel Nth yang dijalankan.

Contoh:

• Cetak riwayat input dari sel yang dijalankan ke-1 hingga ke-2: %history -n 1-2

Kunci pintasan

Mirip dengan Jupyter Notebooks, notebook Fabric memiliki antarmuka pengguna modal. Papan tombol melakukan hal yang berbeda tergantung pada mode mana yang digunakan sel buku catatan. Notebook Fabric mendukung dua mode berikut untuk sel kode tertentu: Mode perintah dan mode Edit.

• Sel berada dalam mode Perintah saat tidak ada kursor teks yang meminta Anda untuk mengetik. Saat sel berada dalam mode Perintah, Anda dapat mengedit notebook secara keseluruhan tetapi tidak mengetik ke dalam sel individual. Masukkan mode Perintah dengan menekan ESC atau menggunakan mouse untuk memilih di luar area editor sel.

  

• Mode edit dapat ditunjukkan dari kursor teks yang meminta Anda mengetik di area editor. Saat sel berada dalam mode Edit, Anda bisa mengetik ke dalam sel. Masukkan mode Edit dengan menekan Enter atau menggunakan mouse untuk memilih area editor sel.

  

Tombol pintasan dalam mode perintah

Perbuatan	Pintasan buku catatan
Menjalankan sel saat ini dan memilih sel di bawah	Shift+Enter
Menjalankan sel saat ini dan menyisipkan di bawah	Alt+Enter
Menjalankan sel saat ini	Ctrl+Enter
Memilih sel di atas	Naik
Memilih sel di bawah	Tidak berfungsi
Memilih sel sebelumnya	K
Memilih sel berikutnya	J
Menyisipkan sel di atas	A
Menyisipkan sel di bawah	B
Menghapus sel yang dipilih	Shift + D
Beralih ke mode edit	Enter

Tombol pintasan dalam mode edit

Dengan menggunakan pintasan penekanan tombol berikut, Anda dapat dengan mudah menavigasi dan menjalankan kode di notebook Fabric saat dalam mode Edit.

Perbuatan	Pintasan buku catatan
Memindahkan kursor ke atas	Naik
Memindahkan kursor ke bawah	Tidak berfungsi
Undo	Ctrl + Z
Mengulangi	Ctrl + Y
Komentar atau Batalkan Komentar	Ctrl + / Komentar: Ctrl + K + C Batalkan komentar: Ctrl + K + U
Menghapus kata sebelumnya	Ctrl + Backspace
Menghapus kata setelahnya	Ctrl + Delete
Lompat ke sel awal	Ctrl + Home
Lompat ke sel akhir	Ctrl + End
Ke satu kata ke sebelah kiri	Ctrl + Kiri
Pergi satu kata ke kanan	Ctrl + Kanan
Pilih semua	Ctrl + A
Inden	Ctrl +]
Deden (Dedent)	Ctrl + [
Beralih ke mode perintah	Esc

Untuk menemukan semua tombol pintasan, pilih Tampilkan pada pita buku catatan, lalu pilih Pengikatan Tombol.

Konten terkait

• Visualisasi buku catatan
• Pengenalan Fabric MSSparkUtils