Microsoft Fabric Notebook 개발, 실행 및 관리

아티클
04/17/2024

Microsoft Fabric Notebook은 Apache Spark 작업 및 기계 학습 실험을 개발하기 위한 기본 코드 항목입니다. 데이터 과학자와 데이터 엔지니어가 풍부한 시각화 및 Markdown 텍스트를 활용하는 코드를 작성하는 데 사용하는 웹 기반 대화형 화면입니다. 이 문서에서는 코드 셀 작업을 사용하여 Notebook을 개발하고 실행하는 방법을 설명합니다.

Notebook 개발

Notebook은 셀로 구성됩니다. 셀은 독립적으로 또는 그룹으로 실행할 수 있는 개별 코드 또는 텍스트 블록입니다.

Notebook을 개발하기 위한 다양한 작업을 제공합니다.

셀 추가
주 언어 설정
여러 언어 사용
IDE 스타일 IntelliSense
코드 조각
끌어서 놓아 코드 조각 삽입
끌어서 놓아 이미지 삽입
도구 모음 단추를 사용하여 텍스트 셀 서식 지정
셀 작업 실행 취소 또는 다시 실행
셀 이동
셀 삭제
셀 입력 접기
셀 출력 접기
셀 출력 보안
셀 잠금 또는 고정
전자 필기장 콘텐츠
Markdown 접기
찾기 및 바꾸기

셀 추가

Notebook에 새 셀을 추가하는 방법은 여러 가지입니다.

두 셀 사이의 공간을 마우스로 가리키고 코드 또는 Markdown을 선택합니다.
명령 모드에서 바로 가기 키를 사용합니다. 현재 셀 위에 셀을 삽입하려면 A 를 누릅니다. 현재 셀 아래에 셀을 삽입하려면 B를 누릅니다.

주 언어 설정

패브릭 Notebook은 현재 4개의 Apache Spark 언어를 지원합니다.

PySpark(Python)
Spark(Scala)
Spark SQL
SparkR

위쪽 명령 모음의 드롭다운 목록에서 새로 추가된 셀에 대한 기본 언어를 설정할 수 있습니다.

여러 언어 사용

셀의 시작 부분에 언어 매직 명령을 지정하여 Notebook에서 여러 언어를 사용할 수 있습니다. 언어 선택기에서 셀 언어를 전환할 수도 있습니다. 다음 표에서는 셀 언어를 전환하기 위한 매직 명령을 나열합니다.

매직 명령	언어	설명
%%pyspark	Python	Spark 컨텍스트에 대해 Python 쿼리를 실행합니다.
%%spark	스칼라	Spark 컨텍스트에 대해 Scala 쿼리를 실행합니다.
%%sql	SparkSQL	Spark 컨텍스트에 대해 SparkSQL 쿼리를 실행합니다.
%%html	Html	Spark 컨텍스트에 대해 HTML 쿼리를 실행합니다.
%%sparkr	R	Spark 컨텍스트에 대해 R 쿼리를 실행합니다.

IDE 스타일 IntelliSense

패브릭 노트북은 IDE 스타일의 IntelliSense를 셀 편집기로 가져오기 위해 Monaco 편집기와 통합됩니다. 구문 강조 표시, 오류 표식 및 자동 코드 완성을 통해 코드를 빠르게 작성하고 문제를 식별할 수 있습니다.

IntelliSense 기능은 완성도 수준이 언어마다 다릅니다. 다음 표에서는 Fabric에서 지원하는 내용을 보여 줍니다.

언어	구문 강조 표시	구문 오류 표식	구문 코드 완성	변수 코드 완성	시스템 함수 코드 완성	사용자 함수 코드 완성	스마트 들여쓰기	코드 접기
PySpark(Python)	예	네	네	네	네	네	네	예
Spark(Scala)	예	네	네	네	네	네	네	예
SparkSQL	예	네	네	네	네	없음	예	예
SparkR	예	네	네	네	네	네	네	예

참고 항목

IntelliSense 코드 완성을 사용하려면 활성 Spark 세션이 있어야 합니다.

코드 조각

패브릭 Notebook은 다음과 같이 일반적으로 사용되는 코드 패턴을 쉽게 작성하는 데 도움이 되는 코드 조각을 제공합니다.

Spark 데이터 프레임으로 데이터 읽기
Matplotlib를 사용하여 차트 그리기

코드 조각은 IDE 스타일 IntelliSense의 바로 가기 키에 다른 제안 사항과 함께 표시됩니다. 코드 조각 내용이 코드 셀 언어와 일치합니다. 코드 조각을 입력하여 사용 가능한 코드 조각을 볼 수 있습니다. 관련 코드 조각 목록을 보려면 키워드(keyword) 입력할 수도 있습니다. 예를 들어 읽기를 입력하면 다양한 데이터 원본에서 데이터를 읽을 코드 조각 목록이 표시됩니다.

코드 조각의 애니메이션 GIF입니다.

끌어서 놓아 코드 조각 삽입

끌어서 놓기를 사용하여 Lakehouse 탐색기에서 데이터를 편리하게 읽을 수 있습니다. 여기서는 여러 파일 형식이 지원됩니다. 텍스트 파일, 테이블, 이미지 등에서 작업할 수 있습니다. 기존 셀 또는 새 셀에 놓을 수 있습니다. Notebook은 데이터를 미리 보기 위해 그에 따라 코드 조각을 생성합니다.

조각 삽입을 위한 끌어서 놓기의 애니메이션 GIF입니다.

끌어서 놓아 이미지 삽입

끌어서 놓기를 사용하여 브라우저 또는 로컬 컴퓨터의 이미지를 markdown 셀에 쉽게 삽입할 수 있습니다.

이미지를 삽입하기 위한 끌어서 놓기의 애니메이션 GIF입니다.

일반적인 markdown 작업을 완료하려면 텍스트 셀 도구 모음의 서식 단추를 사용합니다.

셀 작업 실행 취소 또는 다시 실행

실행 취소 또는 다시 실행을 선택하거나 Z 또는 Shift+Z를 눌러 가장 최근의 셀 작업을 취소합니다. 최신 기록 셀 작업을 최대 10개까지 실행 취소하거나 다시 실행할 수 있습니다.

지원되는 실행 취소 셀 작업:

셀을 삽입하거나 삭제합니다. 실행 취소(텍스트 내용이 셀과 함께 유지됨)를 선택하여 삭제 작업을 취소할 수 있습니다.
셀 다시 정렬
매개 변수 설정/해제
코드 셀과 Markdown 셀 간에 변환합니다.

참고 항목

셀 내 텍스트 작업 및 코드 셀 주석 처리 작업은 실행 취소할 수 없습니다. 최신 기록 셀 작업을 최대 10개까지 실행 취소하거나 다시 실행할 수 있습니다.

셀 이동

셀의 빈 부분에서 끌어 원하는 위치로 놓을 수 있습니다.

리본에서 위로 이동 및 아래로 이동을 사용하여 선택한 셀을 이동할 수도 있습니다.

셀 삭제

셀을 삭제하려면 셀 오른쪽에 있는 삭제 단추를 선택합니다.

명령 모드에서 바로 가기 키를 사용할 수도 있습니다. 현재 행을 삭제하려면 Shift+D를 누릅니다.

셀 입력 접기

셀 도구 모음에서 기타 명령 줄임표(...)를 선택하고 입력을 숨겨 현재 셀의 입력을 축소합니다. 다시 확장하려면 셀이 축소될 때 입력 표시를 선택합니다.

셀 출력 접기

셀 도구 모음에서 기타 명령 줄임표(...)를 선택하고 출력을 숨겨 현재 셀의 출력을 축소합니다. 다시 확장하려면 셀 출력이 축소될 때 출력 표시를 선택합니다.

셀 출력 보안

OneLake 데이터 액세스 역할(미리 보기)을 사용하여 사용자는 Notebook 쿼리 중에 레이크하우스의 특정 폴더에 대한 액세스만 구성할 수 있습니다. 폴더 또는 테이블에 액세스할 수 없는 사용자는 쿼리를 실행하는 동안 무단 오류가 표시됩니다.

Important

보안은 쿼리 실행 중에만 적용되며 쿼리 결과가 포함된 Notebook 셀은 데이터에 대해 쿼리를 직접 실행할 권한이 없는 사용자가 볼 수 있습니다.

셀 잠금 또는 고정

셀 잠금 및 고정 작업을 사용하면 셀을 읽기 전용으로 만들거나 코드 셀이 개별적으로 실행되지 않도록 할 수 있습니다.

잠금 또는 고정 셀의 애니메이션 GIF입니다.

셀 병합 및 분할

이전 셀과 병합을 사용하거나 다음 셀과 병합을 사용하여 관련 셀을 편리하게 병합할 수 있습니다.

분할 셀을 선택하면 관련이 없는 문을 여러 셀로 분할할 수 있습니다. 이 작업은 커서의 줄 위치에 따라 코드를 분할합니다.

전자 필기장 콘텐츠

개요 또는 목차를 선택하면 빠른 탐색을 위해 사이드바 창에 있는 markdown 셀의 첫 번째 markdown 헤더가 표시됩니다. 개요 사이드바의 크기는 조정 가능하며 화면이 가능한 최상의 방법으로 맞도록 축소할 수 있습니다. Notebook 명령 모음에서 내용 단추를 선택하여 사이드바를 열거나 숨깁니다.

Markdown 접기

markdown 접기 옵션을 사용하면 제목이 포함된 markdown 셀 아래에 셀을 숨길 수 있습니다. markdown 셀과 숨겨진 셀은 셀 작업을 수행할 때 연속된 다중 선택 셀 집합과 동일하게 처리됩니다.

Markdown 접기의 애니메이션 GIF입니다.

찾기 및 바꾸기

찾기 및 바꾸기 옵션을 사용하면 전자 필기장 콘텐츠 내에서 키워드(keyword) 또는 식을 일치시키고 찾을 수 있습니다. 대상 문자열을 새 문자열로 쉽게 바꿀 수도 있습니다.

Notebook 실행

Notebook의 코드 셀을 개별적으로 또는 한꺼번에 실행할 수 있습니다. 각 셀의 상태 및 진행률이 Notebook에 표시됩니다.

셀 실행

셀에서 코드를 실행하는 방법은 여러 가지입니다.

실행하려는 셀을 마우스로 가리키고 셀 실행 단추를 선택하거나 Ctrl+Enter를 누릅니다.
명령 모드에서 바로 가기 키를 사용합니다. Shift+Enter를 눌러 현재 셀을 실행하고 다음 셀을 선택합니다. Alt+Enter를 눌러 현재 셀을 실행하고 새 셀을 삽입합니다.

모든 셀 실행

모두 실행 단추를 선택하여 현재 Notebook의 모든 셀을 순서대로 실행합니다.

위 또는 아래 셀 모두 실행

모두 실행에서 드롭다운 목록을 확장한 다음 위의 셀 실행을 선택하여 현재 위의 모든 셀을 순서대로 실행합니다. 아래 셀 실행을 선택하여 현재 셀과 현재 셀 아래의 모든 셀을 순서대로 실행합니다.

실행 중인 모든 셀 취소

모두 취소를 선택하여 큐에서 대기 중인 셀 또는 실행 중인 셀을 취소합니다.

세션 중지

세션 중지는 실행 중인 셀과 대기 중인 셀을 취소하고 현재 세션을 중지합니다. 실행 옵션을 다시 선택하여 새 세션을 다시 시작할 수 있습니다.

참조 실행

참조에서 Notebook 실행

mssparkutils 참조 실행 API 외에도 매직 명령을 사용하여 %run <notebook name> 현재 Notebook의 컨텍스트 내에서 다른 Notebook을 참조할 수도 있습니다. 참조 Notebook에 정의된 모든 변수는 현재 Notebook에서 사용할 수 있습니다. %run 매직 명령은 중첩된 호출을 지원하지만 재귀 호출은 지원하지 않습니다. 문 깊이가 5보다 크면 예외가 발생합니다.

예: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }

Notebook 참조는 대화형 모드와 파이프라인 모두에서 작동합니다.

참고 항목

이 %run 명령은 현재 Notebook과 동일한 작업 영역의 참조 Notebook만 지원합니다.
이 %run 명령은 현재 최대 4개의 매개 변수 값 형식 int( , float, bool및 string)만 지원합니다. 변수 대체 작업은 지원되지 않습니다.
이 %run 명령은 깊이가 5보다 큰 중첩 참조를 지원하지 않습니다.

참조에서 스크립트 실행

또한 이 %run 명령을 사용하면 Notebook의 기본 제공 리소스에 저장된 Python 또는 SQL 파일을 실행할 수 있으므로 Notebook에서 소스 코드 파일을 편리하게 실행할 수 있습니다.

%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]

옵션의 경우:

-b/--builtin: 이 옵션은 명령이 Notebook의 기본 제공 리소스에서 지정된 스크립트 파일을 찾아서 실행한다는 것을 나타냅니다.
-c/--current: 이 옵션은 현재 Notebook이 다른 Notebook에서 참조하는 경우에도 명령이 항상 현재 Notebook의 기본 제공 리소스를 사용하는지 확인합니다.

예:

기본 제공 리소스에서 script_file.py 실행하려면 다음을 수행합니다.%run -b script_file.py
기본 제공 리소스에서 script_file.sql 실행하려면 다음을 수행합니다.%run -b script_file.sql
특정 변수를 사용하여 기본 제공 리소스에서 script_file.py 실행하려면 다음을 수행합니다.%run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }

참고 항목

명령에 -b/--builtin이 포함되어 있지 않으면 기본 제공 리소스가 아닌 동일한 작업 영역 내에서 Notebook 항목을 찾아 실행하려고 시도합니다.

중첩된 실행 사례에 대한 사용 예제:

전자 필기장이 두 개 있다고 가정해 보겠습니다.
- Notebook1: 기본 제공 리소스에 script_file1.py 포함
- Notebook2: 기본 제공 리소스에 script_file2.py 포함
Notebook1 작업을 콘텐츠%run Notebook2가 포함된 루트 Notebook으로 사용하겠습니다.
그런 다음 Notebook2에서 사용 지침은 다음과 같습니다.
- Notebook1(루트 Notebook)에서 script_file1.py 실행하려면 코드는 다음과 같습니다.%run -b script_file1.py
- Notebook2(현재 Notebook)에서 script_file2.py 실행하려면 코드는 다음과 같습니다.%run -b -c script_file2.py

변수 탐색기

패브릭 Notebook은 PySpark(Python) 셀의 현재 Spark 세션에서 변수 이름, 형식, 길이 및 값 목록을 표시하는 기본 제공 변수 탐색기를 제공합니다. 코드 셀에 정의된 대로 더 많은 변수가 자동으로 표시됩니다. 각 열 머리글을 클릭하면 테이블의 변수가 정렬됩니다.

변수 탐색기를 열거나 숨기려면 Notebook 리본 보기에서 변수를 선택합니다.

참고 항목

변수 탐색기는 Python만 지원합니다.

셀 상태 표시기

셀 아래에 단계별 셀 실행 상태가 표시되어 현재 진행 상황을 확인할 수 있습니다. 셀 실행이 완료되면 총 기간 및 종료 시간이 포함된 실행 요약이 나타나고 이후 참조를 위해 저장됩니다.

인라인 Spark 작업 표시기

Fabric Notebook은 Spark 기반입니다. 코드 셀은 Spark 클러스터에서 원격으로 실행됩니다. Spark 작업 진행률 표시기는 작업 실행 상태 이해하는 데 도움이 되는 실시간 진행률 표시줄과 함께 제공됩니다. 각 작업 또는 단계당 작업 수를 통해 Spark 작업의 병렬 수준을 식별할 수 있습니다. 작업(또는 단계) 이름의 링크를 선택하여 특정 작업(또는 단계)의 Spark UI로 드릴다운할 수도 있습니다.

또한 진행률 표시기 옆에 있는 셀 수준 실시간 로그를 찾을 수 있으며 진단은 코드를 구체화하고 디버그하는 데 도움이 되는 유용한 제안을 제공할 수 있습니다.

추가 작업에서는 Spark 애플리케이션 세부 정보 페이지 및 Spark 웹 UI 페이지로 쉽게 이동할 수 있습니다.

비밀 수정

Notebook을 실행할 때 자격 증명이 실수로 유출되는 것을 방지하기 위해 Fabric Notebook은 비밀 편집을 지원하여 셀 출력에 표시되는 비밀 값을 .[REDACTED]로 바꿉니다. 비밀 편집은 Python, Scala 및 R에 적용됩니다.

Notebook의 매직 명령

기본 제공 매직 명령

Fabric Notebook에서 친숙한 Ipython 매직 명령을 사용할 수 있습니다. 현재 사용 가능한 매직 명령의 다음 목록을 검토합니다.

참고 항목

다음은 패브릭 파이프라인에서 지원되는 유일한 매직 명령입니다. %%pyspark, %%spark, %%csharp, %%sql, %%configure.

사용 가능한 줄 매직 명령: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoff, %logon, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %precision, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.

패브릭 Notebook은 향상된 라이브러리 관리 명령 %pip 및 %conda도 지원합니다. 사용에 대한 자세한 내용은 Microsoft Fabric에서 Apache Spark 라이브러리 관리를 참조하세요.

사용 가능한 셀 매직 명령: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%configure, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.

사용자 지정 매직 명령

또한 특정 요구 사항에 맞게 더 많은 사용자 지정 매직 명령을 빌드할 수 있습니다. 예를 들면 다음과 같습니다.

이름이 "MyLakehouseModule"인 Notebook을 만듭니다.
다른 전자 필기장에서는 "MyLakehouseModule"과 마법 명령을 참조합니다. 이 프로세스에서는 다양한 언어를 사용하는 Notebook을 사용하여 프로젝트를 편리하게 구성할 수 있습니다.

IPython 위젯

IPython 위젯은 브라우저에 표현된 이벤트형 Python 개체입니다. Jupyter Notebook과 마찬가지로 전자 필기장에 IPython 위젯을 로우 코드 컨트롤(예: 슬라이더 또는 텍스트 상자)으로 사용할 수 있습니다. 현재는 Python 컨텍스트에서만 작동합니다.

IPython 위젯을 사용하려면

먼저 ipywidgets 모듈을 가져와 Jupyter 위젯 프레임워크를 사용합니다.
```
import ipywidgets as widgets
```
최상위 표시 함수를 사용하여 위젯을 렌더링하거나 위젯 형식의 식을 코드 셀의 마지막 줄에 둡니다.
```
slider = widgets.IntSlider()
display(slider)
```
셀을 실행합니다. 위젯이 출력 영역에 표시됩니다.
```
slider = widgets.IntSlider()
display(slider)
```
여러 디스플레이() 호출을 사용하여 동일한 위젯 인스턴스를 여러 번 렌더링합니다. 서로 동기화되어 기본 있습니다.
```
slider = widgets.IntSlider()
display(slider)
display(slider)
```
서로 독립적인 두 위젯을 렌더링하려면 두 개의 위젯 인스턴스를 만듭니다.
```
slider1 = widgets.IntSlider()
slider2 = widgets.IntSlider()
display(slider1)
display(slider2)
```

지원되는 위젯

위젯 유형	위젯
숫자 위젯	IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText
부울 위젯	ToggleButton, Checkbox, Valid
선택 위젯	Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple
문자열 위젯	텍스트, 텍스트 영역, 콤보 상자, 암호, 레이블, HTML, HTML 수학, 이미지, 단추
재생(애니메이션) 위젯	날짜 선택기, 색 편집기, 컨트롤러
컨테이너 또는 레이아웃 위젯	상자, HBox, VBox, GridBox, 아코디언, 탭, 누적

알려진 제한 사항

다음 위젯은 아직 지원되지 않습니다. 다음 해결 방법을 사용할 수 있습니다.

기능	해결 방법
출력 위젯	print() 함수를 대신 사용하여 텍스트를 stdout에 쓸 수 있습니다.
widgets.jslink()	widgets.link() 함수를 사용하여 두 개의 유사한 위젯을 연결할 수 있습니다.
FileUpload 위젯	아직 지원되지 않습니다.

Fabric 전역 표시 함수는 한 번의 호출에서 여러 위젯 표시를 지원하지 않습니다(예: display(a, b)). 이 동작은 IPython 표시 함수와 다릅니다.
IPython 위젯이 포함된 Notebook을 닫으면 해당 셀을 다시 실행하기 전까지는 전자 필기장을 보거나 상호 작용할 수 없습니다.

Notebook 통합

매개 변수 셀 지정

Notebook을 매개 변수화하려면 줄임표(...)를 선택하여 셀 도구 모음에서 자세히 명령에 액세스합니다. 그런 다음, 매개 변수 셀 설정/해제를 선택하여 셀을 매개 변수 셀로 지정합니다.

매개 변수 셀은 파이프라인에 Notebook을 통합하는 데 유용합니다. 파이프라인 작업은 매개 변수 셀을 찾고 이 셀을 실행 시 전달된 매개 변수의 기본값으로 처리합니다. 실행 엔진은 기본값을 덮어쓰기 위해 입력 매개 변수가 있는 매개 변수 셀 아래에 새 셀을 추가합니다.

파이프라인에서 매개 변수 값 할당

매개 변수가 있는 Notebook을 만든 후에는 Fabric Notebook 작업을 사용하여 파이프라인에서 실행할 수 있습니다. 파이프라인 캔버스에 활동을 추가한 후 설정 탭의 기본 매개 변수 섹션 아래에 매개 변수 값을 설정할 수 있습니다.

매개 변수 값을 할당할 때 파이프라인 식 언어 또는 함수 및 변수를 사용할 수 있습니다 .

Spark 세션 구성 매직 명령

매직 명령 %%configure를 사용하여 Spark 세션을 개인 설정할 수 있습니다. Fabric Notebook은 사용자 지정된 vCore, 드라이버 및 실행기의 메모리, Spark 속성, 탑재 지점, 풀 및 Notebook 세션의 기본 레이크하우스를 지원합니다. 대화형 Notebook 및 파이프라인 Notebook 활동 모두에서 사용할 수 있습니다. Notebook의 시작 부분에서 %%configure 명령을 실행하거나 Spark 세션을 다시 시작하여 설정을 적용하는 것이 좋습니다.

%%configure
{
    // You can get a list of valid parameters to config the session from  https://github.com/cloudera/livy#request-body.
    "driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g", "472g"]
    "driverCores": 4, // Recommended values: [4, 8, 16, 32, 64, 80]
    "executorMemory": "28g",
    "executorCores": 4,
    "jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
    "conf": {
        // Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
        "livy.rsc.sql.num-rows": "3000",
        "spark.log.level": "ALL"
    }
    "defaultLakehouse": {  // This overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
    "useStarterPool": false,  // Set to true to force using starter pool
    "useWorkspacePool": "<workspace-pool-name>"
}

참고 항목

%%configure에서 "DriverMemory" 및 "ExecutorMemory"에 대해 동일한 값을 설정하는 것이 좋습니다. "driverCores" 및 "executorCores" 값도 동일해야 합니다.
"defaultLakehouse"는 레이크하우스 탐색기에서 고정된 레이크하우스를 덮어쓰지만 현재 Notebook 세션에서만 작동합니다.
패브릭 파이프라인에서 %%configure를 사용할 수 있지만 첫 번째 코드 셀에 설정되지 않은 경우 세션을 다시 시작할 수 없으므로 파이프라인 실행이 실패합니다.
mssparkutils.notebook.run에 사용되는 %%configure는 무시되지만 %run Notebook에서 사용되는 작업은 계속 실행됩니다.
표준 Spark 구성 속성은 "conf" 본문에서 사용해야 합니다. Fabric은 Spark 구성 속성에 대한 첫 번째 수준 참조를 지원하지 않습니다.
"spark.driver.cores", "spark.executor.cores", "spark.driver.memory", "spark.executor.memory" 및 "spark.executor.instances"를 비롯한 일부 특수 Spark 속성은 "conf" 본문에 적용되지 않습니다.

파이프라인에서 매개 변수가 있는 세션 구성

매개 변수가 있는 세션 구성을 사용하면 %%configure magic의 값을 파이프라인 실행 Notebook 활동 매개 변수로 바꿀 수 있습니다. %%configure 코드 셀을 준비할 때 다음과 같은 개체를 사용하여 기본값(아래 예제에서 4 및 "2000"도 구성 가능)을 재정의할 수 있습니다.

{
      "parameterName": "paramterNameInPipelineNotebookActivity",
      "defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
}

%%configure  

{ 
    "driverCores": 
    { 
        "parameterName": "driverCoresFromNotebookActivity", 
        "defaultValue": 4 
    }, 
    "conf": 
    { 
        "livy.rsc.sql.num-rows": 
        { 
            "parameterName": "rows", 
            "defaultValue": "2000" 
        } 
    } 
}

대화형 모드에서 Notebook을 직접 실행하거나 파이프라인 Notebook 작업에서 "activityParameterName"에 일치하는 매개 변수를 제공하지 않는 경우 Notebook은 기본값을 사용합니다.

파이프라인을 실행하는 동안 다음과 같이 파이프라인 Notebook 활동 설정을 구성할 수 있습니다.

세션 구성을 변경하려는 경우 파이프라인 Notebook 활동 매개 변수 이름은 Notebook에서와 동일 parameterName 해야 합니다. 파이프라인 driverCores 을 실행하는 이 예제에서는 %%configure에서 8로 대체되고 livy.rsc.sql.num-rows 4000으로 대체됩니다.

참고 항목

%%configure 매직 명령을 사용했기 때문에 파이프라인 실행이 실패하는 경우 Notebook의 대화형 모드에서 %%configure 매직 셀을 실행하여 더 많은 오류 정보를 찾습니다.
Notebook 예약 실행은 매개 변수가 있는 세션 구성을 지원하지 않습니다.

Notebook에서 Python 로깅

Python 로그를 찾고 여기에 표시된 샘플 코드와 같이 다른 로그 수준 및 형식을 설정할 수 있습니다.

import logging

# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
    handler.setFormatter(formatter)

# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)

# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)

# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")

# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")

입력 명령의 기록 보기

Fabric Notebook은 현재 세션에서 실행된 입력 명령 기록을 인쇄하는 매직 명령을 %history 지원하며, 표준 Jupyter Ipython 명령 %history 과 비교하여 Notebook의 여러 언어 컨텍스트에 대해 작동합니다.

%history [-n] [range [range ...]]

옵션의 경우:

-n: 실행 번호를 인쇄합니다.

범위는 다음과 같습니다.

N: N번째 실행 셀의 코드를 인쇄합니다.
M-N: Mth에서 Nth 실행 셀로 코드를 인쇄합니다.

예시:

첫 번째에서 두 번째로 실행된 셀까지 입력 기록을 인쇄합니다. %history -n 1-2

바로 가기 키

Jupyter Notebook과 마찬가지로 패브릭 Notebook에는 모달 사용자 인터페이스가 있습니다. 키보드는 Notebook 셀이 있는 모드에 따라 다른 작업을 수행합니다. 패브릭 Notebook은 지정된 코드 셀에 대해 명령 모드와 편집 모드의 두 가지 모드를 지원합니다.

입력하라는 텍스트 커서가 없으면 셀이 명령 모드에 있습니다. 셀이 명령 모드에 있으면 Notebook을 전체적으로 편집할 수 있지만 개별 셀에는 입력할 수 없습니다. ESC를 누르거나 마우스를 사용하여 셀의 편집기 영역 외부에서 선택하여 명령 모드로 전환합니다.
편집 모드는 텍스트 커서에서 편집기 영역에 입력하라는 메시지를 표시할 수 있습니다. 셀이 편집 모드인 경우 셀에 입력할 수 있습니다. Enter 키를 누르거나 마우스를 사용하여 셀의 편집기 영역을 선택하여 편집 모드로 전환합니다.

명령 모드의 바로 가기 키

작업	Notebook 바로 가기
현재 셀을 실행하고 아래 선택	Shift+Enter
현재 셀을 실행하고 아래에 삽입	Alt+Enter
현재 셀 실행	Ctrl+Enter
위 셀 선택	위로
아래 셀 선택	아래로
이전 셀 선택	K
다음 셀 선택	J
위에 셀 삽입	A
아래에 셀 삽입	B
선택한 셀 삭제	Shift + D
편집 모드로 전환	Enter

편집 모드의 바로 가기 키

다음 키 입력 바로 가기를 사용하면 편집 모드에서 패브릭 Notebook에서 코드를 쉽게 탐색하고 실행할 수 있습니다.

작업	Notebook 바로 가기
커서를 위로 이동	위로
커서를 아래로 이동	아래로
실행 취소	Ctrl + Z
다시 실행	Ctrl + Y
주석 또는 주석 제거	Ctrl + / 주석: Ctrl+K + C 주석 제거: Ctrl + K + U
이전 단어 삭제	Ctrl + Backspace
다음 단어 삭제	Ctrl + Delete
셀 시작으로 이동	Ctrl + Home
셀 끝으로 이동	Ctrl + End
한 단어 왼쪽으로 이동	Ctrl + Left
한 단어 오른쪽으로 이동	Ctrl + 오른쪽 화살표
모두 선택	Ctrl + A
들여쓰기	Ctrl +]
내어쓰기	Ctrl + [
명령 모드로 전환	Esc

모든 바로 가기 키를 찾으려면 전자 필기장 리본에서 보기를 선택한 다음, 키 바인딩을 선택합니다.

Microsoft Fabric Notebook 개발, 실행 및 관리

Notebook 개발

셀 추가

주 언어 설정

여러 언어 사용

IDE 스타일 IntelliSense

코드 조각

끌어서 놓아 코드 조각 삽입

끌어서 놓아 이미지 삽입

도구 모음 단추를 사용하여 텍스트 셀 서식 지정

셀 작업 실행 취소 또는 다시 실행

셀 이동

셀 삭제

셀 입력 접기

셀 출력 접기

셀 출력 보안

셀 잠금 또는 고정

셀 병합 및 분할

전자 필기장 콘텐츠

Markdown 접기

찾기 및 바꾸기

Notebook 실행

셀 실행

모든 셀 실행

위 또는 아래 셀 모두 실행

실행 중인 모든 셀 취소

세션 중지

참조 실행

참조에서 Notebook 실행

참조에서 스크립트 실행

변수 탐색기

셀 상태 표시기

인라인 Spark 작업 표시기

비밀 수정

Notebook의 매직 명령

기본 제공 매직 명령

사용자 지정 매직 명령

IPython 위젯

IPython 위젯을 사용하려면

지원되는 위젯

알려진 제한 사항

Notebook 통합

매개 변수 셀 지정

파이프라인에서 매개 변수 값 할당

Spark 세션 구성 매직 명령

파이프라인에서 매개 변수가 있는 세션 구성

Notebook에서 Python 로깅

입력 명령의 기록 보기

바로 가기 키

명령 모드의 바로 가기 키

편집 모드의 바로 가기 키

관련 콘텐츠

피드백

피드백

추가 리소스