本文涵蓋筆記本計算資源的選項。 您可以在通用計算資源、無伺服器計算上運行筆記本,或者,對於 SQL 命令,您可以使用 SQL 儲存庫,這是一種針對 SQL 分析優化的計算類型。 如需計算類型的詳細資訊,請參閱 Compute。
筆記本的無伺服器計算
無伺服器計算可讓您快速將筆記本連線到隨需計算資源。
若要連接至無伺服器計算,請點擊筆記本中的 [Connect] 下拉功能表,然後選取 [無伺服器]。
如需詳細資訊,請參閱筆記本的無伺服器計算。
無伺服器筆記本的自動化會話還原
無伺服器計算的閑置終止可能會導致您的筆記本中遺失進行中的工作,例如 Python 變數值。 若要避免這種情況,請 啟用無伺服器筆記本的自動化會話還原。
- 點擊工作區右上角的使用者名稱,然後在下拉式清單中選擇 [ 設定 ]。
- 在 [設定] 側邊欄中,選取 [開發人員]。
- 在 實驗性功能 下,切換開啟 無伺服器筆記本的自動化會話還原 設定。
啟用此設定可讓 Databricks 在空閒終止之前,對無伺服器筆記本的記憶體狀態進行快照。 當您因閒置而中斷連線後返回筆記本時,頁面頂端會出現橫幅。 按一下 重新連線 以還原您的工作狀態。
當您重新連線時,Databricks 會還原您的整個工作環境,包括:
- Python 變數、函式和類別定義:筆記本的 Python 端會保留,因此您不需要重新匯入或重新宣告。
- Spark 資料框、快取和暫存檢視:您已載入、轉換或快取的資料 (包括暫存檢視) 會保留,因此您可以避免昂貴的重新載入或重新計算。
- Spark 工作階段狀態:所有 Spark 層級組態設定、暫存檢視、目錄修改和使用者定義函數 (UDF) 都會儲存,因此您不需要重設它們。
這項功能有其限制條件,不支援還原下列項目:
- 超過 4 天的 Spark 狀態資料
- Spark 狀態大於 50 MB
- 與 SQL 腳本相關的資料
- 文件控制代碼
- 鎖定和其他並行基本類型
- 網路連線
將筆記本附加至所有用途的計算資源
若要將筆記本連結到通用計算資源,您需要在計算資源上具有 CAN ATTACH TO 權限。
重要
只要筆記本附加至計算資源,任何具有筆記本上 CAN RUN 許可權的使用者 具有存取計算資源的隱含許可權。
若要將筆記本附加至計算資源,請單擊筆記本工具列中的 計算選取器,然後從下拉功能表中選取資源。
功能表會顯示您最近使用或目前正在執行之所有用途計算和 SQL 倉儲的選取範圍。
若要從所有可用的計算中選取,請按一下 [更多...]。 從可用的一般計算或 SQL 倉儲中選取 。
您也可以 從下拉功能表中選取 [建立新的資源...],以建立新的全用途計算資源。
重要
連結的筆記本已定義下列 Apache Spark 變數。
| 類別 | 變數名稱 |
|---|---|
SparkContext |
sc |
SQLContext/HiveContext |
sqlContext |
SparkSession (Spark 2.x) |
spark |
請勿建立 SparkSession、SparkContext 或 SQLContext。 這樣做會導致行為不一致。
搭配使用筆記本與 SQL 倉儲
當筆記本連結至 SQL 倉儲時,您可以執行 SQL 和 Markdown 儲存格。 以任何其他語言 (例如 Python 或 R) 執行儲存格會擲回錯誤。 在 SQL 倉儲上執行的 SQL 數據格會出現在 SQL 倉儲的查詢歷程記錄中。 透過按下輸出底部的已耗用時間,執行查詢的使用者可以從筆記本中檢視查詢設定檔。
連結至 SQL 倉儲的筆記本支援 SQL 倉儲工作階段,可讓您定義變數、建立暫存檢視,以及跨多個查詢執行保存狀態。 這可讓您反覆建置 SQL 邏輯,而不需要一次執行所有陳述式。 請參閱什麼是 SQL 資料庫工作階段?。
執行筆記本需要專業或無伺服器 SQL 倉儲。 您必須能夠存取工作區和 SQL 倉儲。
若要將筆記本連結至 SQL 倉儲,請執行下列動作:
按下筆記本工具列中的計算選取器。 下拉式功能表會顯示目前正在執行的或您最近使用的計算資源。 SQL 倉儲會標示為
。從功能表中,選取 SQL 倉儲。
若要查看所有可用的 SQL 倉儲,請從下拉功能表中選取 [更多...]。 隨即出現一個對話方塊,其中顯示筆記本可用的計算資源。 選取 [SQL 倉儲],選擇要使用的倉儲,然後按一下 [附加]。
您也可以在建立工作流程或排程作業時,選取 SQL 倉儲作為 SQL 筆記本的計算資源。
SQL 倉儲限制
如需詳細資訊,請參閱已知限制 Databricks 筆記本。