次の方法で共有

ノートブック コンピューティング リソース

この記事では、ノートブック コンピューティング リソースのオプションについて説明します。 ノートブックは、汎用コンピューティングリソース、サーバーレスコンピューティング、またはSQLコマンド専用のSQL分析に最適化されたコンピュートリソースであるSQLウェアハウス上で実行できます。 コンピュートの種類についての詳細は、コンピュートを参照してください。

ノートブック用のサーバーレス コンピューティング

サーバーレス コンピューティングを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。

サーバーレス コンピューティングにアタッチするには、ノートブックの [接続] のドロップダウン メニューをクリックし、[サーバーレス] を選択します。

詳細については、「ノートブックのサーバーレス コンピューティング」を参照してください。

サーバーレス ノートブックの自動セッション復元

サーバーレス コンピューティングがアイドル状態で終了すると、ノートブックの Python 変数値などの進行中の作業が失われる可能性があります。 これを回避するには、 サーバーレス ノートブックの自動セッション復元を有効にします。

  1. ワークスペースの右上にあるユーザー名をクリックし、ドロップダウン リストの [設定] をクリックします。
  2. [設定] サイドバーで、[Developer] を選択します。
  3. [ 試験段階の機能] で、[ サーバーレス ノートブックの自動セッション復元 ] 設定をオンにします。

この設定を有効にすると、Databricks はアイドル終了前にサーバーレス ノートブックのメモリ状態をスナップショットできます。 待機状態から切断された後にノートブックに戻ると、ページの上部にバナーが表示されます。 [ 再接続 ] をクリックして作業状態を復元します。

再接続すると、次のような作業環境全体が Databricks によって復元されます。

  • Python 変数、関数、およびクラス定義: ノートブックの Python 側は保持されるため、再インポートや再宣言を行う必要はありません。
  • Spark データフレーム、キャッシュビュー、および一時ビュー: 読み込んだデータ、変換したデータ、またはキャッシュしたデータ (一時ビューを含む) は保持されるため、コストのかかる再読み込みや再計算を回避できます。
  • Spark セッションの状態: すべての Spark レベルの構成設定、一時ビュー、カタログの変更、ユーザー定義関数 (UDF) が保存されるため、リセットする必要はありません。

この機能には制限があり、次の復元はサポートされていません。

  • 4 日より前の Spark 状態
  • 50 MB を超える Spark 状態
  • SQL スクリプトに関連するデータ
  • ファイル ハンドル
  • ロックとその他のコンカレンシー プリミティブ
  • ネットワーク接続

汎用コンピューティング リソースにノートブックをアタッチする

ノートブックを汎用コンピューティング リソースにアタッチするには、コンピューティング リソースに対するアクセス許可 にアタッチできる が必要です。

重要

ノートブックがコンピューティング リソースにアタッチされている限り、ノートブック に対する CAN RUN アクセス許可を持つすべてのユーザーは、コンピューティング リソースにアクセスするための暗黙的なアクセス許可を持ちます。

ノートブックをコンピューティング リソースにアタッチするには、ノートブック ツール バーの コンピューティング セレクターをクリックし、ドロップダウン メニューからリソースを選択します。

メニューには、最近使用した、または現在実行中の汎用コンピューティング および SQL ウェアハウスの選択が表示されます。

ノートブックをアタッチする

使用可能なすべてのコンピュートから選択するには、その他... をクリックしてください。 使用可能な一般的なコンピューティングまたは SQL ウェアハウスから選択します。

その他のクラスター ダイアログ

ドロップダウン メニューから [新しいリソースの作成] を選択して、新しい汎用コンピューティング リソース 作成 することもできます。

重要

アタッチされたノートブックには、次の Apache Spark 変数が定義されています。

クラス 変数名
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession (Spark 2.x) spark

SparkSession、SparkContext、SQLContext を作成しないでください。 これを行うと、一貫性のない動作につながります。

SQL ウェアハウスを使用してノートブックを使用する

ノートブックが SQL ウェアハウスにアタッチされている場合は、SQL と Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーがスローされます。 SQL ウェアハウスで実行される SQL セルは、 SQL ウェアハウスのクエリ履歴に表示されます。 クエリを実行したユーザーは、出力の下部にある経過時間をクリックして、ノートブックからクエリ プロファイルを表示できます。

SQL ウェアハウスにアタッチされたノートブックでは、SQL ウェアハウス セッションがサポートされています。これにより、変数を定義したり、一時ビューを作成したり、複数のクエリ実行にわたって状態を保持したりできます。 これにより、すべてのステートメントを一度に実行しなくても、SQL ロジックを繰り返し構築できます。 「SQL ウェアハウス セッションとは」を参照してください。

ノートブックを実行するには、Pro またはサーバーレス SQL ウェアハウスが必要です。 ワークスペースと SQL ウェアハウスへのアクセス権を持っている必要があります。

SQL ウェアハウスにノートブックをアタッチするには、次の操作を行います。

  1. ノートブックのツール バーでコンピューティング セレクターをクリックします。 ドロップダウン メニューには、現在実行中の、または最近使用したコンピューティング リソースが表示されます。 SQL ウェアハウスには、SQL ウェアハウス ラベル のマークが付いています。

  2. メニューから SQL ウェアハウスを選択します。

    使用可能なすべての SQL ウェアハウスを表示するには、ドロップダウン メニューから [その他...] を選択します。 ノートブックで使用できるコンピューティング リソースを示すダイアログが表示されます。 [SQL ウェアハウス] を選択し、使用するウェアハウスを選択して、[アタッチ] をクリックします。

    SQL ウェアハウスが選択されているその他のクラスターのダイアログ

ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピューティング リソースとして SQL ウェアハウスを選択することもできます。

SQL ウェアハウスの制限事項

詳細については、「Databricks ノートブックの既知の制限事項」を参照してください。

  • Last updated on