次の方法で共有

2024 年 1 月

  • [アーティクル]

次の機能と Azure Databricks プラットフォームの機能強化が 2024 年 1 月にリリースされました。

Note

リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。

ネイティブ XML ファイル形式のサポート (パブリック プレビュー)

2024 年 1 月 31 日

ネイティブ XML ファイル形式のサポートは現在、パブリック プレビュー段階にあります。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データのインジェスト、クエリ、解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、from_xml などの SQL 式がサポートされ、XML ドキュメントを生成できます。 外部 jar は必要ありません。自動ローダー、read_files、COPY INTO、Delta Live Tables とシームレスに連携します。 詳細については、「XML ファイルの読み取りと書き込み」を参照してください。

Databricks Marketplace (パブリック プレビュー) を使用して AI モデルを共有する

2024 年 1 月 31 日

Marketplace を使用して、Unity Catalog に登録されているモデルを共有できるようになりました。 モデルの共有に参加するには、プロバイダーとコンシューマーの両方のワークスペースで Unity Catalog が有効にされている必要があります。

「Databricks Marketplace とは」と「共有にモデルを追加する」を参照してください。

ネットワーク セキュリティ グループ規則を更新する

2023 年 1 月 31 日

プラットフォームのスケーラビリティを向上させるために、Azure Databricks のコントロール プレーンには、従来のデータ プレーンが接続するための新しいエンドポイントが必要になりました。 独自の Azure 仮想ネットワークにデプロイされたワークスペースの場合、ポート 443 の送信トラフィックを適用する AzureDatabricks の宛先への既存のセキュリティ規則に、ネットワーク ポート 3306 と 8443-8451 が追加されるようになりました。

詳細については、「ネットワーク セキュリティ グループ規則」を参照してください。

ワークスペース パスの更新

これまで、ユーザーは一部の Databricks API (%sh) の /Workspace パス プレフィックスを含める必要がありましたが、他 (%run、REST API 入力) に対しては行いませんでした。 これで、ユーザーは Databricks 内のあらゆる場所で /Workspace プレフィックスを持つワークスペース パスを指定できるようになりました。 /Workspace プレフィックスのないパスへの古い参照はリダイレクトされ、引き続き動作します。 Databricks では、すべてのワークスペース パスに /Workspace プレフィックスを使用して、ボリュームと DBFS パスを区別することをお勧めします。

サーバーレス コンピューティングからの Azure Storage ファイアウォールのサポートが一般提供に

2024 年 1 月 30 日

Azure Databricks サーバーレス コンピューティングからの Azure Storage ファイアウォールのサポートが一般提供になりました。 サーバーレス SQL ウェアハウスで安定したサブネット ID を使用して Azure Storage に接続し、Azure リソース ファイアウォールでそれらの識別子を許可リストに載せるように強制できます。 「サーバーレス コンピューティング アクセス用のファイアウォールの構成」を参照してください。

Azure Databricks ジョブの合理化された作成

2024 年 1 月 29 日

ジョブを作成するためにボタンをクリックした直後に空のジョブが作成されるようになりました。これにより、最初のタスクを追加する前に、タグ、スケジュール、通知設定などのジョブ レベルの設定を編集できます。 以前は、ジョブ レベルの設定にアクセスする前に、最初のタスクを作成する必要がありました。 「Azure Databricks ジョブを作成して実行する」を参照してください。

推論テーブルを使用するワークロードを提供する GPU モデルを監視する

2024 年 1 月 29 日

推論テーブルを使用するワークロードを提供する GPU モデルを監視できるようになりました。 「モデルの監視とデバッグのための推論テーブル」を参照してください。

Unity カタログ外部ボリュームへの URI パスベースのアクセス

2024 年 1 月 25 日

外部ボリュームに保存されている Unity カタログによって管理されるデータに、クラウド ストレージ URI を使用してパスベースでアクセスできるようになりました。 「ボリューム内のファイルにアクセスするために使用されるパス」を参照してください。

アップグレードされたワークスペースでアクセス制御リストを有効にできる

2024 年 1 月 24 日

アクセスの制御の設定は、2023 年 11 月にすべての Premium プラン ワークスペースで有効になりました。

Standard プランから Premium プランにアップグレードされたワークスペースでは、アクセスの制御の設定は既定では無効になっています。 ワークスペース管理者は、アップグレードされたワークスペースで以下のアクセスの制御の設定を有効にできるようになりました。

  • ワークスペースのアクセス制御: ユーザーが、ワークスペース オブジェクトに対するアクセス許可を構成することができるようにします。
  • クラスター、プール、ジョブのアクセス制御: ユーザーが、クラスター、プール、ジョブに対するアクセス許可を構成することができるようにします。
  • クラスターの可視性の制御: クラスターに対するアクセス許可がないユーザーに対して、クラスターが表示されないようにします。
  • ジョブの可視性の制御: ジョブに対するアクセス許可がないユーザーに対して、ジョブが表示されないようにします。
  • ワークスペースの可視性の制御設定: ノートブックとフォルダーに対するアクセス許可がないユーザーに対して、ノートブックとフォルダーが表示されないようにします。

アクセス制御設定を有効にした後に無効にすることはできません。 詳細については、「アクセス制御リスト」をご覧ください。

Marketplace リスト イベント システム テーブルが利用可能になりました (パブリック プレビュー)

2024 年 1 月 24 日>

Marketplace システム スキーマには、リスティング上のコンシューマー アクションを監視できるリスティング ファネル イベント テーブル (system.marketplace.listing_funnel_events) が含まれるようになりました。 「リスティング ファネル イベント テーブル」を参照してください。

ノートブック セルの UI を更新しました (パブリック プレビュー)

2024 年 1 月 24 日

更新されたノートブック セル デザインが利用可能です。 新しいセル デザインを有効にするには、ワークスペースのエディター設定ページを開きます。 サイドバーで [開発者] をクリックします。 [試験的な機能] で、[新しいセル UI] のトグルを切り替えます。 元の UI と新しい UI の両方でノートブック セルを操作する方法の詳細については、「Databricks ノートブック: 新しいセル UI の説明」を参照してください。

ノートブック内の構文エラーに関するクイック修正ヘルプ

2024 年 1 月 24 日

クイック修正を使用すると、Databricks Assistant から構文エラーのヘルプを取得できます。 詳細については、「Python エラーの強調表示」を参照してください。

Databricks Runtime 14.3 LTS (ベータ版)

2024 年 1 月 22 日

Databricks Runtime 14.3 LTS と Databricks Runtime 14.3 LTS ML をベータ版リリースとして使用できるようになりました。

「Databricks Runtime 14.3 LTS」と「Databricks Runtime 14.3 LTS for Machine Learning」を参照してください。

Delta Sharing を使用して AI モデルを共有する (パブリック プレビュー)

2024 年 1 月 19 日

Delta Sharing を使用して、Unity Catalog に登録されているモデルを共有できるようになりました。 モデルを共有するには、プロバイダーと受信者の両方のワークスペースで Unity Catalog が有効にされている必要があります。

「共有にモデルを追加する」をご覧ください。

Databricks Marketplace でボリュームの共有がサポートされる

2023 年 1 月 18 日

Unity Catalog が有効な Databricks ワークスペースがあれば、Databricks Marketplace を使ってボリューム (表形式ではないデータ) にアクセスできるようになりました。 ボリュームは、クラウド オブジェクト ストレージの場所にあるストレージの論理ボリュームを表す Unity Catalog オブジェクトであり、表形式ではないデータ資産のガバナンスと共有を管理する方法を提供します。

Databricks Marketplace でデータ製品にアクセスする (Unity Catalog を使用できるワークスペースの場合) 方法に関するページを参照してください。

Databricks UI からウィジェットを作成する

2024 年 1 月 18 日

Databricks UI を使って Databricks ウィジェットを作成できるようになりました。 詳細については、「UI を使用したウィジェットの作成」を参照してください。

ウェアハウス イベント システム テーブルが使用可能 (パブリック プレビュー)

2024 年 1 月 18 日

system.compute.warehouse_events テーブルには、SQL ウェアハウスが開始、停止、スケールアップ、スケールダウンしたときが記録されます。 このテーブルを使って、ワークスペース内の SQL ウェアハウスを監視および管理できます。 「ウェアハウス イベント システム テーブル リファレンス」をご覧ください。

ワークスペース ファイルのサイズ制限が 500 MB になりました

2023 年 1 月 15 日

個々のワークスペース ファイルが 500 MB に制限されるようになりました。 以前は、制限は 200 MB でした。 詳細については、「制限」を参照してください。

Databricks でのレガシ Git 統合に関する機能の削除の通知

2024 年 1 月 12 日

2024 年 1 月 31 日以降、Databricks はレガシ ノートブック Git 統合を削除します。 この機能は 2 年以上前からレガシ状態であり、2023 年 11 月以降は製品 UI に非推奨の通知が表示されています。

Databricks Git フォルダー (Repos) への移行の詳細については、「レガシ Git 統合から Databricks Repos への切り替え」を参照してください。 この削除に影響を受けて拡張機能が必要な場合は、Databricks アカウントエグゼクティブにお問い合わせください。

Databricks ODBC ドライバー 2.7.7

2024 年 1 月 9 日

Databricks ODBC ドライバーのバージョン 2.7.7 がリリースされました (ダウンロード)。 このリリースには、次の新機能と機能強化が追加されています。

  • Azure マネージド ID 認証。
  • 非同期メタデータ操作のサポート。 サーバーは、SPARK_CLI_SERVICE_PROTOCOL_V9 以降をサポートする必要があります。
  • ネイティブ クエリ モードでのパラメーター化クエリのサポート。 サーバーは、SPARK_CLI_SERVICE_PROTOCOL_V8 以降をサポートする必要があります。
  • OAuth の機能強化: コネクタで、ブラウザーベースの認証フローのトークン キャッシュを無効にすることができるようになりました。

このリリースでは、2.7.7 で次の問題も解決されています。

  • Windows 信頼ストアを使用する場合、コネクタでプライベート ルート CA が無視される。
  • 操作が失敗した場合、コネクタでハートビート スレッドが閉じられない。
  • コネクタで、オプションの更新トークンがサポートされない。
  • 外部名を使用してテーブルのクエリを実行すると、コネクタでテーブルの読み取りに失敗する。
  • OAuth 認証を使用する場合、HOST の文字列の長さが 20 文字未満の場合、コネクタが予期せず終了する。

Databricks Runtime 13.2 シリーズのサポート終了

2024 年 1 月 6 日

Databricks Runtime 13.2 と Databricks Runtime 13.2 for Machine Learning のサポートは、1 月 6 日に終了しました。 Databricks サポート ライフサイクルについての記事をご覧ください。

AI 支援機能は既定で有効になっています

2024 年 1 月 2 日 から 8 日

コンプライアンス セキュリティ プロファイルが有効になっていないワークスペースに対して、AI 支援機能が既定で有効になりました。 これには以下が含まれます。

管理者は、自分のアカウント内のすべてのワークスペースまたはワークスペースのサブセットに対して AI 支援機能をオプトアウトできます。 アカウント レベルでの Azure AI サービス アシスタント機能の有効化または無効化に関するページを参照してください。