Databricks は、プラットフォームと Databricks AI 機能を使用する際に、お客様のデータの重要性と信頼を理解します。 Databricks は、最高基準のデータ保護に取り組んでおり、Databricks AI 機能に送信する情報が確実に保護されるように、厳格な対策を実施しています。
- お客様のデータは機密のままです。
- Databricks は、これらの機能に送信したデータを使用して生成基盤モデルをトレーニングしません。また、Databricks では、このデータを使用して他の顧客に表示される提案を生成しません。
- モデル パートナーは、不正使用の監視であっても、これらの機能を通じて送信されたデータを保持しません。 パートナーを活用した AI 支援機能では、モデル パートナーからのゼロ データ保持エンドポイントが使用されます。
- 有害な出力からの保護。 Databricks では、Azure OpenAI のコンテンツ フィルタリング も使用して、有害なコンテンツからユーザーを保護します。 さらに、Databricks は、有害なコンテンツ、ジェイルブレイク、安全でないコードの生成、サード パーティの著作権コンテンツの使用を防ぐために導入された保護が効果的であることを確認するために、何千ものユーザー操作をシミュレートして広範な評価を行いました。
- Databricks では、サービスの提供に必要なデータのみを使用しています。 データは、Databricks AI を利用した機能を操作する場合にのみ送信されます。 Databricks は、より関連性の高い結果を返すために、プロンプト、関連するテーブルのメタデータと値、エラー、入力コードまたはクエリを送信します。 Databricks は、他の行レベルのデータをサード パーティ モデルに送信しません。
- データは転送中と保存時に保護されます。 Databricks とモデル パートナー間のすべてのトラフィックは、業界標準の TLS 暗号化を使用して転送中に暗号化されます。 Azure Databricks ワークスペース内の格納データはすべて AES-256 ビットで暗号化されます。
- Databricks では、データ所在地の制御が提供されます。 Databricks AI を利用した機能は、指定されたサービスであり、データ所在地の境界に準拠しています。 詳細については、「Databricks Geos: Data residency」と「Databricks Designated Services」を参照してください。
Databricks Assistant のプライバシーについては、 プライバシーとセキュリティに関する FAQ を参照してください。
パートナーが利用する AI 支援機能の設定によって管理される機能
パートナーが利用する AI は、Azure OpenAI サービスを利用した機能を指します。 多くの Databricks AI 機能は Azure OpenAI サービスを利用していますが、すべてではありません。 詳細については、次の表を参照してください。
| 特徴 | モデルはどこでホストされますか? | Partner を利用した AI 設定によって制御されますか? |
|---|---|---|
| Databricks アシスタントのチャット | Azure OpenAI サービス | イエス |
| クイック修復 | Azure OpenAI サービス | イエス |
| テーブルと列に対して AI によって生成された Unity カタログのコメント | Azure OpenAI サービス | はい。 パートナーが利用する AI がオフの場合、コメントでは Databricks でホストされるモデルが使用されます。 |
| その他の AI によって生成された Unity カタログ オブジェクトのコメント |
|
|
| AI/BI ダッシュボードの AI 支援型の視覚化とコンパニオン Genie スペース | Azure OpenAI サービス | イエス |
| ジーニー | Azure OpenAI サービス | イエス |
| Databricks インライン アシスタント | Azure OpenAI サービス | イエス |
| Databricks アシスタントによるオートコンプリート | Databricks でホストされるモデル | いいえ |
| ジャッジとしての LLM | Azure OpenAI サービス | イエス |
Databricks でホストされるモデルを使用する
重要
この機能はパブリック プレビュー段階にあります。
Databricks でホストされているモデルを使用して、通常は Azure OpenAI によって動作する Databricks AI の機能を強化する方法について説明します。 このセクションでは、そのしくみについて説明します。
動作方法
Databricks AI 機能で Databricks でホストされるモデルを使用する場合は、Meta Llama 3 または商用で使用できるその他のモデルを使用します。 生成 AI モデルのライセンスと使用に関する情報を参照してください。
次の図は、Databricks でホストされるモデルが、クイック修正などの Databricks AI を利用した機能を強化する方法の概要を示しています。
- ユーザーがノートブック セルを実行すると、エラーが発生します。
- Databricks はメタデータを要求にアタッチし、Databricks でホストされる大言語モデル (LLM) に送信します。 すべてのデータは静止状態で保存時に暗号化されます。 顧客はカスタマー マネージド キー (CMK) を使用できます。
- Databricks でホストされるモデルは、ユーザーに表示されるエラーを修正するために、推奨されるコード編集で応答します。
この機能はパブリック プレビュー段階であり、変更される可能性があります。 担当者に連絡して、Databricks でホストされるモデルでサポートできる Databricks AI 機能を確認してください。
AI 支援機能用の Databricks でホストされるモデルに関する FAQ
独自のプライベート モデル サービング インスタンスを保有することはできますか?
現時点ではできません。 このプレビューでは、Databricks によって管理およびセキュリティで保護されたエンドポイント にサービスを提供する モデルを使用します。 エンドポイントを提供するモデルはステートレスであり、複数の分離レイヤーによって保護され、データを保護するために次のセキュリティ制御を実装します。
- Model Serving に対するすべての顧客要求は、論理的に分離され、認証され、承認されます。
- Mosaic AI Model Serving は、保存中のすべてのデータ (AES-256) と転送中 (TLS 1.2 以降) を暗号化します。
自分のモデル用に独自の API キーを持ち込んだり、独自のモデルをホストしたりできますか?
現時点ではできません。 Databricks Assistant は完全に管理され、Databricks によってホストされています。 アシスタント機能は、モデル提供機能 (関数呼び出しなど)、パフォーマンス、品質に大きく依存します。 Databricks は、最適なパフォーマンスを得るための新しいモデルを継続的に評価し、この機能の将来のバージョンでモデルを更新する可能性があります。
出力データの所有者は誰ですか？ Assistant がコードを生成した場合、その IP を所有するユーザーは誰ですか?
顧客は独自の出力を所有しています。
Databricks でホストされるモデルの使用をオプトアウトする
Databricks でホストされるモデルの使用をオプトアウトするには:
- Databricks ワークスペースの上部バーにあるユーザー名をクリックします。
- メニューから [プレビュー] を選びます。
- [Databricks でホストされるモデルでアシスタントを使用する] をオフにします。
プレビューの管理の詳細については、「Azure Databricks Previewsの管理」を参照してください。
Databricks Assistant のプライバシーとセキュリティに関する FAQ
モデルに送信されるデータ
Databricks Assistant は、プロンプト (質問やコードなど) と関連するメタデータを、各 API 要求で機能を利用するモデルに送信します。 これは、データに対してより関連性の高い結果を返すのに役立ちます。 たとえば、次のようになります。
- 現在のノートブック セルまたは SQL エディター タブのコードとクエリ
- テーブルと列名と説明
- 以前の質問
- お気に入りのテーブル
モデルに送信されるメタデータは、ユーザーの Unity カタログのアクセス許可を尊重しますか?
はい。モデルに送信されるすべてのデータは、ユーザーの Unity カタログのアクセス許可を尊重するため、ユーザーが表示するアクセス許可を持たないテーブルに関連するメタデータは送信されません。
結果を含むクエリを実行して質問した場合、クエリの結果はモデルに送信されますか?
いいえ。クエリ結果は Assistant では使用されません。
ノートブックやクエリを別の内部ユーザーと共有している場合、チャット履歴は表示されますか?
いいえ。 アシスタントとの対話は、アシスタントを開始したユーザーにのみ表示されます。
Databricks Assistant は危険なコードを実行しますか?
いいえ。 Databricks Assistant は、ユーザーに代わってコードを自動的に実行しません。 AI モデルは間違いを犯したり、意図を誤解したり、幻覚を見せたり、間違った答えを出したりする可能性があります。 AI によって生成されたコードを実行する前に確認してテストします。
Databricks はアシスタントの応答の正確性と妥当性を評価するために評価を行いましたか?
はい。Databricks は、想定されるユース ケースに基づいて、シミュレートされたユーザー入力を使用して、応答の精度と妥当性を向上させるために、すべての AI を利用した機能の広範なテストを行っています。 とは言え、生成型 AI は新しいテクノロジであり、アシスタントは不正確または不適切な応答を提供する可能性があります。 Databricks では、アシスタントがヘイト スピーチ、安全でないコード、脱獄を促すなどの有害な応答を生成するのを防ぐための軽減策も導入されています。
規制対象データ (PHI、PCI、IRAP、FedRAMP) を処理するテーブルで Databricks Assistant を使用できますか?
はい。 使用するには、コンプライアンス セキュリティ プロファイルを有効にするなどの要件に準拠し、コンプライアンス セキュリティ プロファイル構成の一部として関連するコンプライアンス標準を追加する必要があります。