Share via

Databricks の大規模言語モデル (LLM)

  • [アーティクル]

Azure Databricks を使用すると、一般公開されている大規模言語モデルに簡単にアクセスして構築できます。

Databricks Runtime for Machine Learning には、既存の事前トレーニング済みモデルやその他のオープンソース ライブラリをワークフローに統合できる、Hugging Face Transformers、LangChain などのライブラリが含まれています。 ここから、Azure Databricks プラットフォームの機能を利用して、独自のデータを使用して LLM を微調整し、ドメインのパフォーマンスを向上させることができます。

さらに、Azure Databricks には、SQL ユーザーが AI 関数を使用して、Azure OpenAI や OpenAI などの LLM にアクセスして実験を行うための組み込み機能が用意されています。

Foundation Model Training

重要

この機能はパブリック プレビュー段階にあります。 パブリック プレビューに登録する場合は、Databricks アカウント チームにお問い合わせください。

Foundation Model Training は、モデル全体の微調整を実行するための Databricks トレーニング スタックへのシンプルなインターフェイスです。

Foundation Model Training を使用すると、次の操作を行うことができます。

  • MLflow に保存されたチェックポイントを使用して、カスタム データを使用してモデルを微調整します。 微調整されたモデルを完全に制御できます。
  • モデルを Unity Catalog に自動的に登録し、モデル サービスを使用して簡単にデプロイできるようにします。
  • 以前に微調整したモデルの重みを読み込んで、完成した独自のモデルを微調整します。

「Foundation Model Training」を参照してください。

Hugging Face Transformers

Databricks で Hugging Face Transformers を使用すると、自然言語処理 (NLP) バッチ アプリケーションをスケールアウトし、大規模言語モデル アプリケーション向けにモデルを微調整できます。

Hugging Face transformers ライブラリは、Databricks Runtime 10.4 LTS ML 以降にプレインストールされています。 一般的な NLP モデルの多くは GPU ハードウェアで最適に動作するため、CPU で使用するために特に最適化されたモデルを使用しない限り、最新の GPU ハードウェアを使用して最高のパフォーマンスを得ることができます。

LangChain

LangChain は、LangChain のお客様が Azure Databricks 環境から直接 MLflow の堅牢なツールと実験追跡機能を活用できるようにする、実験的な MLflow フレーバーとして利用できます。

LangChain は、大規模言語モデル (LLM) を利用し、それらを外部データと組み合わせて LLM のトレーニング コンテキストを増やすアプリケーションを作成するのに役立つように設計されたソフトウェア フレームワークです。

Databricks Runtime ML には、Databricks Runtime 13.1 ML 以降の langchain が含まれています。

Databricks 固有の LangChain 統合について説明します。

AI 関数

重要

この機能はパブリック プレビュー段階にあります。

AI 関数は組み込みの SQL 関数であり、SQL ユーザーは次のことが可能になります。

  • Databricks Foundation Model API を使用して、会社のデータに関するさまざまなタスクを実行します。
  • OpenAI から GPT-4 などの外部モデルにアクセスし、それらを試します。
  • SQL クエリからエンドポイントを提供する Databricks モデルによってホストされるモデルにクエリを実行します。