ソリューションのアイデア
このアーティクルはソリューションのアイデアです。 このコンテンツにさらに多くの情報 (想定されるユース ケース、代替サービス、実装に関する考慮事項、価格ガイダンスなど) の掲載をご希望の方は、GitHub のフィードバックでお知らせください。
このソリューションは、画像のコンテンツに基づく豊富な情報を提供するビジュアル アシスタントを提供します。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
- ユーザーは、モバイル アプリまたは Web アプリを介してボットと対話します。
- ボットでは、アプリケーションに組み込まれている Language Understanding Intelligence Service (LUIS) を使用して、ユーザーの意図と会話コンテキストを識別します。
- ボットから Bing Visual Search API にビジュアル コンテキスト (画像など) が渡されます。
- ボットによって、Bing Entity Search API から、画像に関連する人物、場所、アートワーク、記念碑、オブジェクトに関する情報が取得されます。
- ボットによってバーコードから情報が取得されます。
- 必要に応じて、ボットによって、Bing Custom Search API を使用して、ユーザーのドメインに限定されるバーコードまたはクエリに関する詳細情報が取得されます。
- ビジュアル アシスタントから、関連する製品、目的地、有名人、場所、記念碑、アートワークに関する情報をユーザーに提示されます。
コンポーネント
- Azure App Service は、Web アプリ、REST API、モバイル バックエンドをホストするためのフル マネージド HTTP ベース サービスです。
- Azure Bot Service では、カスタマー エクスペリエンスを強化するインテリジェントなエンタープライズ レベルのボットを開発するための環境を提供します。 統合環境では、データの制御を維持する方法も提供されます。
- Bing Custom Search API では、Bing の優れたランク付けとグローバル規模の検索インデックスを使用して、カスタマイズされた検索エクスペリエンスを作成する方法を提供します。
- Bing Entity Search API には、既知の人物、場所、映画、テレビ番組、ビデオゲーム、書籍、企業などの関連エンティティを識別する検索機能が用意されています。
- Bing Visual Search API から、類似画像、画像内のアイテムを購入するためのショッピング ソース、画像を含む Web ページなど、特定の画像に関連するデータが返されます。
- Bing Web Search API から、ユーザーが 1 回の API 呼び出しを発行した後に検索結果が提供されます。 結果では、数十億の Web ページ、画像、ビデオ、ニュースから関連情報が編集されます。
- Azure Cognitive Service for Language は、多くの自然言語処理サービスを提供する Azure Cognitive Services の一部です。
- 会話言語理解は、Cognitive Service for Language の機能です。 このクラウドベースの API サービスは、会話アプリを構築するための機械学習インテリジェンス機能を提供します。 LUIS を使用して会話の意味を予測し、関連する詳細情報を引き出すことができます。
シナリオの詳細
このソリューションは、画像のコンテンツに基づく豊富な情報を提供するビジュアル アシスタントを提供します。 アシスタントの機能には、名刺の読み取り、バーコードの解読、既知の人物、場所、オブジェクト、アートワーク、記念碑の認識などがあります。
考えられるユース ケース
組織はこのソリューションを使用して、次の情報を提供できます。
- 予定のスケジュール設定。
- 製造、自動車、輸送アプリケーションでの注文と配送の追跡。
- 小売でのバーコード購入。
- 金融および小売での支払処理。
- 小売でのサブスクリプションの更新。
- 教育、メディア、エンターテインメント業界におけるよく知られている人々、場所、オブジェクト、芸術、記念碑の識別。
次のステップ
重要なコンテキストを検出するアプリを設計するには、「クイック スタート: Custom Vision クライアント ライブラリを使用してオブジェクト検出プロジェクトを作成する」を参照してください。
Bing が提供する検索機能については、「Bing の検索 API ファミリ」を参照してください。
LUIS をボットに組み込むには、「自然言語理解をボットに追加する」を参照してください。
LUIS のしくみについて Learn モジュールを調べるには、「Conversational Language Understanding を使用して言語モデルを作成する」を参照してください。
Bot Service を使用してビルドする方法については、「Language Service と Azure Bot Service を使用してボットを構築する」を参照してください。
QnA Maker と Bot Service を組み込んだボットを作成するには、「会話型 AI ソリューションの作成」を参照してください。
LUIS、Bot Service、Bing Visual Search API について理解を強化するには、「試験 AI-900: Microsoft Azure AI の基礎」を参照してください。
Cognitive Services に関する知識を認定するには、「Microsoft 認定: Azure AI エンジニア アソシエイト」を参照してください。
ソリューション内のコンポーネントの詳細については、こちらのリソースを参照してください。