Power Automate と AI Builder を使用したオブジェクトからのテキスト抽出

AI Builder

Azure AI Document Intelligence

Power Automate

Microsoft Power Platform

Azure Functions

この記事では、画像からテキストを抽出するためのソリューションを示します。これにより、SharePoint でインデックスを作成し、取得できるようになります。 AI Builder と Azure AI Document Intelligence を使用すると、トレーニング済みのモデルを使用して画像からテキストを抽出するように Power Automate ワークフローを構成できます。 ワークフローを構成したら、ドキュメントをすばやく検索して、図形やオブジェクトに挿入されたわかりやすいテキストを検索できます。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

ワークフロー

1. オブジェクト検出モデルは、ユーザーが指定したオブジェクトを認識するように AI Builder でトレーニングされています。
2. 新しいドキュメントは、SharePoint ドキュメント ライブラリ、OneDrive、または Teams に格納されます。
3. ドキュメントを取得すると、Power Automate イベントがトリガーされます。 このイベントでは、次が実行されます。
   1. AI Builder モデルを実行する。 AI Builder では、指定したオブジェクトのピクセル座標を含む JSON ファイルを返します。
   2. 完全な光学式文字認識 (OCR) スキャン用に Document Intelligence へドキュメントを送信する。 Document Intelligence では、スキャンされたテキストとテキストのピクセル座標を含む JSON ファイルを返します。
   3. Azure Functions で関数を実行する。 この関数では、AI Builder と Document Intelligence 出力ファイル内でピクセル座標を分析します。 検出されたオブジェクトがスキャンされたテキストと交差する場合、関数は JSON ファイル内の一致したデータを返します。
   4. メタデータまたは検出されたオブジェクトのテキストをドキュメント ライブラリに格納します。
4. メタデータは、SharePoint 検索インデックスでキャプチャされます。
5. ユーザーは、PnP Modern Search Web パーツを使用してメタデータを検索します。

コンポーネント

• AI Builder は Microsoft Power Platform の機能です。 AI Builder を使用して、画像内のオブジェクトを認識するようにモデルをトレーニングします。 また、AI Builder ではオブジェクト検出用の事前構築済みモデルも用意されています。
• ドキュメント インテリジェンス では、機械学習モデルを使用して、ドキュメントからフォーム フィールド、テキスト、テーブルを抽出および分析します。
• Power Automate は、Microsoft Power Platform のコードを使わないまたはわずかなコードのみ使用する直感的なソリューションの一部です。 Power Automate は、アプリケーションやサービス全体にわたってアクションを自動化するオンライン ワークフロー サービスです。
• Azure Functions は、イベント駆動のサーバーレス コンピューティング プラットフォームです。 Azure Functions は、クラウド内で必要に応じて大規模に実行されます。
• PnP Modern Search ソリューションは、SharePoint in Microsoft 365 の最新の Web パーツのセットです。 これらのツールを使用すると、非常に柔軟でパーソナライズされた検索ベースのエクスペリエンスを作成できます。

代替

• Azure AI サービスでは、ドキュメントの完全な OCR スキャンを実行できます。結果のメタデータは、SharePoint に格納されます。
• SharePoint でドキュメントの OCR スキャンを実行し、コンテンツ出力をインデックスに追加して取得できます。 さまざまな検索手法を使用して、ドキュメント内の主要な情報を取得します。
• ドキュメントを高速で処理する必要がある場合は、Azure Logic Apps を使用してコンポーネントを構成することを検討してください。 Azure Logic Apps によって、テナントの使用量制限に達するのを防ぎ、コスト効率にも優れています。 詳細については、Azure Logic Apps に関するページを参照してください。

シナリオの詳細

多くの場合、回路図や工業用の図には、テキストを含むオブジェクトがあります。 ドキュメントを手動でスキャンして関連するテキストを検索すると、手間も時間もかかってしまいます。

考えられるユース ケース

次のようなユース ケースがあります。

• さまざまな種類のオブジェクトを含む、複雑なエンジニアリングの回路図。 このソリューションを使用すると、図上にある特定のコンポーネントをすばやく検索できます。 オブジェクトに埋め込まれたテキストにアクセスすると、調査、不足部分の表示、またはリコールと失敗に関する通知の検索に役立ちます。
• 製造アセンブリ内のコンポーネントを示す工業用の図。 このソリューションによって、ポンプ、バルブ、自動スイッチ、その他のコンポーネントを迅速に識別します。 コンポーネントを特定すると、予防的なメンテナンス、危険なコンポーネントの分離、組織内のリスク管理の可視性向上に役立ちます。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

• Steve Pucelik | シニア スペシャリスト

次のステップ

• このソリューションに十分に適したドキュメントの種類について理解します。 一般的なドキュメントには、回路図、製造制御プロセス、および分離する必要がある多くの図形が含まれた図が含まれます。 詳細については、「 Document Intelligence カスタム モデル」を参照してください。
• AI Builder が提供する機能に対する理解を深めます。 詳細については、「Power Automate の概要」にある「AI Builder」を参照してください。
• メタデータを受信して処理できる情報アーキテクチャを定義します。 詳細については、「Azure AI Search スキル セット する」を参照してください。
• ソリューションのしくみと、それがユース ケースに適しているかどうかについては、「オブジェクトからテキストを抽出する 」を参照してください。

この記事では、画像からテキストを抽出するためのソリューションを示します。これにより、SharePoint でインデックスを作成し、取得できるようになります。 AI Builder と Azure AI Document Intelligence を使用すると、トレーニング済みのモデルを使用して画像からテキストを抽出するように Power Automate ワークフローを構成できます。 ワークフローを構成したら、ドキュメントをすばやく検索して、図形やオブジェクトに挿入されたわかりやすいテキストを検索できます。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

ワークフロー

1. オブジェクト検出モデルは、ユーザーが指定したオブジェクトを認識するように AI Builder でトレーニングされています。
2. 新しいドキュメントは、SharePoint ドキュメント ライブラリ、OneDrive、または Teams に格納されます。
3. ドキュメントを取得すると、Power Automate イベントがトリガーされます。 このイベントでは、次が実行されます。
   1. AI Builder モデルを実行する。 AI Builder では、指定したオブジェクトのピクセル座標を含む JSON ファイルを返します。
   2. 完全な光学式文字認識 (OCR) スキャン用に Document Intelligence へドキュメントを送信する。 Document Intelligence では、スキャンされたテキストとテキストのピクセル座標を含む JSON ファイルを返します。
   3. Azure Functions で関数を実行する。 この関数では、AI Builder と Document Intelligence 出力ファイル内でピクセル座標を分析します。 検出されたオブジェクトがスキャンされたテキストと交差する場合、関数は JSON ファイル内の一致したデータを返します。
   4. メタデータまたは検出されたオブジェクトのテキストをドキュメント ライブラリに格納します。
4. メタデータは、SharePoint 検索インデックスでキャプチャされます。
5. ユーザーは、PnP Modern Search Web パーツを使用してメタデータを検索します。

コンポーネント

• AI Builder は Microsoft Power Platform の機能です。 AI Builder を使用して、画像内のオブジェクトを認識するようにモデルをトレーニングします。 また、AI Builder ではオブジェクト検出用の事前構築済みモデルも用意されています。
• ドキュメント インテリジェンス では、機械学習モデルを使用して、ドキュメントからフォーム フィールド、テキスト、テーブルを抽出および分析します。
• Power Automate は、Microsoft Power Platform のコードを使わないまたはわずかなコードのみ使用する直感的なソリューションの一部です。 Power Automate は、アプリケーションやサービス全体にわたってアクションを自動化するオンライン ワークフロー サービスです。
• Azure Functions は、イベント駆動のサーバーレス コンピューティング プラットフォームです。 Azure Functions は、クラウド内で必要に応じて大規模に実行されます。
• PnP Modern Search ソリューションは、SharePoint in Microsoft 365 の最新の Web パーツのセットです。 これらのツールを使用すると、非常に柔軟でパーソナライズされた検索ベースのエクスペリエンスを作成できます。

代替

• Azure AI サービスでは、ドキュメントの完全な OCR スキャンを実行できます。結果のメタデータは、SharePoint に格納されます。
• SharePoint でドキュメントの OCR スキャンを実行し、コンテンツ出力をインデックスに追加して取得できます。 さまざまな検索手法を使用して、ドキュメント内の主要な情報を取得します。
• ドキュメントを高速で処理する必要がある場合は、Azure Logic Apps を使用してコンポーネントを構成することを検討してください。 Azure Logic Apps によって、テナントの使用量制限に達するのを防ぎ、コスト効率にも優れています。 詳細については、Azure Logic Apps に関するページを参照してください。

シナリオの詳細

多くの場合、回路図や工業用の図には、テキストを含むオブジェクトがあります。 ドキュメントを手動でスキャンして関連するテキストを検索すると、手間も時間もかかってしまいます。

考えられるユース ケース

次のようなユース ケースがあります。

• さまざまな種類のオブジェクトを含む、複雑なエンジニアリングの回路図。 このソリューションを使用すると、図上にある特定のコンポーネントをすばやく検索できます。 オブジェクトに埋め込まれたテキストにアクセスすると、調査、不足部分の表示、またはリコールと失敗に関する通知の検索に役立ちます。
• 製造アセンブリ内のコンポーネントを示す工業用の図。 このソリューションによって、ポンプ、バルブ、自動スイッチ、その他のコンポーネントを迅速に識別します。 コンポーネントを特定すると、予防的なメンテナンス、危険なコンポーネントの分離、組織内のリスク管理の可視性向上に役立ちます。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

• Steve Pucelik | シニア スペシャリスト

次のステップ

• このソリューションに十分に適したドキュメントの種類について理解します。 一般的なドキュメントには、回路図、製造制御プロセス、および分離する必要がある多くの図形が含まれた図が含まれます。 詳細については、「 Document Intelligence カスタム モデル」を参照してください。
• AI Builder が提供する機能に対する理解を深めます。 詳細については、「Power Automate の概要」にある「AI Builder」を参照してください。
• メタデータを受信して処理できる情報アーキテクチャを定義します。 詳細については、「Azure AI Search スキル セット する」を参照してください。
• ソリューションのしくみと、それがユース ケースに適しているかどうかについては、「オブジェクトからテキストを抽出する 」を参照してください。