Power Automate 및 AI Builder를 사용하여 개체에서 텍스트 추출

AI Builder

Azure AI 문서 인텔리전스

Power Automate

Microsoft Power Platform

Azure 기능

이 문서는 SharePoint에서 인덱싱 및 검색할 수 있도록 이미지의 텍스트를 추출하는 솔루션을 제시합니다. AI Builder 및 Azure AI 문서 인텔리전스를 통해 학습된 모델을 사용하여 이미지에서 텍스트를 추출하도록 Power Automate 워크플로를 구성할 수 있습니다. 워크플로를 구성한 후에는 도형 및 개체에 포함된 의미 있는 텍스트에 대한 문서를 빠르게 검색할 수 있습니다.

아키텍처

이 아키텍처의 Visio 파일을 다운로드합니다.

워크플로

1. 사용자가 지정하는 개체를 인식하도록 AI Builder에서 개체 감지 모델이 학습됩니다.
2. 새 문서가 SharePoint 문서 라이브러리, OneDrive 또는 Teams에 들어갑니다.
3. 문서를 받으면 Power Automate 이벤트를 트리거합니다. 해당 이벤트
   1. AI Builder 모델을 실행합니다. AI Builder는 지정된 개체의 픽셀 좌표를 포함하는 JSON 파일을 반환합니다.
   2. 전체 OCR(광학 문자 인식) 검사를 위해 문서를 문서 인텔리전스로 보냅니다. 문서 인텔리전스는 스캔한 텍스트와 텍스트의 픽셀 좌표가 포함된 JSON 파일을 반환합니다.
   3. Azure Functions에서 함수를 실행합니다. 이 함수는 AI Builder 및 문서 인텔리전스 출력 파일에서 픽셀 좌표를 분석합니다. 검색된 개체가 스캔한 텍스트와 교차하는 경우 이 함수는 JSON 파일에서 일치하는 데이터를 반환합니다.
   4. 검색된 개체의 텍스트 또는 메타데이터를 문서 라이브러리에 입력합니다.
4. 메타데이터는 SharePoint 검색 인덱스에서 캡처됩니다.
5. 사용자는 PnP 최신 검색 웹 파트를 사용하여 메타데이터를 검색합니다.

구성 요소

• AI Builder는 Microsoft Power Platform 기능입니다. AI Builder를 사용하여 이미지의 개체를 인식하도록 모델을 학습시킵니다. AI Builder는 개체 감지를 위해 미리 빌드된 모델도 제공합니다.
• 문서 인텔리전스 기계 학습 모델을 사용하여 문서에서 양식 필드, 텍스트 및 테이블을 추출하고 분석합니다.
• Power Automate는 코드가 없거나 코드가 적은 Microsoft Power Platform의 직관적 솔루션의 일부입니다. Power Automate는 앱 및 서비스에서 작업을 자동화하는 온라인 워크플로 서비스입니다.
• Azure Functions는 이벤트 기반 서버리스 컴퓨팅 플랫폼입니다. Azure Functions는 요청 시 클라우드에서 대규모로 실행됩니다.
• PnP 최신 검색 솔루션은 Microsoft 365 최신 웹 파트에 있는 SharePoint Online 세트입니다. 이러한 도구를 사용하면 매우 유연한 맞춤형 검색 기반 환경을 만들 수 있습니다.

대안

• Azure AI 서비스는 SharePoint에 저장된 결과 메타데이터를 사용하여 문서의 전체 OCR 검사를 수행할 수 있습니다.
• SharePoint는 문서에서 OCR 검사를 실행하고 검색을 위해 인덱스에 콘텐츠 출력을 추가할 수 있습니다. 검색 기술을 사용하여 문서의 주요 정보를 대상으로 지정합니다.
• 높은 비율의 문서를 처리하려면 Azure Logic Apps를 사용하여 구성 요소를 설정하는 것이 좋습니다. Azure Logic Apps는 테넌트에서 소비 한도에 도달하는 것을 방지하며 비용 효율적입니다. 자세한 내용은 Azure Logic Apps를 참조하세요.

시나리오 정보

도식 및 산업 다이어그램에는 텍스트가 포함된 개체가 있는 경우가 많습니다. 관련 텍스트에 대한 문서를 수동으로 검사하는 것은 힘든 작업이고 시간이 오래 걸릴 수 있습니다.

잠재적인 사용 사례

사용 사례는 다음과 같습니다.

• 다양한 유형의 개체를 포함하는 복잡한 엔지니어링 도식 다이어그램. 이 솔루션을 사용하면 다이어그램에서 특정 구성 요소를 빠르게 검색할 수 있습니다. 개체에 포함된 텍스트에 액세스하는 것은 조사, 부족 노출에 유용하며 회수 및 실패 알림을 찾는 데 도움이 됩니다.
• 제조 어셈블리의 구성 요소를 보여 주는 산업 다이어그램. 이 솔루션은 펌프, 밸브, 자동화된 스위치 및 기타 구성 요소를 신속하게 식별합니다. 구성 요소를 식별하면 예방적 유지 관리, 위험한 구성 요소 격리 및 조직의 위험 관리에 대한 가시성 개선에 도움이 됩니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

• Steve Pucelik | 선임 전문가

다음 단계

• 이 솔루션에 적합한 문서 유형을 이해합니다. 일반적인 문서에는 도식 다이어그램, 제조 제어 프로세스 및 격리해야 하는 여러 셰이프가 포함된 다이어그램이 포함됩니다. 자세한 내용은 문서 인텔리전스 사용자 지정 모델을 참조 하세요.
• AI Builder에서 제공하는 기능에 익숙해집니다. 자세한 내용은 Power Automate의 AI Builder 개요를 참조하세요.
• 메타데이터를 수신하고 처리할 수 있는 정보 아키텍처를 정의합니다. 자세한 내용은 azure AI Search 기술 집합 참조하세요.
• 솔루션의 작동 방식 및 사용 사례에 적합한지 여부에 대한 자세한 내용은 개체에서 텍스트 추출을 참조하세요.

이 문서는 SharePoint에서 인덱싱 및 검색할 수 있도록 이미지의 텍스트를 추출하는 솔루션을 제시합니다. AI Builder 및 Azure AI 문서 인텔리전스를 통해 학습된 모델을 사용하여 이미지에서 텍스트를 추출하도록 Power Automate 워크플로를 구성할 수 있습니다. 워크플로를 구성한 후에는 도형 및 개체에 포함된 의미 있는 텍스트에 대한 문서를 빠르게 검색할 수 있습니다.

아키텍처

이 아키텍처의 Visio 파일을 다운로드합니다.

워크플로

1. 사용자가 지정하는 개체를 인식하도록 AI Builder에서 개체 감지 모델이 학습됩니다.
2. 새 문서가 SharePoint 문서 라이브러리, OneDrive 또는 Teams에 들어갑니다.
3. 문서를 받으면 Power Automate 이벤트를 트리거합니다. 해당 이벤트
   1. AI Builder 모델을 실행합니다. AI Builder는 지정된 개체의 픽셀 좌표를 포함하는 JSON 파일을 반환합니다.
   2. 전체 OCR(광학 문자 인식) 검사를 위해 문서를 문서 인텔리전스로 보냅니다. 문서 인텔리전스는 스캔한 텍스트와 텍스트의 픽셀 좌표가 포함된 JSON 파일을 반환합니다.
   3. Azure Functions에서 함수를 실행합니다. 이 함수는 AI Builder 및 문서 인텔리전스 출력 파일에서 픽셀 좌표를 분석합니다. 검색된 개체가 스캔한 텍스트와 교차하는 경우 이 함수는 JSON 파일에서 일치하는 데이터를 반환합니다.
   4. 검색된 개체의 텍스트 또는 메타데이터를 문서 라이브러리에 입력합니다.
4. 메타데이터는 SharePoint 검색 인덱스에서 캡처됩니다.
5. 사용자는 PnP 최신 검색 웹 파트를 사용하여 메타데이터를 검색합니다.

구성 요소

• AI Builder는 Microsoft Power Platform 기능입니다. AI Builder를 사용하여 이미지의 개체를 인식하도록 모델을 학습시킵니다. AI Builder는 개체 감지를 위해 미리 빌드된 모델도 제공합니다.
• 문서 인텔리전스 기계 학습 모델을 사용하여 문서에서 양식 필드, 텍스트 및 테이블을 추출하고 분석합니다.
• Power Automate는 코드가 없거나 코드가 적은 Microsoft Power Platform의 직관적 솔루션의 일부입니다. Power Automate는 앱 및 서비스에서 작업을 자동화하는 온라인 워크플로 서비스입니다.
• Azure Functions는 이벤트 기반 서버리스 컴퓨팅 플랫폼입니다. Azure Functions는 요청 시 클라우드에서 대규모로 실행됩니다.
• PnP 최신 검색 솔루션은 Microsoft 365 최신 웹 파트에 있는 SharePoint Online 세트입니다. 이러한 도구를 사용하면 매우 유연한 맞춤형 검색 기반 환경을 만들 수 있습니다.

대안

• Azure AI 서비스는 SharePoint에 저장된 결과 메타데이터를 사용하여 문서의 전체 OCR 검사를 수행할 수 있습니다.
• SharePoint는 문서에서 OCR 검사를 실행하고 검색을 위해 인덱스에 콘텐츠 출력을 추가할 수 있습니다. 검색 기술을 사용하여 문서의 주요 정보를 대상으로 지정합니다.
• 높은 비율의 문서를 처리하려면 Azure Logic Apps를 사용하여 구성 요소를 설정하는 것이 좋습니다. Azure Logic Apps는 테넌트에서 소비 한도에 도달하는 것을 방지하며 비용 효율적입니다. 자세한 내용은 Azure Logic Apps를 참조하세요.

시나리오 정보

도식 및 산업 다이어그램에는 텍스트가 포함된 개체가 있는 경우가 많습니다. 관련 텍스트에 대한 문서를 수동으로 검사하는 것은 힘든 작업이고 시간이 오래 걸릴 수 있습니다.

잠재적인 사용 사례

사용 사례는 다음과 같습니다.

• 다양한 유형의 개체를 포함하는 복잡한 엔지니어링 도식 다이어그램. 이 솔루션을 사용하면 다이어그램에서 특정 구성 요소를 빠르게 검색할 수 있습니다. 개체에 포함된 텍스트에 액세스하는 것은 조사, 부족 노출에 유용하며 회수 및 실패 알림을 찾는 데 도움이 됩니다.
• 제조 어셈블리의 구성 요소를 보여 주는 산업 다이어그램. 이 솔루션은 펌프, 밸브, 자동화된 스위치 및 기타 구성 요소를 신속하게 식별합니다. 구성 요소를 식별하면 예방적 유지 관리, 위험한 구성 요소 격리 및 조직의 위험 관리에 대한 가시성 개선에 도움이 됩니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

• Steve Pucelik | 선임 전문가

다음 단계

• 이 솔루션에 적합한 문서 유형을 이해합니다. 일반적인 문서에는 도식 다이어그램, 제조 제어 프로세스 및 격리해야 하는 여러 셰이프가 포함된 다이어그램이 포함됩니다. 자세한 내용은 문서 인텔리전스 사용자 지정 모델을 참조 하세요.
• AI Builder에서 제공하는 기능에 익숙해집니다. 자세한 내용은 Power Automate의 AI Builder 개요를 참조하세요.
• 메타데이터를 수신하고 처리할 수 있는 정보 아키텍처를 정의합니다. 자세한 내용은 azure AI Search 기술 집합 참조하세요.
• 솔루션의 작동 방식 및 사용 사례에 적합한지 여부에 대한 자세한 내용은 개체에서 텍스트 추출을 참조하세요.