Wyodrębnianie tekstu z obiektów przy użyciu usług Power Automate i AI Builder

AI Builder

Usługa Azure AI Document Intelligence

Power Automate

Microsoft Power Platform

Azure Functions

W tym artykule przedstawiono rozwiązanie do wyodrębniania tekstu z obrazów, dzięki czemu można je indeksować i pobierać w programie SharePoint. Korzystając z narzędzi AI Builder i Azure AI Document Intelligence, możesz skonfigurować przepływ pracy usługi Power Automate, aby użyć wytrenowanego modelu w celu wyodrębnienia tekstu z obrazu. Po skonfigurowaniu przepływu pracy możesz szybko wyszukiwać dokumenty pod kątem znaczącego tekstu osadzonego w kształtach i obiektach.

Architektura

Pobierz plik programu Visio z tą architekturą.

Przepływ pracy

1. Model wykrywania obiektów jest trenowany w narzędziu AI Builder w celu rozpoznawania obiektów, które określa użytkownik.
2. Nowy dokument wprowadza bibliotekę dokumentów programu SharePoint, usługę OneDrive lub teams.
3. Przybycie dokumentu wyzwala zdarzenie usługi Power Automate. To zdarzenie:
   1. Uruchamia model narzędzia AI Builder. Narzędzie AI Builder zwraca plik JSON zawierający współrzędne pikseli wszystkich określonych obiektów.
   2. Wysyła dokument do usługi Document Intelligence w celu przeprowadzenia pełnego skanowania optycznego rozpoznawania znaków (OCR). Analiza dokumentów zwraca plik JSON zawierający zeskanowany tekst i współrzędne pikseli tekstu.
   3. Uruchamia funkcję w usłudze Azure Functions. Funkcja analizuje współrzędne pikseli w plikach wyjściowych narzędzia AI Builder i analizy dokumentów. Jeśli wykryte obiekty przecinają się ze zeskanowanym tekstem, funkcja zwraca dopasowane dane w pliku JSON.
   4. Wprowadza metadane lub tekst z wykrytych obiektów do biblioteki dokumentów.
4. Metadane są przechwytywane w indeksie wyszukiwania programu SharePoint.
5. Użytkownicy wyszukują metadane przy użyciu składników Web Part nowoczesnego wyszukiwania PnP.

Składniki

• Narzędzie AI Builder to funkcja platformy Microsoft Power Platform. Używanie narzędzia AI Builder do trenowania modeli w celu rozpoznawania obiektów na obrazach. Narzędzie AI Builder oferuje również wstępnie utworzone modele do wykrywania obiektów.
• document intelligence używa modeli uczenia maszynowego do wyodrębniania i analizowania pól formularzy, tekstu i tabel z dokumentów.
• Usługa Power Automate jest częścią intuicyjnego rozwiązania platformy Microsoft Power Platform bez kodu ani z małą ilością kodu. Power Automate to usługa przepływu pracy online, która automatyzuje akcje w aplikacjach i usługach.
• Azure Functions to bezserwerowa platforma obliczeniowa oparta na zdarzeniach. Usługa Azure Functions działa na żądanie i na dużą skalę w chmurze.
• Rozwiązanie PnP Modern Search to zestaw programu SharePoint w nowoczesnych składnikach Web Part platformy Microsoft 365. Za pomocą tych narzędzi można tworzyć wysoce elastyczne i spersonalizowane środowiska oparte na wyszukiwaniu.

Alternatywy

• Usługi azure AI mogą wykonywać pełne skanowanie dokumentów za pomocą OCR z wynikowymi metadanymi przechowywanymi w programie SharePoint.
• Program SharePoint może uruchamiać skanowanie OCR na dokumentach i dodawać dane wyjściowe zawartości do indeksu w celu pobrania. Użyj technik wyszukiwania, aby kierować kluczowe informacje w dokumentach.
• Jeśli chcesz przetworzyć wysoką liczbę dokumentów, rozważ użycie usługi Azure Logic Apps do skonfigurowania składników. Usługa Azure Logic Apps uniemożliwia osiąganie limitów zużycia w dzierżawie i jest opłacalne. Aby uzyskać więcej informacji, zobacz Azure Logic Apps.

Szczegóły scenariusza

Schematowe i przemysłowe diagramy często zawierają obiekty zawierające tekst. Ręczne skanowanie dokumentów pod kątem odpowiedniego tekstu może być czasochłonne i czasochłonne.

Potencjalne przypadki użycia

Przypadki użycia obejmują:

• Skomplikowane diagramy schematu inżynieryjnego, które zawierają różne typy obiektów. Korzystając z tego rozwiązania, można szybko wyszukać określone składniki na diagramie. Dostęp do osadzonego tekstu w obiektach jest przydatny w przypadku badań, ujawniania niedoborów lub wyszukiwania powiadomień o odwołaniu i niepowodzeniu.
• Diagramy przemysłowe, które pokazują składniki w zestawie produkcyjnym. To rozwiązanie szybko identyfikuje pompy, zawory, przełączniki automatyczne i inne elementy. Identyfikowanie składników ułatwia konserwację zapobiegawczą, izolowanie niebezpiecznych składników oraz zwiększanie widoczności zarządzania ryzykiem w organizacji.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

• Steve Pucelik | Starszy specjalista

Następne kroki

• Zapoznaj się z typami dokumentów, które byłyby odpowiednie dla tego rozwiązania. Typowe dokumenty obejmują schematy, procesy kontroli produkcji i diagramy zawierające wiele kształtów, które muszą być odizolowane. Aby uzyskać więcej informacji, zobacz Modele niestandardowe analizy dokumentów.
• Zapoznaj się z możliwościami oferowanymi przez narzędzie AI Builder. Aby uzyskać więcej informacji, zobacz AI Builder w usłudze Power Automate — omówienie.
• Zdefiniuj architekturę informacji, która może odbierać i przetwarzać metadane. Aby uzyskać więcej informacji, zobacz zestaw umiejętności usługi Azure AI Search.
• Aby uzyskać informacje na temat działania rozwiązania i tego, czy jest ono odpowiednie dla Twoich przypadków użycia, zobacz Wyodrębnianie tekstu z obiektów.

W tym artykule przedstawiono rozwiązanie do wyodrębniania tekstu z obrazów, dzięki czemu można je indeksować i pobierać w programie SharePoint. Korzystając z narzędzi AI Builder i Azure AI Document Intelligence, możesz skonfigurować przepływ pracy usługi Power Automate, aby użyć wytrenowanego modelu w celu wyodrębnienia tekstu z obrazu. Po skonfigurowaniu przepływu pracy możesz szybko wyszukiwać dokumenty pod kątem znaczącego tekstu osadzonego w kształtach i obiektach.

Architektura

Pobierz plik programu Visio z tą architekturą.

Przepływ pracy

1. Model wykrywania obiektów jest trenowany w narzędziu AI Builder w celu rozpoznawania obiektów, które określa użytkownik.
2. Nowy dokument wprowadza bibliotekę dokumentów programu SharePoint, usługę OneDrive lub teams.
3. Przybycie dokumentu wyzwala zdarzenie usługi Power Automate. To zdarzenie:
   1. Uruchamia model narzędzia AI Builder. Narzędzie AI Builder zwraca plik JSON zawierający współrzędne pikseli wszystkich określonych obiektów.
   2. Wysyła dokument do usługi Document Intelligence w celu przeprowadzenia pełnego skanowania optycznego rozpoznawania znaków (OCR). Analiza dokumentów zwraca plik JSON zawierający zeskanowany tekst i współrzędne pikseli tekstu.
   3. Uruchamia funkcję w usłudze Azure Functions. Funkcja analizuje współrzędne pikseli w plikach wyjściowych narzędzia AI Builder i analizy dokumentów. Jeśli wykryte obiekty przecinają się ze zeskanowanym tekstem, funkcja zwraca dopasowane dane w pliku JSON.
   4. Wprowadza metadane lub tekst z wykrytych obiektów do biblioteki dokumentów.
4. Metadane są przechwytywane w indeksie wyszukiwania programu SharePoint.
5. Użytkownicy wyszukują metadane przy użyciu składników Web Part nowoczesnego wyszukiwania PnP.

Składniki

• Narzędzie AI Builder to funkcja platformy Microsoft Power Platform. Używanie narzędzia AI Builder do trenowania modeli w celu rozpoznawania obiektów na obrazach. Narzędzie AI Builder oferuje również wstępnie utworzone modele do wykrywania obiektów.
• document intelligence używa modeli uczenia maszynowego do wyodrębniania i analizowania pól formularzy, tekstu i tabel z dokumentów.
• Usługa Power Automate jest częścią intuicyjnego rozwiązania platformy Microsoft Power Platform bez kodu ani z małą ilością kodu. Power Automate to usługa przepływu pracy online, która automatyzuje akcje w aplikacjach i usługach.
• Azure Functions to bezserwerowa platforma obliczeniowa oparta na zdarzeniach. Usługa Azure Functions działa na żądanie i na dużą skalę w chmurze.
• Rozwiązanie PnP Modern Search to zestaw programu SharePoint w nowoczesnych składnikach Web Part platformy Microsoft 365. Za pomocą tych narzędzi można tworzyć wysoce elastyczne i spersonalizowane środowiska oparte na wyszukiwaniu.

Alternatywy

• Usługi azure AI mogą wykonywać pełne skanowanie dokumentów za pomocą OCR z wynikowymi metadanymi przechowywanymi w programie SharePoint.
• Program SharePoint może uruchamiać skanowanie OCR na dokumentach i dodawać dane wyjściowe zawartości do indeksu w celu pobrania. Użyj technik wyszukiwania, aby kierować kluczowe informacje w dokumentach.
• Jeśli chcesz przetworzyć wysoką liczbę dokumentów, rozważ użycie usługi Azure Logic Apps do skonfigurowania składników. Usługa Azure Logic Apps uniemożliwia osiąganie limitów zużycia w dzierżawie i jest opłacalne. Aby uzyskać więcej informacji, zobacz Azure Logic Apps.

Szczegóły scenariusza

Schematowe i przemysłowe diagramy często zawierają obiekty zawierające tekst. Ręczne skanowanie dokumentów pod kątem odpowiedniego tekstu może być czasochłonne i czasochłonne.

Potencjalne przypadki użycia

Przypadki użycia obejmują:

• Skomplikowane diagramy schematu inżynieryjnego, które zawierają różne typy obiektów. Korzystając z tego rozwiązania, można szybko wyszukać określone składniki na diagramie. Dostęp do osadzonego tekstu w obiektach jest przydatny w przypadku badań, ujawniania niedoborów lub wyszukiwania powiadomień o odwołaniu i niepowodzeniu.
• Diagramy przemysłowe, które pokazują składniki w zestawie produkcyjnym. To rozwiązanie szybko identyfikuje pompy, zawory, przełączniki automatyczne i inne elementy. Identyfikowanie składników ułatwia konserwację zapobiegawczą, izolowanie niebezpiecznych składników oraz zwiększanie widoczności zarządzania ryzykiem w organizacji.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

• Steve Pucelik | Starszy specjalista

Następne kroki

• Zapoznaj się z typami dokumentów, które byłyby odpowiednie dla tego rozwiązania. Typowe dokumenty obejmują schematy, procesy kontroli produkcji i diagramy zawierające wiele kształtów, które muszą być odizolowane. Aby uzyskać więcej informacji, zobacz Modele niestandardowe analizy dokumentów.
• Zapoznaj się z możliwościami oferowanymi przez narzędzie AI Builder. Aby uzyskać więcej informacji, zobacz AI Builder w usłudze Power Automate — omówienie.
• Zdefiniuj architekturę informacji, która może odbierać i przetwarzać metadane. Aby uzyskać więcej informacji, zobacz zestaw umiejętności usługi Azure AI Search.
• Aby uzyskać informacje na temat działania rozwiązania i tego, czy jest ono odpowiednie dla Twoich przypadków użycia, zobacz Wyodrębnianie tekstu z obiektów.