Mengekstrak teks dari objek menggunakan Power Automate dan AI Builder

Artikel ini menyajikan solusi untuk mengekstrak teks dari gambar sehingga dapat diindeks dan diambil di SharePoint. Dengan menggunakan AI Builder dan Azure AI Document Intelligence, Anda dapat mengonfigurasi alur kerja Power Automate untuk menggunakan model terlatih untuk mengekstrak teks dari gambar. Setelah mengonfigurasi alur kerja, Anda dapat dengan cepat mencari dokumen untuk teks bermakna yang disematkan dalam bentuk dan objek.

Sistem

Unduh file Visio arsitektur ini.

Alur kerja

1. Model deteksi objek dilatih di AI Builder untuk mengenali objek yang ditentukan pengguna.
2. Dokumen baru memasukkan pustaka dokumen SharePoint, OneDrive, atau Teams.
3. Kedatangan dokumen memicu peristiwa Power Automate. Peristiwa itu:
   1. Menjalankan model AI Builder. AI Builder mengembalikan file JSON yang berisi koordinat piksel dari objek tertentu.
   2. Mengirim dokumen ke Kecerdasan Dokumen untuk pemindaian pengenalan karakter optik penuh (OCR). Kecerdasan Dokumen mengembalikan file JSON yang berisi teks yang dipindai dan koordinat piksel teks.
   3. Menjalankan fungsi di Azure Functions. Fungsi ini menganalisis koordinat piksel dalam file output AI Builder dan Kecerdasan Dokumen. Jika objek yang terdeteksi bersinggungan dengan teks yang dipindai, fungsi mengembalikan data yang cocok dalam file JSON.
   4. Memasukkan metadata, atau teks dari objek yang terdeteksi, ke dalam pustaka dokumen.
4. Metadata diambil dalam indeks pencarian SharePoint.
5. Pengguna mencari metadata dengan menggunakan komponen web Pencarian Modern PnP.

Komponen

• AI Builder adalah kemampuan Microsoft Power Platform. Gunakan AI Builder untuk melatih model untuk mengenali objek dalam gambar. AI Builder juga menawarkan model bawaan untuk deteksi objek.
• Form Recognizer menggunakan model pembelajaran mesin untuk mengekstrak dan menganalisis bidang formulir, teks, dan tabel dari dokumen Anda.
• Power Automate adalah bagian dari solusi intuitif tanpa kode atau kode rendah Microsoft Power Platform. Power Automate adalah layanan alur kerja online yang mengotomatiskan tindakan di seluruh aplikasi dan layanan.
• Azure Functions adalah platform komputasi tanpa server berbasis peristiwa. Azure Functions berjalan sesuai permintaan dan dalam skala besar di cloud.
• Solusi Pencarian Modern PnP adalah sekumpulan SharePoint di bagian web modern Microsoft 365. Dengan menggunakan alat-alat ini, Anda dapat menciptakan pengalaman berbasis pencarian yang sangat fleksibel dan dipersonalisasi.

Alternatif

• Layanan Azure AI dapat melakukan pemindaian OCR penuh dokumen, dengan metadata yang dihasilkan disimpan di SharePoint.
• SharePoint dapat menjalankan pemindaian OCR pada dokumen dan menambahkan output konten ke indeks untuk pengambilan. Gunakan teknik pencarian untuk menargetkan informasi kunci dalam dokumen.
• Jika Anda ingin memproses tingkat dokumen yang tinggi, pertimbangkan untuk menggunakan Azure Logic Apps untuk mengonfigurasi komponen. Azure Logic Apps mencegah Anda mencapai batas konsumsi di penyewa Anda, dan hemat biaya. Untuk informasi selengkapnya, lihat Azure Logic Apps.

Detail skenario

Diagram skema dan industri sering memiliki objek yang berisi teks. Memindai dokumen secara manual untuk teks yang relevan dapat melelahkan dan memakan waktu.

Kemungkinan kasus penggunaan

Kasus penggunaan mencakup:

• Diagram skema rekayasa rumit yang berisi berbagai jenis objek. Dengan menggunakan solusi ini, Anda dapat dengan cepat mencari komponen tertentu pada diagram. Memiliki akses ke teks yang disematkan dalam objek sangat membantu untuk penyelidikan, mengekspos kekurangan, atau mencari pemberitahuan pengenalan dan kegagalan.
• Diagram industri yang menunjukkan komponen dalam perakitan manufaktur. Solusi ini segera mengidentifikasi pompa, katup, sakelar otomatis, dan komponen lainnya. Mengidentifikasi komponen membantu pemeliharaan pencegahan, mengisolasi komponen berbahaya, dan meningkatkan visibilitas manajemen risiko di organisasi Anda.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Pertimbangkan poin-poin ini saat Anda menganalisis dan memproses dokumen:

• AI Builder hanya dapat menangkap koordinat persegi saat menggunakan model terlatih. Objek dengan teks di luar batasnya, seperti segitiga dan lingkaran, berpotensi menambahkan informasi yang tidak diinginkan dan tidak perlu.
• Metadata yang dihasilkan dari Azure Functions dapat berisi karakter tambahan jika ada teks di luar batas objek.
• Proses pembuatan AI Builder dapat menandai lebih dari satu objek. File JSON yang dihasilkan dari Azure Functions berisi semua jenis objek dan teks. Aplikasi ini menggunakan metadata dan perlu mengurai dan memproses hasilnya.

Ketersediaan

Azure mereplikasi data untuk memastikan durabilitas dan ketersediaan tinggi. Redundansi data melindungi Anda dari peristiwa yang direncanakan dan tidak direncanakan, termasuk kegagalan perangkat keras sementara, pemadaman jaringan atau listrik, dan bencana alam. Pilih untuk mereplikasi data Anda dalam pusat data yang sama, di seluruh pusat data zona dalam wilayah yang sama, atau di seluruh wilayah yang dipisahkan secara geografis.

Skalabilitas

Azure Functions sangat dapat diskalakan. Platform ini menawarkan beberapa paket yang secara otomatis menskalakan sesuai permintaan ketika peristiwa dipicu. Untuk informasi selengkapnya, lihat Penskalaan berbasis peristiwa.

Azure Functions memiliki batas 200 instans. Jika Anda perlu menskalakan di luar batas ini, tambahkan beberapa wilayah atau paket aplikasi.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

Gunakan praktik keamanan standar untuk komponen yang Anda gunakan, dan untuk pustaka dokumen SharePoint tempat Anda menyimpan metadata.

Kecerdasan Dokumen dirancang dengan mempertimbangkan kepatuhan, privasi, dan keamanan. Ini mengautentikasi akses dengan menggunakan kunci API, mengenkripsi data selama transit dan penyimpanan, dan mengembalikan hasil dengan menggunakan kunci API. Untuk informasi selengkapnya, lihat Data, privasi, dan keamanan untuk Form Recognizer.

AI Builder bergantung pada keamanan lingkungan dan peran dan hak istimewa keamanan Dataverse untuk memberikan akses ke fitur AI di Power Apps. Hak istimewa diatur secara default di Dataverse. Administrator sistem dapat menggunakan peran keamanan bawaan default tanpa tindakan lebih lanjut. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Keamanan.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

• Untuk Power Automate, pastikan lisensi yang telah Anda beli dan tetapkan memadai untuk volume dokumen yang Anda proses. Sertakan konektor premium HTTP untuk memanggil Kecerdasan Dokumen dan Azure Functions.
• Beli kredit AI Builder berdasarkan penggunaan model yang diharapkan.
• Untuk memperkirakan biaya produk dan konfigurasi Azure, gunakan kalkulator harga Azure.

Menyebarkan skenario ini

Untuk informasi selengkapnya tentang menyebarkan skenario ini, lihat Blog Komunitas Power Automate dan repositori Ekstrak Teks Dari Objek GitHub.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

• Steve Pucelik | Sr. Specialist

Langkah berikutnya

• Pahami jenis dokumen yang sangat cocok untuk solusi ini. Dokumen umum termasuk diagram skema, proses kontrol manufaktur, dan diagram yang berisi banyak bentuk yang perlu diisolasi. Untuk informasi selengkapnya, lihat Model Form Recognizer.
• Kenali kemampuan yang ditawarkan AI Builder. Untuk informasi selengkapnya, lihat AI Builder di Gambaran umum Power Automate.
• Tentukan arsitektur informasi yang dapat menerima dan memproses metadata Anda. Untuk informasi selengkapnya, lihat Kumpulan keterampilan Cognitive Search.
• Untuk informasi tentang cara kerja solusi dan apakah cocok untuk kasus penggunaan Anda, lihat Mengekstrak teks dari objek.