Ide solusi
Artikel ini menjelaskan ide solusi. Arsitek cloud Anda dapat menggunakan panduan ini untuk membantu memvisualisasikan komponen utama untuk implementasi umum arsitektur ini. Gunakan artikel ini sebagai titik awal untuk merancang solusi yang dirancang dengan baik yang selaras dengan persyaratan spesifik beban kerja Anda.
Artikel ini menjelaskan cara menggunakan pemrosesan gambar, pemrosesan bahasa alami, dan keterampilan kustom untuk mengambil data khusus domain. Anda dapat menggunakan data tersebut untuk memperkaya dokumen teks dan gambar. Masukkan Azure AI Search dengan pengayaan AI untuk membantu mengidentifikasi dan menjelajahi konten yang relevan dalam skala besar. Solusi ini menggunakan pengayaan AI untuk mengekstrak arti dari himpunan data JFK Assassination Records (JFK Files) asli yang kompleks dan tidak terstruktur.
Sistem
Unduh file Visio arsitektur ini.
Aliran data
Aliran data berikut sesuai dengan diagram sebelumnya. Aliran data menjelaskan bagaimana himpunan data File JFK yang tidak terstruktur melewati alur keterampilan Pencarian AI untuk menghasilkan data terstruktur dan dapat diindeks.
Data yang tidak terstruktur di Azure Blob Storage, seperti dokumen dan gambar, diserap ke dalam Pencarian AI.
Untuk memulai proses pengindeksan, langkah pemecahan dokumen mengekstrak gambar dan teks dari data lalu memperkaya konten. Langkah-langkah pengayaan dalam proses ini bergantung pada data dan jenis keterampilan yang Anda pilih.
Keterampilan bawaan berdasarkan Azure AI Vision dan Azure AI Language API menyediakan pengayaan AI seperti pengenalan karakter optik gambar (OCR), analisis gambar, terjemahan teks, pengenalan entitas, dan pencarian teks lengkap.
Skenario dukungan keterampilan kustom yang memerlukan model atau layanan AI yang lebih kompleks. Contohnya termasuk Azure AI Document Intelligence, model Azure Pembelajaran Mesin, dan Azure Functions.
Setelah proses pengayaan selesai, pengindeks menyimpan dokumen yang diperkaya dan diindeks dalam indeks pencarian. Pencarian teks lengkap dan formulir kueri lainnya dapat menggunakan indeks ini.
Dokumen yang diperkaya juga dapat diproyeksikan ke dalam penyimpanan pengetahuan, yang dapat digunakan aplikasi hilir seperti aplikasi penambangan pengetahuan atau aplikasi ilmu data.
Kueri mengakses konten yang diperkaya dalam indeks pencarian. Indeks mendukung penganalisis kustom, kueri pencarian fuzzy, filter, dan profil penilaian untuk menyetel relevansi pencarian.
Aplikasi yang terhubung ke Blob Storage atau ke Azure Table Storage dapat mengakses penyimpanan pengetahuan.
Komponen
Solusi ini menggunakan komponen Azure berikut.
Pencarian AI
Pencarian AI mengindeks konten dan mendukung pengalaman pengguna dalam solusi ini. Anda dapat menggunakan AI Search untuk menerapkan keterampilan AI bawaan ke konten. Dan Anda dapat menggunakan mekanisme ekstensibilitas untuk menambahkan keterampilan kustom, yang memberikan transformasi pengayaan tertentu.
Azure AI Visual
Visi menggunakan pengenalan teks untuk mengekstrak dan mengenali informasi teks dari gambar. API Baca menggunakan model pengenalan OCR terbaru dan dioptimalkan untuk dokumen besar dan teks-berat dan gambar berisik.
API OCR warisan tidak dioptimalkan untuk dokumen besar tetapi mendukung lebih banyak bahasa. Akurasi hasil OCR dapat bervariasi berdasarkan kualitas pemindaian dan gambar. Solusi ini menggunakan OCR untuk menghasilkan data dalam format hOCR.
Bahasa
Bahasa menggunakan kemampuan analitik teks seperti pengenalan entitas bernama dan ekstraksi frasa kunci untuk mengekstrak informasi teks dari dokumen yang tidak terstruktur.
Azure Storage
Blob Storage adalah penyimpanan objek berbasis REST untuk data yang dapat Anda akses dari mana saja di dunia melalui HTTPS. Anda dapat menggunakan Blob Storage untuk mengekspos data secara publik ke dunia atau untuk menyimpan data aplikasi secara privat. Blob Storage sangat ideal untuk sejumlah besar data yang tidak terstruktur seperti teks atau grafik.
Table Storage menyimpan data NoSQL yang sangat tersedia, dapat diskalakan, terstruktur, dan semi terstruktur di cloud.
Azure Functions
Functions adalah layanan komputasi tanpa server yang dapat Anda gunakan untuk menjalankan bagian kecil kode yang dipicu peristiwa tanpa harus menyediakan atau mengelola infrastruktur secara eksplisit. Solusi ini menggunakan metode Functions untuk menerapkan daftar kripto Central Intelligence Agency (CIA) ke File JFK sebagai keterampilan kustom.
Azure App Service
Solusi ini membangun aplikasi web mandiri di Azure App Service untuk menguji, menunjukkan, dan mencari indeks dan menjelajahi koneksi dalam dokumen yang diperkaya dan diindeks.
Detail skenario
Himpunan data besar dan tidak terstruktur dapat mencakup catatan tulisan dan tulisan tangan, foto, diagram, dan data tidak terstruktur lainnya yang tidak dapat diurai solusi pencarian standar. File JFK berisi lebih dari 34.000 halaman dokumen tentang penyelidikan CIA atas pembunuhan JFK 1963.
Anda dapat menggunakan pengayaan AI di Pencarian AI untuk mengekstrak dan meningkatkan teks yang dapat dicari dan dapat diindeks dari gambar, blob, dan sumber data tidak terstruktur lainnya seperti File JFK. Pengayaan AI menggunakan set keterampilan pembelajaran mesin yang telah dilatih sebelumnya dari Vision layanan Azure AI dan LANGUAGE API. Anda juga dapat membuat dan melampirkan keterampilan kustom untuk menambahkan pemrosesan khusus untuk data khusus domain seperti kripto CIA. Pencarian AI kemudian dapat mengindeks dan mencari konteks tersebut.
Keterampilan Pencarian AI dalam solusi ini dapat dikategorikan ke dalam grup berikut:
Pemrosesan gambar: Solusi ini menggunakan keterampilan ekstraksi teks dan analisis gambar bawaan, termasuk deteksi objek dan wajah, pembuatan tag dan keterangan, serta identifikasi selebriti dan landmark. Keterampilan ini membuat representasi teks konten gambar, yang dapat Anda cari dengan menggunakan kemampuan kueri Pencarian AI. Pemecahan dokumen adalah proses mengekstrak atau membuat konten teks dari sumber nonteks.
Pemrosesan bahasa alami: Solusi ini menggunakan keterampilan bawaan seperti pengenalan entitas, deteksi bahasa, dan ekstraksi frasa kunci yang memetakan teks yang tidak terstruktur ke bidang yang dapat dicari dan dapat difilter dalam indeks.
Keterampilan kustom: Solusi ini menggunakan keterampilan kustom yang memperluas Pencarian AI untuk menerapkan transformasi pengayaan tertentu ke konten. Anda dapat menentukan antarmuka untuk keterampilan kustom melalui keterampilan API web kustom.
Kemungkinan kasus penggunaan
Proyek sampel File JFK dan demo online menyajikan kasus penggunaan Pencarian AI tertentu. Ide solusi ini tidak dimaksudkan untuk menjadi kerangka kerja atau arsitektur yang dapat diskalakan untuk semua skenario. Sebagai gantinya, ide solusi ini memberikan pedoman dan contoh umum. Proyek kode dan demo membuat situs web publik dan kontainer penyimpanan yang dapat dibaca secara publik untuk gambar yang diekstrak, jadi Anda tidak boleh menggunakan solusi ini dengan data nonpublik.
Anda juga dapat menggunakan arsitektur ini untuk:
Tingkatkan nilai dan utilitas konten teks dan gambar yang tidak terstruktur di aplikasi pencarian dan aplikasi ilmu data.
Gunakan keterampilan kustom untuk mengintegrasikan kode sumber terbuka, kode non-Microsoft, atau kode Microsoft ke dalam alur pengindeksan.
Membuat dokumen JPG, PNG, atau bitmap yang dipindai dengan teks lengkap menjadi dapat dicari.
Menghasilkan hasil yang lebih baik daripada ekstraksi teks PDF standar untuk PDF dengan gambar dan teks gabungan. Beberapa format PDF yang dipindai dan asli mungkin tidak diurai dengan benar dalam Pencarian AI.
Buat informasi baru dari konten atau konteks mentah yang secara inheren bermakna yang disembunyikan dalam dokumen besar dan tidak terstruktur atau dokumen semi terstruktur.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Carlos Alexandre Santos | Arsitek Solusi Cloud AI Khusus Senior
Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.
Langkah berikutnya
Pelajari selengkapnya tentang solusi ini:
Baca dokumentasi produk:
- Pengayaan AI dalam Pencarian AI
- Apa itu Visi?
- Apa itu Bahasa?
- Apa itu OCR?
- Apa itu pengenalan entitas dalam Bahasa?
- Pengantar Blob Storage
- Pengantar Functions
Coba jalur pembelajaran: