Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Pemrosesan Dokumen Cerdas (IDP) mengonversi konten yang tidak terstruktur—seperti PDF, file DOCX, gambar, dan presentasi—menjadi data terstruktur dan diperkaya yang mendukung agen hilir, aplikasi, dan analitik.
Azure Databricks memberikan lima cara untuk menjalankan IDP, semuanya dibangun di atas fungsi AI yang dikembangkan melalui riset yang sama:
- Agent Bricks UI: Pengalaman visual tanpa kode untuk memparsing, mengekstrak, dan mengklasifikasikan dokumen. Gunakan untuk menguji dokumen contoh, menyempurnakan skema atau label, dan memvalidasi hasil secara visual sebelum Anda melakukan skala.
- Fungsi SQL AI: Jalankan fungsi pemrosesan dokumen cerdas langsung di Lakehouse. Gunakan fitur-fitur tersebut untuk memproses dokumen dalam skala besar, menggabungkan tahapan, dan membangun pipeline tingkat produksi dengan tata kelola di Lakeflow Pipelines.
- REST API: Panggil fungsi AI yang sama dari aplikasi, layanan, dan alur kerja otomatisasi.
-
API Asinkron (Beta): Jalankan
ai_parse_document,ai_extract, atauai_classifysecara asinkron pada banyak input dari sebuah file di volume Unity Catalog, dan dapatkan hasilnya dalam sebuah file dalam volume. Untukai_parse_document, input juga bisa berupa direktori volume. Lihat referensi API asinkron. -
Tugas Fungsi AI di Lakeflow Jobs (Beta): Tambahkan ,
ai_parse_documentai_extract, atauai_classifytugas ke pekerjaan untuk memproses dokumen baru dan yang diubah sesuai jadwal, tanpa menulis SQL. Lihat tugas Fungsi AI untuk pekerjaan.
Kemampuan pemrosesan dokumen yang cerdas
| Kemampuan | Agent Bricks UI | Fungsi SQL | REST API | API Asinkron (Beta) |
|---|---|---|---|---|
| Konversi PDF, DOCX, gambar, dan PPT menjadi teks terstruktur, tabel, dan deskripsi gambar. | Penguraian Dokumen | ai_parse_document |
AI Parse Document | API Asinkron |
| Tarik bidang terstruktur dari dokumen atau teks biasa menggunakan skema yang Anda tentukan. | Ekstraksi Informasi | ai_extract |
AI Extract | API Asinkron |
| Tetapkan kategori yang telah ditentukan sebelumnya ke dokumen atau teks, mendukung hingga 500+ label. | Klasifikasi | ai_classify |
Klasifikasi AI | API Asinkron |
| Ubah dokumen yang telah diurai menjadi segmen semantik yang siap digunakan untuk retrieval-augmented generation (RAG) dan pengindeksan AI Search. |
ai_prep_search (Beta) |
Kasus penggunaan umum
IDP di Azure Databricks mendukung berbagai aplikasi hilir:
- Retrieval-augmented generation (RAG): Mengurai dan menyusun dokumen untuk meningkatkan kualitas chunking, retrieval, dan grounding untuk aplikasi LLM.
- Ekstraksi pengetahuan dan analitik: Ekstrak bidang kunci dan metadata untuk memungkinkan pencarian, pelaporan, dan intelijen bisnis pada data dokumen.
- Alur kerja berbasis agen: Arahkan, klasifikasikan, dan perkaya dokumen untuk mendukung pengambilan keputusan otomatis dan eksekusi tugas.
- Pemahaman dan klasifikasi dokumen: Atur korpus dokumen besar berdasarkan jenis, topik, atau konten untuk pemrosesan selanjutnya.
Cara kerjanya
Azure Databricks memungkinkan pemrosesan dokumen cerdas sebagai alur kerja end-to-end terpadu di Lakehouse. Analisis penyerapan, penguraian, pengayaan, dan hilir dibangun pada satu platform, sehingga setiap tahap bekerja dengan mulus bersama-sama tanpa memerlukan integrasi atau pergerakan data yang kompleks.
Ingest dan orkestrasi
Gunakan alur Lakeflow untuk menyerap dokumen mentah (seperti PDF, gambar, dan file DOCX) dan mengatur alur Anda. Karena penyerapan dan orkestrasi terintegrasi secara asli dengan Lakehouse, dokumen mengalir langsung ke pemrosesan hilir tanpa infrastruktur tambahan.
Mengurai dokumen (Lapisan Bronze)
Terapkan
ai_parse_documentuntuk mengonversi file mentah menjadi representasi terstruktur. Ini membuat lapisan perunggu yang distandarisasi yang menangkap teks, deskripsi tabel/gambar, serta struktur dokumen, membentuk fondasi yang konsisten untuk semua kasus penggunaan berikutnya.Ekstrak dan klasifikasikan
Gunakan
ai_extractdanai_classifyuntuk memperkaya dokumen yang diurai dengan bidang dan metadata terstruktur. Fungsi-fungsi ini beroperasi langsung pada output yang diurai, memungkinkan Anda mengekstrak informasi utama, mengklasifikasikan dokumen, dan merutekannya melalui alur kerja tanpa langkah transformasi tambahan.Siapkan untuk retrieval (RAG)
Terapkan
ai_prep_search(Beta) untuk mengubah dokumen yang diurai menjadi gugus semantik yang diperkaya dengan konteks tingkat dokumen seperti judul, header bagian, dan referensi halaman. Output tersebut diformat untuk pengindeksan AI Search, sehingga memberikan landasan yang konsisten untuk RAG dan beban kerja pengambilan data.Menganalisis dan menerapkan
Manfaatkan Fungsi AI tambahan atau alat lain (dasbor AI/BI, Aplikasi, Pencarian AI) untuk analitik hilir, pengambilan (RAG), dan alur kerja berbasis agen. Karena semua data tetap berada di Lakehouse, data dokumen terstruktur dapat segera digunakan untuk pencarian, dasbor, dan aplikasi.