Pemrosesan dokumen cerdas

Pemrosesan Dokumen Cerdas (IDP) mengonversi konten yang tidak terstruktur—seperti PDF, file DOCX, gambar, dan presentasi—menjadi data terstruktur dan diperkaya yang mendukung agen hilir, aplikasi, dan analitik.

Azure Databricks memberikan lima cara untuk menjalankan IDP, semuanya dibangun di atas fungsi AI yang dikembangkan melalui riset yang sama:

  • Agent Bricks UI: Pengalaman visual tanpa kode untuk memparsing, mengekstrak, dan mengklasifikasikan dokumen. Gunakan untuk menguji dokumen contoh, menyempurnakan skema atau label, dan memvalidasi hasil secara visual sebelum Anda melakukan skala.
  • Fungsi SQL AI: Jalankan fungsi pemrosesan dokumen cerdas langsung di Lakehouse. Gunakan fitur-fitur tersebut untuk memproses dokumen dalam skala besar, menggabungkan tahapan, dan membangun pipeline tingkat produksi dengan tata kelola di Lakeflow Pipelines.
  • REST API: Panggil fungsi AI yang sama dari aplikasi, layanan, dan alur kerja otomatisasi.
  • API Asinkron (Beta): Jalankan ai_parse_document, ai_extract, atau ai_classify secara asinkron pada banyak input dari sebuah file di volume Unity Catalog, dan dapatkan hasilnya dalam sebuah file dalam volume. Untuk ai_parse_document, input juga bisa berupa direktori volume. Lihat referensi API asinkron.
  • Tugas Fungsi AI di Lakeflow Jobs (Beta): Tambahkan , ai_parse_documentai_extract, atau ai_classify tugas ke pekerjaan untuk memproses dokumen baru dan yang diubah sesuai jadwal, tanpa menulis SQL. Lihat tugas Fungsi AI untuk pekerjaan.

Kemampuan pemrosesan dokumen yang cerdas

Kemampuan Agent Bricks UI Fungsi SQL REST API API Asinkron (Beta)
Konversi PDF, DOCX, gambar, dan PPT menjadi teks terstruktur, tabel, dan deskripsi gambar. Penguraian Dokumen ai_parse_document AI Parse Document API Asinkron
Tarik bidang terstruktur dari dokumen atau teks biasa menggunakan skema yang Anda tentukan. Ekstraksi Informasi ai_extract AI Extract API Asinkron
Tetapkan kategori yang telah ditentukan sebelumnya ke dokumen atau teks, mendukung hingga 500+ label. Klasifikasi ai_classify Klasifikasi AI API Asinkron
Ubah dokumen yang telah diurai menjadi segmen semantik yang siap digunakan untuk retrieval-augmented generation (RAG) dan pengindeksan AI Search. ai_prep_search (Beta)

Kasus penggunaan umum

IDP di Azure Databricks mendukung berbagai aplikasi hilir:

  • Retrieval-augmented generation (RAG): Mengurai dan menyusun dokumen untuk meningkatkan kualitas chunking, retrieval, dan grounding untuk aplikasi LLM.
  • Ekstraksi pengetahuan dan analitik: Ekstrak bidang kunci dan metadata untuk memungkinkan pencarian, pelaporan, dan intelijen bisnis pada data dokumen.
  • Alur kerja berbasis agen: Arahkan, klasifikasikan, dan perkaya dokumen untuk mendukung pengambilan keputusan otomatis dan eksekusi tugas.
  • Pemahaman dan klasifikasi dokumen: Atur korpus dokumen besar berdasarkan jenis, topik, atau konten untuk pemrosesan selanjutnya.

Cara kerjanya

Azure Databricks memungkinkan pemrosesan dokumen cerdas sebagai alur kerja end-to-end terpadu di Lakehouse. Analisis penyerapan, penguraian, pengayaan, dan hilir dibangun pada satu platform, sehingga setiap tahap bekerja dengan mulus bersama-sama tanpa memerlukan integrasi atau pergerakan data yang kompleks.

  1. Ingest dan orkestrasi

    Gunakan alur Lakeflow untuk menyerap dokumen mentah (seperti PDF, gambar, dan file DOCX) dan mengatur alur Anda. Karena penyerapan dan orkestrasi terintegrasi secara asli dengan Lakehouse, dokumen mengalir langsung ke pemrosesan hilir tanpa infrastruktur tambahan.

  2. Mengurai dokumen (Lapisan Bronze)

    Terapkan ai_parse_document untuk mengonversi file mentah menjadi representasi terstruktur. Ini membuat lapisan perunggu yang distandarisasi yang menangkap teks, deskripsi tabel/gambar, serta struktur dokumen, membentuk fondasi yang konsisten untuk semua kasus penggunaan berikutnya.

  3. Ekstrak dan klasifikasikan

    Gunakan ai_extract dan ai_classify untuk memperkaya dokumen yang diurai dengan bidang dan metadata terstruktur. Fungsi-fungsi ini beroperasi langsung pada output yang diurai, memungkinkan Anda mengekstrak informasi utama, mengklasifikasikan dokumen, dan merutekannya melalui alur kerja tanpa langkah transformasi tambahan.

  4. Siapkan untuk retrieval (RAG)

    Terapkan ai_prep_search (Beta) untuk mengubah dokumen yang diurai menjadi gugus semantik yang diperkaya dengan konteks tingkat dokumen seperti judul, header bagian, dan referensi halaman. Output tersebut diformat untuk pengindeksan AI Search, sehingga memberikan landasan yang konsisten untuk RAG dan beban kerja pengambilan data.

  5. Menganalisis dan menerapkan

    Manfaatkan Fungsi AI tambahan atau alat lain (dasbor AI/BI, Aplikasi, Pencarian AI) untuk analitik hilir, pengambilan (RAG), dan alur kerja berbasis agen. Karena semua data tetap berada di Lakehouse, data dokumen terstruktur dapat segera digunakan untuk pencarian, dasbor, dan aplikasi.