Gunakan Genie Code untuk pemrosesan dokumen yang cerdas

Genie Code membangun pipeline pemrosesan dokumen secara end-to-end dengan mengatur parsing, klasifikasi, ekstraksi, dan validasi. Arahkan ke PDF tidak terstruktur, kontrak, atau faktur, dan sistem ini mengevaluasi kualitas terhadap data berlabel dan melakukan iterasi untuk memperbaikinya, sehingga Anda dapat menilai kapan pipeline siap produksi.

Persyaratan

Untuk menggunakan Genie Code dalam pemrosesan dokumen:

  • Penuhi persyaratan kemampuan agen Genie Code.
  • Penuhi persyaratan untuk Fungsi AI. Fungsi pemrosesan dokumen (ai_parse_document, ai_extract, dan ai_classify) berjalan pada komputasi serverless atau gudang SQL di wilayah yang didukung.
  • Miliki akses Unity Catalog ke volume untuk dokumen sumber Anda dan ke skema untuk hasil.

Bangun pipeline pemrosesan dokumen dengan Genie Code

  1. Buka Kode Genie di halaman Jobs & Pipelines atau editor SQL.

  2. Nyatakan tujuan Anda dan tunjukkan sumber Anda. Referensikan volume, tabel, dan file Anda.

    Sebuah prompt ke Genie Code yang menyatakan tujuan klasifikasi dan ekstraksi, field yang harus diekstrak per jenis kontrak, dan volume sumber, dengan permintaan job terjadwal setiap malam.

  3. Biarkan saja berkembang. Setelah Genie Code memiliki cukup bahan untuk dikerjakan, ia membangun pekerjaan Lakeflow menggunakan praktik terbaik.

  4. Tinjau dan jalankan. Periksa SQL dan tugas yang dihasilkan, edit apa pun yang Anda inginkan, dan jalankan pekerjaan saat Anda siap.

    Grafik pekerjaan Lakeflow yang berjalan untuk pemrosesan kontrak, di samping panel chat Genie Code yang merangkum tugas, fungsi, dan tabel output yang dihasilkan.

  5. Mulailah dari yang kecil, lalu skalakan. Jalankan pada sampel, tinjau hasilnya, evaluasi kualitas, dan iterasi sebelum memproses seluruh dataset.

Apa yang dapat dibantu oleh Genie Code?

Buat tugas pemrosesan dokumen secara menyeluruh

Jelaskan hasilnya, dan Genie Code membangun pekerjaan Lakeflow lengkap, hanya menggunakan tahapan yang dibutuhkan oleh tujuan Anda:

  • Temukan file sumber dalam sebuah volume dan lacak identitas serta perubahannya.
  • Uraikan dokumen menjadi konten terstruktur dengan ai_parse_document (teks, tabel, gambar, dan tata letak halaman).
  • Klasifikasikan setiap dokumen ke dalam label Anda sendiri ( ai_classify misalnya, kontrak afiliasi, pemasaran, atau konsultasi).
  • Ekstraksi bidang terstruktur berdasarkan skema dengan ai_extract, termasuk sitasi dan skor kepercayaan.
  • Publikasikan output yang bersih dan terstruktur ke tabel Unity Catalog.

Setiap fungsi AI adalah tugasnya sendiri, jadi pekerjaan tetap modular dan Anda bisa menjalankan ulang, mengisi ulang, atau mengeditnya nanti.

Tingkatkan kualitas ekstraksi dengan evaluasi dan pendakian bukit

Genie Code memperlakukan kualitas sebagai sesuatu yang diukur, bukan ditebak. Dengan tabel keluaran yang diharapkan dan berlabel, sistem menjalankan evaluasi tingkat field, lalu menutup siklus:

  • Ukur. Nilai kolom ekstraksi saat ini satu per satu agar Anda dapat melihat dengan tepat kolom mana yang lemah.
  • Perbaiki. Genie Code mengusulkan perbaikan, yang paling sering berupa deskripsi kolom yang lebih spesifik, yang ditampilkan sebagai diff untuk Anda tinjau dan setujui sebelum diterapkan.
  • Evaluasi ulang. Setiap perubahan yang diterima menjalankan ulang set evaluasi dan menampilkan hasil sebelum dan sesudah, sehingga perbaikan dan regresi keduanya terlihat.

Loop ini berulang sampai kualitas memenuhi standar Anda, jadi Anda menilai kesiapan dari skor dan kepercayaan diri, bukan dari output yang tampak masuk akal.

Validasi hasil dan rute pengecualian

Genie Code membangun gerbang berkualitas ke dalam pipeline. Ini menggabungkan pemeriksaan deterministik (skema, kolom wajib, total), kepercayaan model, dan aturan bisnis untuk menentukan apa yang lolos, serta menjaga baris yang gagal tetap terlihat.

Debug dokumen Anda secara visual

Genie Code membuka UI Penguraian Dokumen untuk menampilkan halaman hasil render di samping konten yang diurai dan kolom yang diekstrak. Gunakan untuk menemukan hasil buruk: jika teks hilang atau kacau dalam output yang diparse, masalahnya adalah parse atau file sumbernya. Jika teks dianalisis tetapi sebuah bidang salah, masalahnya adalah ekstraksi. Apa pun caranya, pastikan dengan dokumen asli sebelum melakukan penskalaan.

Periksa dan pemecahan masalah pipa yang sudah ada

Genie Code bekerja pada pipeline yang sudah Anda miliki, bukan hanya yang baru. Alat ini dapat menjelaskan sebuah pekerjaan, meninjau desain dan biayanya tanpa mengubah apa pun, menemukan akar penyebab tahap yang gagal atau lambat, dan melakukan perbaikan terkecil sambil membiarkan bagian yang berfungsi tetap ada.

Contoh arahan

Bangun alur kerja secara menyeluruh

  • Kontrak masuk ke @my_catalog.raw.contracts. Membuat tugas harian yang mengklasifikasikan masing-masing kontrak ke dalam afiliasi, pemasaran, konsultasi, hosting, dan escrow; mengekstrak kolom yang penting untuk setiap jenis kontrak; dan menulis tabel gold.
  • "Saya memiliki banyak faktur hasil scan di @my_catalog.raw.invoices. Bangun pekerjaan yang mengurainya, mengekstrak vendor, nomor faktur, item baris, dan total, lalu menulis hasilnya ke tabel."

Tingkatkan kualitas melalui evaluasi dan pendakian bukit

  • Bagaimana saya tahu bahwa ini cukup baik untuk dijalankan pada jutaan baris? Evaluasi ekstraksi dengan tabel @my_catalog.default.eval_table yang saya labeli dan beri tahu saya bidang mana yang paling lemah."
  • Akurasi pada kolom invoice_total bisa lebih tinggi. Tingkatkan skema dan instruksi secara berulang, jalankan ulang evaluasi, dan tunjukkan sebelum dan sesudahnya."
  • "Tetapkan ambang kepercayaan per bidang dari hasil evaluasi dan arahkan baris dengan kepercayaan rendah untuk ditinjau."

Validasi hasil dan rute pengecualian

  • Tambahkan validasi yang memeriksa field wajib dan memastikan jumlah item baris sama dengan total faktur, serta tetap pertahankan baris yang gagal.
  • Karantina dokumen yang tidak memenuhi aturan bisnis (misalnya, pajak yang dibayarkan lebih besar daripada gaji) ke dalam tabel terpisah untuk ditinjau oleh manusia.

Debug dokumen Anda secara visual

  • "Tunjukkan hasil yang telah diparse untuk PDF ini di sebelah halaman asli agar saya bisa memeriksa hasil yang telah diparse."
  • "Tanggal efektif salah pada beberapa kontrak konsultasi. Buka tampilan yang sudah diparser agar saya bisa tahu apakah ini masalah parsing atau ekstraksi."

Periksa dan pemecahan masalah pipa yang sudah ada

  • "Jelaskan apa yang dilakukan setiap tugas dalam pekerjaan pemrosesan dokumen ini dan di mana hasilnya ditulis."
  • Tugas penguraian ini mulai gagal. Cari penyebabnya dari output run terbaru dan rekomendasikan solusi terkecil."
  • "Tinjau desain pipeline pemrosesan dokumen ini berdasarkan praktik terbaik dan beri tahu saya apakah sudah siap dijalankan di dataset penuh."

Sumber daya tambahan

  • Terakhir diperbarui pada