Genie Code 사용으로 지능형 문서 처리를 진행하세요

Genie Code는 파싱, 분류, 추출, 검증을 조율하여 문서 처리 파이프라인을 종단 간 파이프라인으로 구축합니다. 비정형 PDF, 계약서, 송장 등을 기준으로 품질을 평가하고 개선을 반복하여 파이프라인이 생산 준비가 되었는지 판단할 수 있습니다.

요구 사항

문서 처리에 Genie Code를 사용하려면:

  • Genie Code 에이전트 능력 요건을 충족하세요.
  • AI 기능 요구사항을 충족하세요. 문서 처리 함수(ai_parse_document, ai_extract, , ) ai_classify는 서버 없는 컴퓨트 또는 지원되는 지역 내 SQL 웨어하우스에서 실행됩니다.
  • Unity 카탈로그가 원본 문서의 볼륨과 결과의 스키마에 접근할 수 있도록 하세요.

Genie Code로 문서 처리 파이프라인을 구축하세요

  1. Jobs & Pipelines 페이지나 SQL 편집기에서 Genie 코드를 열어보세요.

  2. 목표를 명확히 하고 출처를 가리키세요. 볼륨, 표, 파일을 참조하세요.

    분류 및 추출 목표, 계약 유형별 추출 필드, 소스 볼륨을 명시하는 Genie Code에 보내는 프롬프트와 야간 작업 요청.

  3. 쌓아가게 두세요. Genie Code가 충분한 자료를 확보한 후, 모범 사례를 사용해 Lakeflow 작업을 만듭니다.

  4. 검토 후 실행하세요. 생성된 SQL과 작업을 검토하고, 원하는 것을 수정한 뒤, 준비가 되면 작업을 실행하세요.

    계약 처리를 위한 실행 중인 Lakeflow 작업 그래프가 생성된 작업, 함수, 출력 테이블을 요약한 Genie Code 채팅 패널 옆에 있습니다.

  5. 작게 시작해서 점차 확장하세요. 샘플을 실행하고, 결과를 검토하며, 품질을 평가한 후 전체 데이터셋을 처리하기 전에 반복 작업하세요.

지니 코드는 무엇을 도울 수 있습니까?

엔드 투 엔드 문서 처리 작업을 구축하세요

결과를 설명하면 Genie Code는 목표에 필요한 단계만을 사용하여 완전한 Lakeflow 작업을 만듭니다:

  • 볼륨 내에서 소스 파일을 발견하고 그 정체와 변경 사항을 추적하세요.
  • 문서를 텍스트, 표, 도표, 페이지 레이아웃 등 ai_parse_document 구조화된 콘텐츠로 파싱하세요.
  • 각 문서를 제휴, 마케팅, 컨설팅 계약 등 자신만의 ai_classify 라벨로 분류하세요.
  • 인용과 신뢰도를 포함한 스키마ai_extract에 대해 구조화된 필드를 추출합니다.
  • 깔끔하고 구조화된 출력물을 Unity 카탈로그 테이블에 게시하세요.

각 AI 기능은 독립된 작업이기 때문에 작업이 모듈화되어 나중에 다시 실행하거나 보충하거나 편집할 수 있습니다.

평가와 힐클라임으로 추출 품질을 개선하세요

Genie Code는 품질을 추측하는 것이 아니라 측정하는 것으로 간주합니다. 기대 출력 표가 주어지면 현장 수준 평가를 실행한 후 루프를 닫습니다:

  • 측정. 현재 추출 필드별로 점수를 매겨서 어떤 필드가 약한지 정확히 알 수 있습니다.
  • 개선하세요. Genie Code는 수정 방법을 제안하는데, 대부분은 더 선명한 필드 설명을 제시하며, 승인 후 적용 전에 검토 가능한 diff로 표시됩니다.
  • 다시 평가하세요. 모든 승인된 변경 사항은 평가 세트를 다시 실행하며 전후 결과를 보여주므로, 개선과 회귀 모두 눈에 띈다.

이 루프는 품질이 기준에 도달할 때까지 반복되므로, 결과물이 그럴듯해 보이는 것이 아니라 점수와 자신감으로 준비도를 판단합니다.

결과 검증 및 예외 경로

Genie Code는 파이프라인에 품질 게이트를 구축합니다. 결정론적 검사(스키마, 필수 필드, 총계), 모델 신뢰도, 비즈니스 규칙을 결합하여 통과 여부를 결정하고, 실패한 행은 가시적으로 유지합니다.

문서를 시각적으로 디버깅하세요

Genie Code는 문서 구문 분석 UI 를 열어 렌더링된 페이지가 파싱된 내용과 추출된 필드 옆에 표시됩니다. 이를 이용해 잘못된 결과를 찾아보세요: 파싱된 출력에서 텍스트가 누락되거나 뒤섞여 있다면, 문제는 파싱 파일이나 소스 파일에 있습니다. 텍스트는 파싱되었지만 필드가 틀렸다면, 문제는 추출입니다. 어쨌든, 확장하기 전에 실제 문서에서 확인하세요.

기존 파이프라인을 점검하고 문제 해결하세요

Genie Code는 새로운 파이프라인뿐만 아니라 이미 가지고 있는 파이프라인에서도 작동합니다. 작업을 설명하고, 설계와 비용을 검토하며, 아무것도 바꾸지 않고 진행되며, 실패하거나 느린 단계의 근본 원인을 찾아내고, 작동하는 부품은 그대로 두면서 아주 작은 수리를 할 수 있습니다.

예시 프롬프트

종단 간 파이프라인을 구축하세요

  • 계약은 @my_catalog.raw.contracts에 도착합니다. 각 계약을 제휴, 마케팅, 컨설팅, 호스팅, 에스크로로 분류하는 일일 업무를 구축하고; 각 계약 유형에 중요한 필드를 추출하며; 골드 테이블을 작성한다."
  • @my_catalog.raw.invoices에 스캔된 송장이 대량으로 있습니다. 이를 분석하고, 공급업체, 송장 번호, 항목, 총계를 추출한 뒤 결과를 테이블에 기록하는 작업을 만듭니다."

평가와 힐클라이밍으로 품질을 향상시키세요

  • 이것이 수백만 개의 행을 처리할 만큼 충분히 좋은지 어떻게 알 수 있나요? 추출 결과를 내 라벨 붙은 표 @my_catalog.default.eval_table 와 비교해서 어떤 필드가 가장 약한지 알려줘."
  • "필드에서의 invoice_total 정확도는 더 높을 수 있습니다. 스키마와 지침을 반복적으로 개선하고, 평가를 다시 실행한 뒤, 전후를 보여주세요."
  • "평가 결과에서 필드별 신뢰 임계값을 설정하고, 저신뢰도의 행을 검토하도록 라우팅하세요."

결과 검증 및 예외 경로

  • "필수 항목을 확인하는 검증을 추가하고, 항목이 청구서 총액과 합산되도록 하고, 실패한 행은 유지하세요."
  • 사업 규칙(예: 납부한 세금이 급여보다 많은 경우)을 충족하지 못하는 문서는 사람이 검토할 수 있도록 별도의 테이블에 격리하세요.

문서를 시각적으로 디버깅하세요

  • "이 PDF들의 파싱된 결과를 원본 페이지 옆에 보여줘, 내가 파싱된 결과를 확인할 수 있게."
  • "일부 컨설팅 계약의 효력 날짜가 잘못되어 있습니다. 파싱된 뷰를 열어봐, 파싱 문제인지 추출 문제인지 알 수 있게."

기존 파이프라인을 점검하고 문제 해결하세요

  • "이 문서 처리 작업의 각 작업이 무엇을 하는지, 그리고 결과가 어디에 기록되는지 설명해 주세요."
  • "이 구문 분석 작업이 실패하기 시작했어. 최근 실행 결과에서 원인을 찾아내고 가장 작은 해결책을 추천합니다."
  • "이 문서 처리 파이프라인 설계를 모범 사례와 비교해 검토하고, 전체 데이터셋에서 실행할 준비가 되었는지 알려주세요."

추가 리소스

  • 에 마지막으로 업데이트됨