แชร์ผ่าน

ใช้ ai.summarize กับ PySpark

ฟังก์ชันนี้ ai.summarize ใช้ Generative AI เพื่อสร้างบทสรุปของข้อความที่ป้อนด้วยโค้ดบรรทัดเดียว ฟังก์ชันนี้สามารถสรุปค่าจากคอลัมน์หนึ่งของ DataFrame หรือค่าในคอลัมน์ทั้งหมด

Note

Overview

ฟังก์ชันนี้ai.summarizeยังมีให้สําหรับ Spark DataFrames ถ้าคุณระบุชื่อของคอลัมน์อินพุตที่มีอยู่เป็นพารามิเตอร์ ฟังก์ชันจะสรุปแต่ละค่าจากคอลัมน์นั้นเพียงอย่างเดียว มิฉะนั้น ฟังก์ชันจะสรุปค่าทั่วทั้งคอลัมน์ทั้งหมดของ DataFrame โดยเรียงตามแถว

ฟังก์ชันจะส่งกลับ DataFrame ใหม่พร้อมข้อมูลสรุปสําหรับแต่ละแถวข้อความที่ป้อนเข้า จากคอลัมน์เดียวหรือคอลัมน์ทั้งหมด ที่ถูกเก็บไว้ในคอลัมน์ผลลัพธ์

วากยสัมพันธ์

df.ai.summarize(input_col="text", output_col="summaries")

พารามิเตอร์

ชื่อ คำอธิบาย
input_col
เลือกได้		 สตริงที่มีชื่อของคอลัมน์ที่มีอยู่พร้อมค่าข้อความที่ป้อนเข้าเพื่อสรุป ถ้าคุณไม่ได้ตั้งค่าพารามิเตอร์นี้ ฟังก์ชันจะสรุปค่าในคอลัมน์ทั้งหมดใน DataFrame แทนที่จะเป็นค่าจากคอลัมน์ที่ระบุ
instructions
เลือกได้		 สตริงที่มีบริบทเพิ่มเติมสําหรับโมเดล AI เช่น การระบุความยาวเอาต์พุต โทนเสียง หรือมากกว่า คําแนะนําที่แม่นยํายิ่งขึ้นจะให้ผลลัพธ์ที่ดีขึ้น
error_col
เลือกได้		 สตริงที่มีชื่อของคอลัมน์ใหม่เพื่อจัดเก็บข้อผิดพลาด OpenAI ที่เกิดจากการประมวลผลแต่ละแถวข้อความที่ป้อน ถ้าคุณไม่ได้ตั้งค่าพารามิเตอร์นี้ ชื่อเริ่มต้นจะถูกสร้างขึ้นสําหรับคอลัมน์ข้อผิดพลาด ถ้าแถวอินพุตไม่มีข้อผิดพลาด ค่าในคอลัมน์นี้จะ null
output_col
เลือกได้		 สตริงที่มีชื่อของคอลัมน์ใหม่เพื่อเก็บข้อมูลสรุปสําหรับแต่ละแถวข้อความที่ป้อนเข้า ถ้าคุณไม่ได้ตั้งค่าพารามิเตอร์นี้ ชื่อเริ่มต้นจะถูกสร้างขึ้นสําหรับคอลัมน์ผลลัพธ์

การส่งคืน

ฟังก์ชันส่งคืน Spark DataFrame ที่มีคอลัมน์ใหม่ที่มีข้อความสรุปสําหรับแต่ละแถวข้อความอินพุต ถ้าข้อความที่ป้อนเข้าถูก nullผลลัพธ์จะเป็น null ถ้าไม่ได้ระบุคอลัมน์อินพุต ฟังก์ชันจะสรุปค่าในทุกคอลัมน์ใน DataFrame

ตัวอย่าง

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """,),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """,)
    ], ["product", "release_year", "description"])

summaries = df.ai.summarize(input_col="description", output_col="summaries")
display(summaries)

เซลล์โค้ดตัวอย่างนี้ให้ผลลัพธ์ต่อไปนี้:

สกรีนช็อตที่แสดงกรอบข้อมูล คอลัมน์

เนื้อหาที่เกี่ยวข้อง

  • Last updated on