Χρησιμοποιήστε το ai.summarize με το PySpark

Η ai.summarize συνάρτηση χρησιμοποιεί γενετική τεχνητή νοημοσύνη για την παραγωγή περιλήψεων του κειμένου εισαγωγής, με μία μόνο γραμμή κώδικα. Η συνάρτηση μπορεί είτε να συνοψίσει τιμές από μία στήλη ενός DataFrame είτε τιμές σε όλες τις στήλες.

Σημείωμα

• Αυτό το άρθρο καλύπτει τη χρήση του ai.summarize με το PySpark. Για να χρησιμοποιήσετε το ai.summarize με pandas, δείτε αυτό το άρθρο.
• Δείτε άλλες λειτουργίες AI σε αυτό το άρθρο επισκόπησης.
• Μάθετε πώς μπορείτε να προσαρμόσετε τη διαμόρφωση των λειτουργιών AI.

Επισκόπηση

Η ai.summarize λειτουργία είναι επίσης διαθέσιμη για Spark DataFrames. Εάν καθορίσετε το όνομα μιας υπάρχουσας στήλης εισόδου ως παράμετρο, η συνάρτηση συνοψίζει κάθε τιμή μόνο από αυτήν τη στήλη. Διαφορετικά, η συνάρτηση συνοψίζει τιμές σε όλες τις στήλες του DataFrame, γραμμή προς γραμμή.

Η συνάρτηση επιστρέφει ένα νέο DataFrame με συνόψεις για κάθε γραμμή κειμένου εισόδου, από μία μόνο στήλη ή σε όλες τις στήλες, αποθηκευμένες σε μια στήλη εξόδου.

Σύνταξη

Σύνοψη τιμών από μία στήλη

df.ai.summarize(input_col="text", output_col="summaries")

Σύνοψη τιμών σε όλες τις στήλες

df.ai.summarize(output_col="summaries")

Παράμετροι

'Ονομα	Περιγραφή
input_col Προαιρετικός	Μια συμβολοσειρά που περιέχει το όνομα μιας υπάρχουσας στήλης με τιμές κειμένου εισαγωγής για σύνοψη. Εάν δεν ορίσετε αυτήν την παράμετρο, η συνάρτηση συνοψίζει τιμές σε όλες τις στήλες του DataFrame, αντί για τιμές από μια συγκεκριμένη στήλη.
instructions Προαιρετικός	Μια συμβολοσειρά που περιέχει περισσότερο περιβάλλον για το μοντέλο AI, όπως τον καθορισμό του μήκους εξόδου, του τόνου ή περισσότερων. Οι πιο ακριβείς οδηγίες θα αποφέρουν καλύτερα αποτελέσματα.
error_col Προαιρετικός	Μια συμβολοσειρά που περιέχει το όνομα μιας νέας στήλης για την αποθήκευση τυχόν σφαλμάτων OpenAI που προκύπτουν από την επεξεργασία κάθε γραμμής κειμένου εισαγωγής. Εάν δεν ορίσετε αυτήν την παράμετρο, δημιουργείται ένα προεπιλεγμένο όνομα για τη στήλη σφάλματος. Εάν μια γραμμή εισόδου δεν έχει σφάλματα, η τιμή σε αυτήν τη στήλη είναι null.
output_col Προαιρετικός	Μια συμβολοσειρά που περιέχει το όνομα μιας νέας στήλης για την αποθήκευση περιλήψεων για κάθε γραμμή κειμένου εισαγωγής. Εάν δεν ορίσετε αυτήν την παράμετρο, δημιουργείται ένα προεπιλεγμένο όνομα για τη στήλη εξόδου.

Επιστρέφει

Η συνάρτηση επιστρέφει ένα Spark DataFrame που περιλαμβάνει μια νέα στήλη που περιέχει συνοπτικό κείμενο για κάθε γραμμή κειμένου εισαγωγής. Εάν το κείμενο εισόδου είναι null, το αποτέλεσμα είναι null. Εάν δεν έχει καθοριστεί στήλη εισόδου, η συνάρτηση συνοψίζει τιμές σε όλες τις στήλες του DataFrame.

Παράδειγμα

Σύνοψη τιμών από μία στήλη

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """,),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """,)
    ], ["product", "release_year", "description"])

summaries = df.ai.summarize(input_col="description", output_col="summaries")
display(summaries)

Αυτό το παράδειγμα κελιού κώδικα παρέχει την ακόλουθη έξοδο:

Σύνοψη τιμών σε όλες τις στήλες

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """,),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """,)
    ], ["product", "release_year", "description"])

summaries = df.ai.summarize(output_col="summaries")
display(summaries)

Αυτό το παράδειγμα κελιού κώδικα παρέχει την ακόλουθη έξοδο:

Σχετικό περιεχόμενο

• Χρησιμοποιήστε το ai.summarize με πάντα.

• Εντοπίστε το συναίσθημα με ai.analyze_sentiment.

• Κατηγοριοποιήστε το κείμενο με το ai.classify.

• Δημιουργήστε διανυσματικές ενσωματώσεις με το ai.embed.

• Εξαγωγή οντοτήτων με ai_extract.

• Διορθώστε τη γραμματική με ai.fix_grammar.

• Απαντήστε σε προσαρμοσμένες προτροπές χρήστη με ai.generate_response.

• Υπολογίστε την ομοιότητα με το ai.similarity.

• Μεταφράστε κείμενο με το ai.translate.

• Μάθετε περισσότερα σχετικά με το πλήρες σύνολο λειτουργιών AI.

• Προσαρμόστε τη διαμόρφωση των λειτουργιών AI.

• Χάσαμε κάποια δυνατότητα που χρειάζεστε; Προτείνετε το στο φόρουμ Ιδεών Fabric.