Χρησιμοποιήστε το ai.classify με το PySpark

Η ai.classify συνάρτηση χρησιμοποιεί γενετική τεχνητή νοημοσύνη για να κατηγοριοποιήσει το κείμενο εισαγωγής σύμφωνα με τις προσαρμοσμένες ετικέτες που επιλέγετε, με μία μόνο γραμμή κώδικα.

Σημείωμα

• Αυτό το άρθρο καλύπτει τη χρήση του ai.classify με το PySpark. Για να χρησιμοποιήσετε το ai.classify με pandas, δείτε αυτό το άρθρο.
• Δείτε άλλες λειτουργίες AI σε αυτό το άρθρο επισκόπησης.
• Μάθετε πώς μπορείτε να προσαρμόσετε τη διαμόρφωση των λειτουργιών AI.

Επισκόπηση

Η ai.classify συνάρτηση είναι διαθέσιμη για Spark DataFrames. Πρέπει να καθορίσετε το όνομα μιας υπάρχουσας στήλης εισαγωγής ως παραμέτρου, μαζί με μια λίστα ετικετών ταξινόμησης.

Η συνάρτηση επιστρέφει ένα νέο DataFrame με ετικέτες που ταιριάζουν με κάθε γραμμή κειμένου εισαγωγής, αποθηκευμένες σε μια στήλη εξόδου.

Σύνταξη

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

Παράμετροι

'Ονομα	Περιγραφή
labels Απαραίτητο	Ένας πίνακαςσυμβολοσειρών που αντιπροσωπεύει το σύνολο των ετικετών ταξινόμησης ώστε να ταιριάζουν με τις τιμές κειμένου στη στήλη εισαγωγής.
input_col Απαραίτητο	Μια συμβολοσειρά που περιέχει το όνομα μιας υπάρχουσας στήλης με τιμές κειμένου εισαγωγής για ταξινόμηση σύμφωνα με τις προσαρμοσμένες ετικέτες.
output_col Προαιρετικός	Μια συμβολοσειρά που περιέχει το όνομα μιας νέας στήλης όπου θέλετε να αποθηκεύσετε μια ετικέτα ταξινόμησης για κάθε γραμμή κειμένου εισαγωγής. Εάν δεν ορίσετε αυτήν την παράμετρο, δημιουργείται ένα προεπιλεγμένο όνομα για τη στήλη εξόδου.
error_col Προαιρετικός	Μια συμβολοσειρά που περιέχει το όνομα μιας νέας στήλης. Η νέα στήλη αποθηκεύει τυχόν σφάλματα OpenAI που προκύπτουν από την επεξεργασία κάθε γραμμής κειμένου εισόδου. Εάν δεν ορίσετε αυτήν την παράμετρο, δημιουργείται ένα προεπιλεγμένο όνομα για τη στήλη σφάλματος. Εάν δεν υπάρχουν σφάλματα για μια γραμμή εισόδου, η τιμή σε αυτήν τη στήλη είναι null.

Επιστρέφει

Η συνάρτηση επιστρέφει ένα Spark DataFrame που περιλαμβάνει μια νέα στήλη που περιέχει ετικέτες ταξινόμησης που ταιριάζουν με κάθε γραμμή κειμένου εισαγωγής. Εάν μια τιμή κειμένου δεν μπορεί να ταξινομηθεί, η αντίστοιχη ετικέτα είναι null.

Παράδειγμα

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Αυτό το παράδειγμα κελιού κώδικα παρέχει την ακόλουθη έξοδο:

Σχετικό περιεχόμενο

• Χρησιμοποιήστε το ai.classify με πάντα.

• Εντοπίστε το συναίσθημα με ai.analyze_sentiment.

• Δημιουργήστε διανυσματικές ενσωματώσεις με το ai.embed.

• Εξαγωγή οντοτήτων με ai_extract.

• Διορθώστε τη γραμματική με ai.fix_grammar.

• Απαντήστε σε προσαρμοσμένες προτροπές χρήστη με ai.generate_response.

• Υπολογίστε την ομοιότητα με το ai.similarity.

• Συνοψίστε το κείμενο με το ai.summarize.

• Μεταφράστε κείμενο με το ai.translate.

• Μάθετε περισσότερα σχετικά με το πλήρες σύνολο λειτουργιών AI.

• Προσαρμόστε τη διαμόρφωση των λειτουργιών AI.

• Χάσαμε κάποια δυνατότητα που χρειάζεστε; Προτείνετε το στο φόρουμ Ιδεών Fabric.