Freigeben über

Nahtloses Transformieren und Anreichern von Daten mit KI-Funktionen (Vorschau)

Von Bedeutung

Dieses Feature befindet sich in der Vorschauphase.

Mit Microsoft Fabric können alle Geschäftsexperten – von Entwicklern bis hin zu Analysten – mehr Wert von ihren Unternehmensdaten über generative KI mit Erfahrungen wie Copilot und Fabric-Daten-Agents ableiten. Dank einer neuen Reihe von KI-Funktionen für das Daten engineering können Fabric-Benutzer jetzt die Leistungsfähigkeit branchenführender großer Sprachmodelle (LLMs) nutzen, um Daten nahtlos zu transformieren und zu bereichern.

KI-Funktionen nutzen die Leistungsfähigkeit von GenAI für Zusammenfassung, Klassifizierung, Textgenerierung und vieles mehr – alles mit einer einzigen Codezeile:

Es ist nahtlos, diese Funktionen als Teil von Data-Science- und Data-Engineering-Workflows zu integrieren, ganz gleich, ob Sie mit Pandas oder Spark arbeiten. Es gibt keine detaillierte Konfiguration, kein komplexes Infrastrukturmanagement und kein spezifisches technisches Fachwissen.

Voraussetzungen

Hinweis

  • KI-Funktionen werden in der Fabric 1.3-Laufzeit und höher unterstützt.
  • KI-Funktionen verwenden standardmäßig das Gpt-4o-mini-Modell (2024-07-18). Weitere Informationen zu Abrechnungs- und Verbrauchssätzen finden Sie in diesem Artikel.
  • Die meisten KI-Funktionen sind für die Verwendung in englischsprachigen Texten optimiert.

Erste Schritte mit KI-Funktionen

Die Verwendung von KI-Funktionen in Fabric-Notizbüchern erfordert bestimmte benutzerdefinierte Pakete, die auf der Fabric-Laufzeit vorinstalliert sind. Für die neuesten Features und Bugfixes können Sie den folgenden Code ausführen, um die am häufigsten up-to-date-Pakete zu installieren und zu importieren. Danach können Sie KI-Funktionen mit Pandas oder PySpark verwenden, je nach Ihren Vorlieben.

In dieser Codezelle werden die KI-Funktionsbibliothek und ihre Abhängigkeiten installiert.

Warnung

Die PySpark-Konfigurationszelle dauert ein paar Minuten, bis die Ausführung abgeschlossen ist. Wir schätzen Ihre Geduld.

# Install fixed version of packages
%pip install -q --force-reinstall openai==1.30 httpx==0.27.0

# Install latest version of SynapseML-core
%pip install -q --force-reinstall https://mmlspark.blob.core.windows.net/pip/1.0.11-spark3.5/synapseml_core-1.0.11.dev1-py2.py3-none-any.whl

# Install SynapseML-Internal .whl with AI functions library from blob storage:
%pip install -q --force-reinstall https://mmlspark.blob.core.windows.net/pip/1.0.11.1-spark3.5/synapseml_internal-1.0.11.1.dev1-py2.py3-none-any.whl

Diese Codezelle importiert die BIBLIOTHEK der KI-Funktionen und deren Abhängigkeiten. Die Pandas-Zelle importiert auch eine optionale Python-Bibliothek, um Statusanzeigen anzuzeigen, die den Status jedes KI-Funktionsaufrufs verfolgen.

# Required imports
import synapse.ml.aifunc as aifunc
import pandas as pd
import openai

# Optional import for progress bars
from tqdm.auto import tqdm
tqdm.pandas()

Anwenden von KI-Funktionen

Mit jeder der folgenden Funktionen können Sie den integrierten KI-Endpunkt von Fabric aufrufen, um Daten mit einer einzigen Codezeile zu transformieren und zu anreichern. Sie können KI-Funktionen verwenden, um Pandas DataFrames oder Spark DataFrames zu analysieren.

Tipp

Weitere Informationen zum Anpassen der Konfiguration von KI-Funktionen finden Sie in diesem Artikel.

Berechnen der Ähnlichkeit mit ai.similarity

Die ai.similarity Funktion ruft KI auf, um Eingabetextwerte mit einem einzelnen gemeinsamen Textwert oder mit paarweise Textwerten in einer anderen Spalte zu vergleichen. Die Output-Ähnlichkeitsbewertungen sind relativ und können zwischen -1 (Gegensätze) und 1 (identisch) liegen. Eine Punktzahl von 0 gibt an, dass die Werte völlig nicht in Beziehung stehen. Detaillierte Anweisungen zur Verwendung von ai.similarity finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([ 
        ("Bill Gates", "Microsoft"), 
        ("Satya Nadella", "Toyota"), 
        ("Joan of Arc", "Nike") 
    ], columns=["names", "companies"])
    
df["similarity"] = df["names"].ai.similarity(df["companies"])
display(df)

Kategorisieren von Text mit ai.classify

Die ai.classify Funktion ruft KI auf, um Eingabetext nach benutzerdefinierten Bezeichnungen zu kategorisieren, die Sie auswählen. Weitere Informationen zur Verwendung von ai.classify finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])

df["category"] = df['descriptions'].ai.classify("kitchen", "bedroom", "garage", "other")
display(df)

Erkennen von Stimmungen mit ai.analyze_sentiment

Die ai.analyze_sentiment Funktion ruft KI auf, um festzustellen, ob der durch Eingabetext ausgedrückte emotionale Zustand positiv, negativ, gemischt oder neutral ist. Wenn KI diese Bestimmung nicht vornehmen kann, bleibt die Ausgabe leer. Detaillierte Anweisungen zur Verwendung von ai.analyze_sentiment finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        "The cleaning spray permanently stained my beautiful kitchen counter. Never again!",
        "I used this sunscreen on my vacation to Florida, and I didn't get burned at all. Would recommend.",
        "I'm torn about this speaker system. The sound was high quality, though it didn't connect to my roommate's phone.",
        "The umbrella is OK, I guess."
    ], columns=["reviews"])

df["sentiment"] = df["reviews"].ai.analyze_sentiment()
display(df)

Extrahieren von Entitäten mit ai.extract

Die ai.extract Funktion nutzt KI, um Eingabetext zu scannen und bestimmte Arten von Informationen zu extrahieren, die Sie anhand von ausgewählten Bezeichnungen ausgewählt haben, wie zum Beispiel Orte oder Namen. Detaillierte Anweisungen zur Verwendung von ai.extract finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        "MJ Lee lives in Tuscon, AZ, and works as a software engineer for Microsoft.",
        "Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey."
    ], columns=["descriptions"])

df_entities = df["descriptions"].ai.extract("name", "profession", "city")
display(df_entities)

Korrigieren der Grammatik mit ai.fix_grammar

Die ai.fix_grammar Funktion ruft KI auf, um die Rechtschreibung, Grammatik und Interpunktion von Eingabetext zu korrigieren. Detaillierte Anweisungen zur Verwendung von ai.fix_grammar finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        "There are an error here.",
        "She and me go weigh back. We used to hang out every weeks.",
        "The big picture are right, but you're details is all wrong."
    ], columns=["text"])

df["corrections"] = df["text"].ai.fix_grammar()
display(df)

Zusammenfassen von Text mit ai.summarize

Die ai.summarize Funktion ruft KI auf, um Zusammenfassungen von Eingabetext zu generieren (werte aus einer einzelnen Spalte eines DataFrames oder Zeilenwerte in allen Spalten). Ausführlichere Anweisungen zur Verwendung finden ai.summarizeSie in diesem speziellen Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df= pd.DataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """)
    ], columns=["product", "release_year", "description"])

df["summaries"] = df["description"].ai.summarize()
display(df)

Übersetzen von Text mit ai.translate

Die ai.translate Funktion ruft KI auf, um Eingabetext in eine neue Sprache Ihrer Wahl zu übersetzen. Detaillierte Anweisungen zur Verwendung von ai.translate finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        "Hello! How are you doing today?", 
        "Tell me what you'd like to know, and I'll do my best to help.", 
        "The only thing we have to fear is fear itself."
    ], columns=["text"])

df["translations"] = df["text"].ai.translate("spanish")
display(df)

Beantworten von benutzerdefinierten Benutzeraufforderungen mit ai.generate_response

Die ai.generate_response Funktion ruft KI auf, um benutzerdefinierten Text basierend auf Ihren eigenen Anweisungen zu generieren. Detaillierte Anweisungen zur Verwendung von ai.generate_response finden Sie in diesem Artikel.

Beispielverwendung

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/

df = pd.DataFrame([
        ("Scarves"),
        ("Snow pants"),
        ("Ski goggles")
    ], columns=["product"])

df["response"] = df.ai.generate_response("Write a short, punchy email subject line for a winter sale.")
display(df)

Verwandte Inhalte