Yapay zeka işlevleriyle verileri dönüştürme ve zenginleştirme

Microsoft Fabric AI İşlevleri, tüm iş uzmanlarının (geliştiricilerden analistlere) üretken yapay zeka kullanarak kurumsal verilerini dönüştürmesine ve zenginleştirmesine olanak tanır.

Yapay zeka işlevleri özetleme, sınıflandırma, metin oluşturma ve daha fazlası için sektör lideri büyük dil modellerini (LLM) kullanır. Tek bir kod satırıyla şunları yapabilirsiniz:

• ai.analyze_sentiment: Giriş metninin duygusal durumunu algılayın.
• ai.classify: Giriş metnini etiketlerinize göre kategorilere ayırın.
• ai.embed: Giriş metni için vektör eklemeleri oluşturun.
• ai.extract: Giriş metninden (örneğin, konumlar veya adlar) belirli bilgi türlerini ayıklayın.
• ai.fix_grammar: Giriş metninin yazım, dil bilgisi ve noktalama işaretlerini düzeltin.
• ai.generate_response: Kendi yönergelerinize göre yanıtlar oluşturun.
• ai.similarity: Giriş metninin anlamını tek bir metin değeriyle veya başka bir sütundaki metinle karşılaştırın.
• ai.summarize: Giriş metninin özetlerini alın.
• ai.translate: Giriş metnini başka bir dile çevirin.

İster pandas ister Spark ile çalışıyor olun, bu işlevleri veri bilimi ve veri mühendisliği iş akışlarının bir parçası olarak birleştirebilirsiniz. Ayrıntılı yapılandırma ve karmaşık altyapı yönetimi yoktur. Belirli bir teknik uzmanlığa ihtiyacınız yoktur.

Prerequisites

• Yapay zeka işlevlerini Doku'daki yerleşik yapay zeka uç noktasıyla kullanmak için yöneticinizin Copilot için kiracı anahtarını ve Azure OpenAI tarafından desteklenen diğer özellikleri etkinleştirmesi gerekir.
• Konumunuza bağlı olarak, coğrafi bölgeler arası işleme için bir kiracı ayarını etkinleştirmeniz gerekebilir. Azure OpenAI Hizmeti için kullanılabilir bölgeler hakkında daha fazla bilgi edinin.
• Ücretli bir Fabric kapasitesine (F2 veya üzeri veya herhangi bir P edisyonu) ihtiyacınız vardır.

Note

• Yapay zeka işlevleri , Doku Çalışma Zamanı 1.3 ve sonraki sürümlerde desteklenir.
• Farklı bir model yapılandırmadığınız sürece yapay zeka işlevleri varsayılan olarak gpt-4.1-mini olarak görünür. Faturalama ve tüketim oranları hakkında daha fazla bilgi edinin.
• Temel alınan model birkaç dili işleyebilir ancak yapay zeka işlevlerinin çoğu İngilizce metinlerde kullanılmak üzere iyileştirilmiştir."

Modeller ve sağlayıcılar

Yapay zeka işlevleri artık varsayılan Azure OpenAI modellerinin ötesinde daha geniş modelleri ve sağlayıcıları destekliyor. Yapay zeka işlevlerini şu şekilde yapılandırabilirsiniz:

• Azure OpenAI modelleri
• Azure AI Foundry kaynakları (Claude ve LLaMA gibi modeller dahil)

Model ve sağlayıcı seçimi, yapay zeka işlevleri yapılandırması aracılığıyla yapılandırılabilir. Farklı modelleri ve sağlayıcıları ayarlama ve yapılandırma hakkında ayrıntılı bilgi için pandas ve PySpark yapılandırma belgelerine bakın.

Yapay zeka işlevlerini kullanmaya başlama

AI Fonksiyonları, pandas (Python ve PySpark çalışma ortamları) ve PySpark (PySpark çalışma ortamı) ile kullanılabilir. Her birinin gerekli yükleme ve içeri aktarma adımları aşağıdaki bölümde özetlenir ve ardından ilgili komutlar gösterilir.

Performans ve eşzamanlılık

Yapay zeka işlevleri artık 200'lü artan varsayılan eşzamanlılık ile yürütülerek yapay zeka işlemlerinin daha hızlı paralel işlenmesine olanak sağlıyor. Belirli gereksinimlerinize göre performansı iyileştirmek için iş yükü başına eşzamanlılık ayarlarını ayarlayabilirsiniz. Eşzamanlılığı ve performansla ilgili diğer ayarları yapılandırma hakkında daha fazla bilgi için pandas ve PySpark yapılandırma belgelerine bakın.

Bağımlılıkları yükleme

• Pandas (Python çalışma zamanı)
  • synapseml_internal ve synapseml_core whl dosyalarının yüklenmesi gereklidir (aşağıdaki kod hücresinde sağlanan komutlar)
  • openai paket yüklemesi gerekiyor (aşağıdaki kod hücresinde sağlanan komut)
• Pandas (PySpark çalışma zamanı)
  • openai paket yüklemesi gerekiyor (aşağıdaki kod hücresinde sağlanan komut)
• PySpark (PySpark çalışma zamanı)
  • Yükleme gerekmez

pandas (PySpark çalışma zamanı)

# The pandas AI functions package requires OpenAI version 1.99.5 or later
%pip install -q --force-reinstall openai==1.99.5 2>/dev/null

pandas (Python çalışma zamanı)

# Install latest versions of AI functions library whl
!wget -q https://aka.ms/fabric-aifunctions-whl -O synapseml_internal-latest-py3-none-any.whl
!wget -q https://aka.ms/fabric-synapseml-core-whl -O synapseml_core-latest-py3-none-any.whl

# The pandas AI functions package requires OpenAI version 1.99.5 or later
%pip install -q --force-reinstall openai==1.99.5 synapseml_internal-latest-py3-none-any.whl synapseml_core-latest-py3-none-any.whl

Gerekli kitaplıkları içeri aktarma

Aşağıdaki kod hücresi yapay zeka işlevleri kitaplığını ve bağımlılıklarını içeri aktarır.

pandas

# Required imports
import synapse.ml.aifunc as aifunc
import pandas as pd

PySpark

import synapse.ml.spark.aifunc as aifunc

# SparkSession with accessor `spark` in PySpark environments is pre-setup and available for use

Yapay zeka işlevlerini uygulama

Aşağıdaki işlevlerin her biri, verileri tek bir kod satırıyla dönüştürmek ve zenginleştirmek için Doku'daki yerleşik yapay zeka uç noktasını çağırmanıza olanak tanır. Pandas DataFrame'leri veya Spark DataFrame'leri analiz etmek için yapay zeka işlevlerini kullanabilirsiniz.

Tip

Yapay zeka işlevlerinin yapılandırmasını özelleştirmeyi öğrenin.

Gelişmiş yapılandırma: gpt-5 aile modellerini kullanırken ve reasoning_effortgibi verbosity gelişmiş seçenekleri yapılandırabilirsiniz. Bu seçenekleri ayarlama hakkında ayrıntılı bilgi için pandas ve PySpark yapılandırma sayfalarına bakın.

ai.analyze_sentiment ile yaklaşımı algılama

ai.analyze_sentiment işlevi, giriş metniyle ifade edilen duygusal durumun pozitif, negatif, karışık veya nötr olup olmadığını belirlemek için yapay zekayı çağırır. Yapay zeka bu belirlemeyi yapamazsa çıkış boş bırakılır. Pandas ile kullanımı ai.analyze_sentiment hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.analyze_sentiment PySpark ile ilgili olarak bu makaleye bakın.

İsteğe bağlı parametreler

İşlev ai.analyze_sentiment artık yaklaşım analizi davranışını özelleştirmenize olanak sağlayan ek isteğe bağlı parametreleri destekler. Bu parametreler, duygunun nasıl tespit edildiği ve raporlandığı üzerinde daha fazla denetim sağlar. Kullanılabilir parametreler, açıklamaları ve varsayılan değerler hakkında ayrıntılı bilgi için pandas ve PySpark için işleve özgü belgelere bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "The cleaning spray permanently stained my beautiful kitchen counter. Never again!",
        "I used this sunscreen on my vacation to Florida, and I didn't get burned at all. Would recommend.",
        "I'm torn about this speaker system. The sound was high quality, though it didn't connect to my roommate's phone.",
        "The umbrella is OK, I guess."
    ], columns=["reviews"])

df["sentiment"] = df["reviews"].ai.analyze_sentiment()
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("The cleaning spray permanently stained my beautiful kitchen counter. Never again!",),
        ("I used this sunscreen on my vacation to Florida, and I didn't get burned at all. Would recommend.",),
        ("I'm torn about this speaker system. The sound was high quality, though it didn't connect to my roommate's phone.",),
        ("The umbrella is OK, I guess.",)
    ], ["reviews"])

sentiment = df.ai.analyze_sentiment(input_col="reviews", output_col="sentiment")
display(sentiment)

Metni ai.classify ile kategorilere ayırma

ai.classify işlevi, giriş metnini seçtiğiniz özel etiketlere göre kategorilere ayırmak için yapay zekayı çağırır. Pandas ile ai.classify kullanımına ilişkin daha fazla bilgi için bu makaleye gidin. ai.classify PySpark ile ilgili olarak bu makaleye bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])

df["category"] = df['descriptions'].ai.classify("kitchen", "bedroom", "garage", "other")
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

ai.embed ile vektör eklemeleri oluşturma

İşlev, ai.embed giriş metni için vektör eklemeleri oluşturmak üzere yapay zekayı çağırır. Vektör eklemeleri, anlamsal anlamı yakalayan metinlerin sayısal temsilleridir ve bu da benzerlik araması, alma iş akışları ve diğer makine öğrenmesi görevleri için yararlı olmalarını sağlar. Ekleme vektörlerinin boyutsallığı seçilen modele bağlıdır. Pandas ile kullanımı ai.embed hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.embed PySpark ile ilgili olarak bu makaleye bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])
    
df["embed"] = df["descriptions"].ai.embed()
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",), 
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",), 
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",) 
    ], ["descriptions"])

embed = df.ai.embed(input_col="descriptions", output_col="embed")
display(embed)

ai.extract ile varlıkları ayıklama

İşlev, ai.extract giriş metnini taramak ve seçtiğiniz etiketler tarafından belirlenen belirli bilgi türlerini (örneğin, konumlar veya adlar) ayıklamak için yapay zekayı çağırır. Pandas ile kullanımı ai.extract hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.extract PySpark ile ilgili olarak bu makaleye bakın.

Yapılandırılmış etiketler

işlevi ExtractLabel ai.extract şeması aracılığıyla yapılandırılmış etiket tanımlarını destekler. Etiketlere yalnızca etiket adını değil, aynı zamanda tür bilgilerini ve özniteliklerini de içeren yapılandırılmış tanımlar sağlayabilirsiniz. Bu yapılandırılmış yaklaşım ayıklama tutarlılığını artırır ve işlevin karşılık gelen yapılandırılmış çıkış sütunlarını döndürmesine olanak tanır. Örneğin, ayıklama işlemini daha hassas bir şekilde yönlendirmek için ek meta veriler içeren etiketler belirtebilirsiniz. Yapılandırılmış etiketleri kullanma örnekleri için pandas ve PySpark için ayrıntılı belgelere bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "MJ Lee lives in Tucson, AZ, and works as a software engineer for Microsoft.",
        "Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey."
    ], columns=["descriptions"])

df_entities = df["descriptions"].ai.extract("name", "profession", "city")
display(df_entities)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("MJ Lee lives in Tucson, AZ, and works as a software engineer for Microsoft.",),
        ("Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey.",)
    ], ["descriptions"])

df_entities = df.ai.extract(labels=["name", "profession", "city"], input_col="descriptions")
display(df_entities)

dil bilgisini ai.fix_grammar ile düzeltme

ai.fix_grammar işlevi, giriş metninin yazımını, dil bilgisini ve noktalama işaretlerini düzeltmek için yapay zekayı çağırır. Pandas ile kullanımı ai.fix_grammar hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.fix_grammar PySpark ile ilgili olarak bu makaleye bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "There are an error here.",
        "She and me go weigh back. We used to hang out every weeks.",
        "The big picture are right, but you're details is all wrong."
    ], columns=["text"])

df["corrections"] = df["text"].ai.fix_grammar()
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

corrections = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(corrections)

ai.generate_response ile özel kullanıcı istemlerini yanıtlama

ai.generate_response işlevi, kendi yönergelerinize göre özel metin oluşturmak için yapay zekayı çağırır. Pandas ile kullanımı ai.generate_response hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.generate_response PySpark ile ilgili olarak bu makaleye bakın.

İsteğe bağlı parametreler

İşlev ai.generate_response artık yapılandırılmış JSON çıkışı istemenizi sağlayan bir response_format parametreyi destekliyor. Yanıtları JSON biçiminde almayı belirtebilirsiniz response_format='json' . Ayrıca, oluşturulan yanıtın beklenen veri şeklinize uygun olmasını sağlayarak belirli bir çıkış yapısını zorunlu kılmak için bir JSON şeması sağlayabilirsiniz. Bu özellikle yapay zeka işlevinden tahmin edilebilir, makine tarafından okunabilir bir çıkışa ihtiyacınız olduğunda kullanışlıdır. Ayrıntılı örnekler ve kullanım desenleri için pandas ve PySpark belgelerine bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        ("Scarves"),
        ("Snow pants"),
        ("Ski goggles")
    ], columns=["product"])

df["response"] = df.ai.generate_response("Write a short, punchy email subject line for a winter sale.")
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Scarves",),
        ("Snow pants",),
        ("Ski goggles",)
    ], ["product"])

responses = df.ai.generate_response(prompt="Write a short, punchy email subject line for a winter sale.", output_col="response")
display(responses)

ai.similarity ile benzerliği hesaplama

İşlev, ai.similarity her giriş metni değerini bir ortak başvuru metniyle veya başka bir sütundaki karşılık gelen değerle (çift yönlü mod) karşılaştırır. Çıkış benzerlik puanı değerleri görelidir ve (karşıtlar) ile -1 (aynı) 1 arasında değişebilir. puanı 0 , değerlerin anlamlı olarak ilişkisiz olduğunu gösterir. Pandas ile kullanımı ai.similarity hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.similarity PySpark ile ilgili olarak bu makaleye bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([ 
        ("Bill Gates", "Technology"), 
        ("Satya Nadella", "Healthcare"), 
        ("Joan of Arc", "Agriculture") 
    ], columns=["names", "industries"])
    
df["similarity"] = df["names"].ai.similarity(df["industries"])
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Bill Gates", "Technology"), 
        ("Satya Nadella", "Healthcare"), 
        ("Joan of Arc", "Agriculture")
    ], ["names", "industries"])

similarity = df.ai.similarity(input_col="names", other_col="industries", output_col="similarity")
display(similarity)

Metni ai.summarize ile özetleme

ai.summarize işlevi, giriş metninin özetlerini (DataFrame'in tek bir sütunundaki değerler veya tüm sütunlarda satır değerleri) oluşturmak için yapay zekayı çağırır. Pandas ile kullanımı ai.summarize hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.summarize PySpark ile ilgili olarak bu makaleye bakın.

Özetleri yönergelerle özelleştirme

İşlev ai.summarize artık oluşturulan özetlerin tonunu, uzunluğunu ve odağını yönlendirmenizi sağlayan bir instructions parametreyi destekler. Belirli bir stili, hedef kitleyi veya ayrıntı düzeyini belirtme gibi özetin nasıl oluşturulacağı konusunda yol gösteren özel yönergeler sağlayabilirsiniz. Yönergeler sağlanmadığında işlev varsayılan özetleme davranışını kullanır. parametresini instructions kullanma örnekleri için pandas ve PySpark ile ilgili ayrıntılı belgelere bakın.

pandas

# This code uses AI. Always review output for mistakes.

df= pd.DataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """)
    ], columns=["product", "release_year", "description"])

df["summaries"] = df["description"].ai.summarize()
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """,),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """,)
    ], ["product", "release_year", "description"])

summaries = df.ai.summarize(input_col="description", output_col="summary")
display(summaries)

Metni ai.translate ile çevirme

ai.translate işlevi, giriş metnini seçtiğiniz yeni bir dile çevirmek için yapay zekayı çağırır. Pandas ile kullanımı ai.translate hakkında daha ayrıntılı yönergeler için bu makaleye bakın. ai.translate PySpark ile ilgili olarak bu makaleye bakın.

pandas

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "Hello! How are you doing today?", 
        "Tell me what you'd like to know, and I'll do my best to help.", 
        "The only thing we have to fear is fear itself."
    ], columns=["text"])

df["translations"] = df["text"].ai.translate("spanish")
display(df)

PySpark

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Hello! How are you doing today?",),
        ("Tell me what you'd like to know, and I'll do my best to help.",),
        ("The only thing we have to fear is fear itself.",),
    ], ["text"])

translations = df.ai.translate(to_lang="spanish", input_col="text", output_col="translations")
display(translations)

ai.stats ile kullanım istatistiklerini görüntüleme

Doku AI işlevleri, yapay zeka tarafından oluşturulan herhangi bir Seri veya DataFrame için kullanım ve yürütme istatistiklerini incelemek için yerleşik bir yol sağlar. Yapay zeka işlevi tarafından döndürülen sonuçta ai.stats çağırarak bu ölçümlere erişebilirsiniz.

ai.stats aşağıdaki sütunlara sahip bir DataFrame döndürür:

• num_successful: AI işlevi tarafından başarıyla işlenen satır sayısı.
• num_exceptions: Yürütme sırasında özel durumla karşılaşan satır sayısı. Bu satırlar, aifunc.ExceptionResult örneği olarak temsil edilir.
• num_unevaluated – Önceki bir özel durum nedeniyle değerlendirme işlemi yapılamadığından işlenmeyen satır sayısı. Bu satırlar, aifunc.NotEvaluatedResult örnekleridir.
• num_harmful : Azure OpenAI içerik filtresi tarafından engellenen satır sayısı. Bu satırlar birer örnektir aifunc.FilterResult.
• prompt_tokens : AI işlev çağrısı için kullanılan toplam giriş belirteci sayısı.
• completion_tokens : Model tarafından oluşturulan toplam çıkış belirteci sayısı.

Tip

Yapay zeka işlevi tarafından döndürülen herhangi bir Seriyi veya DataFrame'i ai.stats ile çağırabilirsiniz. Bu, kullanımı izlemenize, hata desenlerini anlamanıza ve belirteç tüketimini izlemenize yardımcı olabilir.

İlgili içerik

• ai.analyze_sentiment in pandas veya ai.analyze_sentiment in pyspark ile duyguyu algılayın.

• veya ai.classify in pandasile ai.classify in PySpark metni kategorilere ayırın.

• veya ai.embed in pandasile ai.embed in PySpark vektör eklemeleri oluşturun.

• ai.extract in pandas veya ai.extract in PySpark ile varlıkları ayıklayın.

• Dil bilgisini ai.fix_grammar in pandas veya ai.fix_grammar in PySpark ile düzeltin.

• veya ai.generate_response in pandasile ai.generate_response in PySpark özel kullanıcı istemlerini yanıtlayın.

• veya ai.similarity in pandasile ai.similarity in PySpark benzerliği hesaplayın.

• ai.summarize in pandas veya ai.summarize in PySpark ile metni özetleyin.

• veya ai.translate in pandasile ai.translate in PySpark metin çevirisi yapın.

• Pandas'ta yapay zeka işlevlerinin yapılandırmasını veya PySpark'ta yapay zeka işlevlerinin yapılandırmasını özelleştirin.

• İhtiyacınız olan bir özelliği kaçırdık mı? Doku Fikirleri forumu'nda önerin.