Notebook ortamında Python deneyimini kullanın

Python not defteri, Fabric notebook üzerine kurulmuş yeni bir deneyimdir. Veri analizi, görselleştirme ve makine öğrenmesi için tasarlanmış çok yönlü ve etkileşimli bir araçtır. Python kodu yazmak ve yürütmek için sorunsuz bir geliştirme deneyimi sağlar. Bu özellik, özellikle büyük veri ve dağıtılmış bilgi işlem gerektirmeyen keşif görevleri için veri bilimcileri, analistler ve BI geliştiricileri için önemli bir araç haline getirir.

Python not defteriyle şunları alabilirsiniz:

• Birden çok yerleşik Python çekirdeği: Python not defterleri, Python çekirdeğinin iki sürümü (python 3.10 ve 3.11) varsayılan olarak kullanılabilir ve iPyWidget, sihirli komutlar gibi desteklenen yerel ipython özellikleriyle Spark içermeyen saf bir Python kodlama ortamı sunar.

• Uygun maliyetli: Yeni Python not defteri, varsayılan olarak 2vCores/16 GB belleğe sahip tek düğümlü bir kümede çalıştırarak maliyet tasarrufu avantajları sunar. Bu kurulum, daha küçük veri boyutuna sahip veri araştırma projeleri için verimli kaynak kullanımı sağlar.

• Lakehouse & Kaynakları yerel olarak kullanılabilir: Fabric Lakehouse'ın tüm işlevselliği, Not Defteri'nin yerleşik Kaynakları ile birlikte Python not defteri ortamında kullanılabilir. Bu özellik, kullanıcıların verileri python not defterine kolayca getirmesine olanak tanır, kod parçacığını almak için & sürüklemeyi deneyin.

• Programlamayı T-SQLile karıştırın: Python not defteri, explorer'da Veri Ambarı ve SQL uç noktalarıyla etkileşim kurmanın kolay bir yolunu sunar. Notebookutils veri bağlayıcısını kullanarak T-SQL betiklerini python bağlamında kolayca yürütebilirsiniz.

• Popüler Veri Analizi kitaplıkları için destek: Python not defterleri DuckDB, Polars ve Scikit-learn gibi önceden yüklenmiş kitaplıklarla birlikte gelir ve veri işleme, analiz ve makine öğrenmesi için kapsamlı bir araç seti sağlar.

• Gelişmiş intellisense: Python not defteri, diğer Fabric özelleştirilmiş dil hizmetiyle birlikte Pylance'ı intellisense altyapısı olarak benimser ve not defteri geliştiricilerine son teknoloji kodlama deneyimi sağlamayı amaçlar.

• NotebookUtils & Semantic link: Güçlü API araç setleri, kod odaklı bir deneyimle Fabric ve Power BI özelliklerini kolayca kullanmanızı sağlar.

• Zengin Görselleştirme Özellikleri: Popüler zengin veri çerçevesi önizlemesi 'Tablo' işlevi ve 'Grafik' işlevi dışında Matplotlib, Seaborn ve Plotly gibi popüler görselleştirme kitaplıklarını da destekliyoruz. PowerBIClient, kullanıcıların veri desenlerini ve içgörülerini daha iyi anlamalarına yardımcı olmak için bu kitaplıkları da destekler.

• Doku Not Defteri için Ortak Özellikler: Düzenleme özellikleri, Otomatik Kaydetme, işbirliği, paylaşım ve izin yönetimi, Git tümleştirmesi, içeri/dışarı aktarma gibi Tüm Not Defteri düzeyindeki özellikler Python not defteri için doğal olarak geçerlidir.

• Tam yığın Veri Bilimi Özellikleri: Gelişmiş düşük kodlu araç seti Data Wrangler, makine öğrenmesi çerçevesi MLFlow ve güçlü Copilot, Python not defterinde kullanılabilir.

Python Not Defteri'ne erişme

Bir Kumaş Not Defteri'ni açtıktan sonra, Giriş sekmesindeki dil açılan menüsünden Python'a geçebilir ve tüm not defteri yapılandırmasını Python'a dönüştürebilirsiniz.

Yaygın özelliklerin çoğu not defteri düzeyinde desteklenir. Ayrıntılı kullanımı öğrenmek için Microsoft Fabric not defterlerini kullanma ve Microsoft Fabric not defterlerini geliştirme, yürütme ve yönetme kılavuzlarına başvurabilirsiniz. Burada Python senaryolarına özgü bazı önemli özellikleri listeleyeceğiz.

Python not defterlerini çalıştırma

Python not defteri birden çok iş yürütme yolunu destekler:

• Etkileşimli çalıştırma: Python not defterini yerel Jupyter not defteri gibi etkileşimli olarak çalıştırabilirsiniz.
• Zamanlama çalıştırması: Python not defterini toplu iş olarak çalıştırmak için not defteri ayarları sayfasındaki hafif zamanlayıcı deneyimini kullanabilirsiniz.
• İşlem hattı çalıştırması: Python not defterlerini İşlem Hattı'nda not defteri etkinlikleri olarak düzenleyebilirsiniz. İş tamamlandıktan sonra anlık görüntü oluşturulacak.
• Referans çalıştırması: Başka bir Python not defterinde çalışan Python not defterlerine toplu iş olarak referans vermek için notebookutils.notebook.run() veya notebookutils.notebook.runMultiple() kullanabilirsiniz. Referans çalışması tamamlandıktan sonra anlık görüntü oluşturulur.
• Genel API çalıştırma: Python not defterinizin not defteri çalıştırma genel APIile çalışmasını zamanlayabilirsiniz; genel API yükünün not defteri meta verilerindeki dil ve çekirdek özelliklerinin düzgün ayarlandığından emin olun.

Python not defteri işi çalıştırma ayrıntılarını Şerit sekmesi Çalıştır ->Tüm çalıştırmaları görüntüle'de izleyebilirsiniz.

Veri etkileşimi

Python not defterindeki Lakehouse, Ambarlar, SQL uç noktaları ve yerleşik kaynaklar klasörleriyle etkileşim kurabilirsiniz.

Note

• Python Notebook çalışma zamanı delta-rs ve duckdb kitaplıklarıyla önceden yüklenmiş olarak gelir ve Delta Lake verilerinin hem okunmasını hem de yazmasını destekler. Ancak, bazı Delta Lake özelliklerinin şu anda tam olarak desteklenmeyebileceğini unutmayın. Daha fazla ayrıntı ve en son güncelleştirmeler için lütfen resmi delta-rs ve duckdb web sitelerine bakın.
• Şu anda deltalake(delta-rs) sürüm 1.0.0 veya üzerini desteklemiyoruz. Bizi izlemeye devam edin.

Lakehouse etkileşimi

Bir Lakehouse'u varsayılan olarak ayarlayabilir veya bunları not defterlerinde keşfetmek ve kullanmak için birden çok Lakehouse ekleyebilirsiniz.

Delta tablosu gibi veri nesnelerini okumayı bilmiyorsanız, dosyayı ve delta tablosunu not defteri tuvaline sürükleyip bırakmayı deneyin veya nesnenin açılan menüsündeki Verileri yükle'yi kullanın. Not defteri, kod hücresine otomatik olarak kod parçacığı ekler ve hedef veri nesnesini okumak için kod oluşturur.

Note

Büyük miktarda veri yüklerken OOM ile karşılaşırsanız pandas yerine DuckDB, Polars veya PyArrow veri çerçevesini kullanmayı deneyin.

"Lakehouse yazma işlemini Kod parçacığını göz atın ->Delta tablosuna veri yazmabulabilirsiniz."

T-SQL ile depo etkileşimi ve programlamanın birleştirilmesi

Not Defteri'nin Ambar gezgininden Veri Ambarları veya SQL uç noktaları ekleyebilirsiniz. Benzer şekilde, tabloları not defteri tuvaline sürükleyip bırakabilir veya tablo açılan menüsündeki kısayol işlemlerini kullanabilirsiniz. Not defteri sizin için otomatik olarak kod parçacığı oluşturur. notebookutils.data yardımcı programlarını kullanarak Ambarlar ile bağlantı kurabilir ve Python bağlamında T-SQL deyimini kullanarak verileri sorgulayabilirsiniz.

Note

SQL uç noktaları burada salt okunur.

Dijital not defteri kaynakları klasörü

Not defteri kaynakları yerleşik kaynaklar klasörü Python Not Defteri'nde yerel olarak kullanılabilir. Yerel dosya sisteminizle çalışıyor gibi Python kodunu kullanarak yerleşik kaynaklar klasöründeki dosyalarla kolayca etkileşim kurabilirsiniz. Şu anda Ortam kaynak klasörü desteklenmiyor.

Çekirdek işlemleri

Python not defteri şu anda iki yerleşik çekirdeği destekler; bunlar Python 3.10 ve Python 3.11'dir ve varsayılan olarak seçilen çekirdek Python 3.11'dir. bunlar arasında kolayca geçiş yapabilirsiniz.

Şeridin Giriş sekmesinde çekirdeği kesebilir, yeniden başlatabilir veya değiştirebilirsiniz. Python not defterlerinde çekirdeği kesintiye uğratmak, Spark not defterindeki hücreyi iptal etmekle aynıdır.

çekirdek işlemlerini gösteren ekran görüntüsü

Anormal çekirdek çıkışı, kod yürütmenin kesilmesine ve değişkenlerin kaybolmasına neden olur, ancak not defteri oturumunu durdurmaz.

Çekirdeğin ölmesine yol açabilecek komutlar vardır. Örneğin, quit(), exit().

Kitaplık yönetimi

Satır içi yüklemeler için %pip ve %conda komutlarını kullanabilirsiniz; komutlar hem ortak kitaplıkları hem de özelleştirilmiş kitaplıkları destekler.

Özelleştirilmiş kitaplıklar için lib dosyalarını Yerleşik kaynaklar klasörüne yükleyebilirsiniz. Tekerlek (.whl), JAR (.jar), DLL (.dll) ve Python (.py) gibi biçimler dahil olmak üzere birden çok kitaplık türünü destekleriz. Dosyaya sürükleyip bırakmayı denediğinizde kod parçacığı otomatik olarak oluşturulur.

Güncelleştirilmiş paketleri kullanmak için çekirdeği yeniden başlatmanız gerekebilir.

Benzer komutları daha iyi anlamak ve net bir şekilde kullanmak için aşağıdaki tabloya bakın.

Command/Syntax	Ana amaç	Jupyter Notebook'ta nasıl çalışır?	Tipik kullanım örneği	Notes
%pip install package	Python paketlerini yükleme	Not defterinin Python çekirdeğinde pip çalıştırır	Paketleri yüklemenin önerilen yolu	Python Not Defteri'nde, !pip ile aynı şekilde, çekirdek otomatik olarak yeniden başlatılmaz
!pip install package	Kabuk aracılığıyla Python paketlerini yükleme	Pip'i kabuk komutu olarak çalıştırır	Paketleri yüklemenin alternatif yolu	Python Not Defteri'nde, %pip ile aynı şekilde, çekirdek otomatik olarak yeniden başlatılmaz
import sys; sys.exit(0)	Dizüstü bilgisayar çekirdeğini yeniden başlat	Çekirdeği hemen yeniden başlatır	Program aracılığıyla çekirdeği yeniden başlatma	Tüm değişkenleri ve durumları temizler; doğrudan kullanılması önerilmez
notebookutils.session.restartPython()	Dizüstü bilgisayar çekirdeğini yeniden başlat	Dahili aramalar sys.exit(0)	Çekirdeği yeniden başlatmanın önerilen yolu	Resmi API, doğrudan sys.exit(0) kullanmaktan daha güvenli ve uyumlu

Note

• Python Not Defteri'nde %pip ve !pipaynı davranışa sahiptir: hem paketleri geçerli çekirdeğin ortamına yükler hem de yüklemeden sonra çekirdek otomatik olarak yeniden başlatılmaz.
• Çekirdeği yeniden başlatmanız gerekiyorsa (örneğin, belirli paketleri yükledikten sonra), yerine kullanmanız notebookutils.session.restartPython()import sys; sys.exit(0).
  • notebookutils.session.restartPython(), sys.exit(0)'i sarmalayan resmi bir API'dir ve not defteri ortamlarında daha güvenli ve daha uyumludur.
• Gerekli olmadıkça doğrudan kullanılması sys.exit(0).

Python not defteri gerçek zamanlı kaynak kullanımı izleme

Önemli

Bu özellik önizleme aşamasındadır.

Kaynak izleyici bölmesiyle oturum süresi, işlem türü ve CPU ve bellek tüketimi gibi gerçek zamanlı kaynak ölçümleri gibi kritik çalışma zamanı bilgilerini doğrudan not defterinizde izleyebilirsiniz. Bu özellik, etkin oturumunuza ve kullanılan kaynaklara anında genel bir bakış sağlar.

Kaynak izleyicisi, Python iş yüklerinin sistem kaynaklarını nasıl kullandığına ilişkin görünürlüğü artırır. Performansı iyileştirmenize, maliyetleri yönetmenize ve yetersiz bellek (OOM) hataları riskini azaltmanıza yardımcı olur. Ölçümleri gerçek zamanlı olarak izleyerek yoğun kaynak kullanımlı işlemleri tanımlayabilir, kullanım düzenlerini analiz edebilir ve kodu ölçeklendirme veya değiştirme hakkında bilinçli kararlar alabilirsiniz.

Kullanmaya başlamak için not defterinizin dilini Python olarak ayarlayın ve bir oturum başlatın. Ardından not defteri durum çubuğunda işlem kaynaklarına tıklayarak veya araç çubuğundan Kaynak kullanımını görüntüle'yi seçerek izleyiciyi açabilirsiniz. Fabric not defterlerinde Python kodu için tümleşik bir izleme deneyimi sağlayan kaynak izleme bölmesi otomatik olarak görüntülenir.

Oturum yapılandırma sihirli komutu

Not defterindeki Spark oturum yapılandırması kişiselleştirmeye benzer şekilde Python not defterinde de %%configure kullanabilirsiniz. Python not defteri, işlem düğümü boyutunu, bağlama noktalarını ve not defteri oturumunun varsayılan lakehouse'unu özelleştirmeyi destekler. Bunlar hem etkileşimli not defteri hem de işlem hattı not defteri etkinliklerinde kullanılabilir. Not defterinizin başında %%configure komutunu kullanmanızı öneririz veya ayarların etkili olması için not defteri oturumunu yeniden başlatmanız gerekir.

Python defter %%configure'da desteklenen özellikler şunlardır:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

İşlem kaynakları güncelleştirmesini not defteri durum çubuğunda görüntüleyebilir ve işlem düğümünün CPU ve Bellek kullanımını gerçek zamanlı olarak izleyebilirsiniz.

NotebookUtils

Not Defteri Yardımcı Programları (NotebookUtils), Doku Not Defteri'nde yaygın görevleri kolayca gerçekleştirmenize yardımcı olan yerleşik bir pakettir. Python çalışma ortamına önceden kurulu olarak yüklenmiştir. NotebookUtils'i dosya sistemleriyle çalışmak, ortam değişkenlerini almak, not defterlerini birbirine zincirleme, dış depolamaya erişmek ve gizli dizilerle çalışmak için kullanabilirsiniz.

Kullanılabilir API'leri listelemek ve yöntemlerle ilgili yardım almak veya doc notebookutils.help() başvurmak için kullanabilirsiniz.

Veri yardımcı programları

Note

Şu anda özellik önizleme aşamasındadır.

Sağlanan veri kaynağıyla bağlantı kurmak ve ardından T-SQL deyimini kullanarak verileri okuyup sorgulamak için notebookutils.data yardımcı programlarını kullanabilirsiniz.

Kullanılabilir yöntemlere genel bir bakış elde etmek için aşağıdaki komutu çalıştırın:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Lakehouse'dan veri sorgulama

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Depodan veri sorgula

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

SQL veritabanından veri sorgulama

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

NotebookUtils'teki Veri yardımcı programları şimdilik yalnızca Python not defterinde kullanılabilir.

Kod parçacıklarına göz atma

Yararlı python kod parçacıklarını Düzenle sekmesine>göz at kod parçacığında bulabilirsiniz. Yeni Python örnekleri kullanıma sunuldu. Not defterini keşfetmeye başlamak için Python kod parçacığından bilgi edinebilirsiniz.

python kod parçacıklarına nerede göz atabileceğinizi gösteren ekran görüntüsü

Anlamsal bağlantı

Anlamsal bağlantı, Microsoft Fabric'te anlam modelleri ile Synapse Veri Bilimi arasında bağlantı kurmanızı sağlayan bir özelliktir. Python not defterinde yerel olarak desteklenir. BI mühendisleri ve Power BI geliştiricileri Semantik bağlantı bağlamayı kullanabilir ve anlam modelini kolayca yönetebilir. Anlam bağlantısı hakkında daha fazla bilgi edinmek için genel belgeyi okuyun.

Visualization

Yerleşik görselleştirme işlevi, kitaplıklarla grafik çizmeye ek olarak DataFrame'leri zengin biçimli veri görselleştirmelerine dönüştürmenizi sağlar. Zengin veri çerçevesi tablo görünümünü ve grafik görünümünü oluşturmak için veri çerçevelerinde display() işlevini kullanabilirsiniz.

Note

Grafik yapılandırmaları Python not defterinde kalıcı hale gelir; yani kod hücresi yeniden çalıştırıldıktan sonra hedef veri çerçevesi şeması değişmezse, kaydedilen grafikler hala kalıcı hale gelir.

Kod IntelliSense

Python not defteri ayrıca dil sunucusu olarak Pylance kullanır. Daha fazla bilgi için bkz. Pylance ile Python Geliştirmeyi geliştirme.

Veri bilimi özellikleri

Microsoft Fabric'deki Veri Bilimi belgelerini ziyaret ederek Fabric'te veri bilimi ve yapay zeka deneyimi hakkında daha fazla bilgi edinin. Burada Python not defterinde yerel olarak desteklenen birkaç önemli veri bilimi özelliğini listeleyeceğiz.

• Data Wrangler: Data Wrangler, keşif verileri analizi için çevreleyici bir arabirim sağlayan not defteri tabanlı bir araçtır. Bu özellik, kılavuz benzeri bir veri görüntüsünü dinamik özet istatistikleri, yerleşik görselleştirmeler ve yaygın veri temizleme işlemleri kitaplığıyla birleştirir. Veri Wrangler ile veri hazırlama sürecini hızlandıran veri temizleme, veri dönüştürme ve entegrasyon sağlar.

• MLflow: Makine öğrenmesi denemesi, tüm ilgili makine öğrenmesi çalıştırmaları için birincil kuruluş ve denetim birimidir. Çalıştırma, model kodunun tek bir yürütülmesine karşılık gelir.

• Fabric Otomatik Günlüğe Kaydetme: Microsoft Fabric'teki Synapse Veri Bilimi, eğitim sırasında bir makine öğrenmesi modelinin parametrelerini, ölçümlerini ve öğelerini otomatik olarak günlüğe kaydetmek için gereken kod miktarını önemli ölçüde azaltan otomatik kaydetmeyi içerir.

  Otomatik kaydetme, MLflow İzleme özelliklerini genişletir. Otomatik kaydetme doğruluk, kayıp, F1 puanı ve tanımladığınız özel ölçümler gibi çeşitli ölçümleri yakalayabilir. Geliştiriciler ve veri bilimciler otomatik kaydetme özelliğini kullanarak farklı modellerin ve denemelerin performansını el ile izlemeden kolayca izleyebilir ve karşılaştırabilir.

• Copilot: Veri Bilimi ve Veri Mühendisliği not defterleri için Copilot, verileri analiz edip görselleştirmenize yardımcı olan bir yapay zeka yardımcısıdır. Lakehouse tabloları, Power BI Veri Kümeleri ve pandas/spark veri çerçeveleriyle birlikte çalışarak, not defteri içinde doğrudan yanıtlar ve kod parçacıkları sağlar. Copilot sohbet panelini ve Char-magics'i not defterinde kullanabilirsiniz ve yapay zeka not defterinize kopyalamak için yanıtlar veya kod sağlar.

Bilinen herkese açık önizleme sınırlamaları

• Her Python not defteri çalıştırılması için canlı havuz deneyimi garanti edilmez. Not defteri çalıştırılması canlı havuza ulaşmazsa, oturum başlangıç süresi 3 dakika kadar sürebilir. Python not defteri kullanımı arttıkça, akıllı havuz yöntemlerimiz talebi karşılamak için canlı havuz tahsisini kademeli olarak artırır.

• Ortam tümleştirmesi, herkese açık önizleme aracılığıyla Python not defterinde kullanılamaz.

• Oturum zaman aşımını ayarla seçeneği şimdilik kullanılamıyor.

• Copilot, Python notebook'ta yürütülemeyebilen bir Spark deyimi oluşturabilir.

• Şu anda Python not defterindeki Copilot birçok bölgede tam olarak desteklenmemekte. Dağıtım süreci hala devam ediyor. Daha fazla bölgede destek sunmaya devam ederken bizi izlemeye devam edin.

İlgili içerik

• Microsoft Fabric not defterlerini kullanma
• Microsoft Fabric not defterlerini geliştirme, yürütme ve yönetme
• Doku Fabric NotebookUtils Giriş