Notebook ortamında Python deneyimini kullanın

Python not defteri, Fabric notebook üzerine kurulmuş yeni bir deneyimdir. Veri analizi, görselleştirme ve makine öğrenmesi için tasarlanmış çok yönlü ve etkileşimli bir araçtır. Python kodu yazmak ve yürütmek için sorunsuz bir geliştirme deneyimi sağlar. Bu özellik, özellikle büyük veri ve dağıtılmış bilgi işlem gerektirmeyen keşif görevleri için veri bilimcileri, analistler ve BI geliştiricileri için önemli bir araç haline getirir.

Önemli

Bu özellik önizleme aşamasındadır.

Python not defteriyle şunları alabilirsiniz:

• Birden çok yerleşik Python çekirdeği: Python not defterleri, Python çekirdeğinin iki sürümü (python 3.10 ve 3.11) varsayılan olarak kullanılabilir ve iPyWidget, sihirli komutlar gibi desteklenen yerel ipython özellikleriyle Spark içermeyen saf bir Python kodlama ortamı sunar.

• Uygun maliyetli: Yeni Python not defteri, varsayılan olarak 2vCores/16 GB belleğe sahip tek düğümlü bir kümede çalıştırılarak maliyet tasarrufu avantajları sunar. Bu kurulum, daha küçük veri boyutuna sahip veri araştırma projeleri için verimli kaynak kullanımı sağlar.

• Lakehouse & Kaynakları yerel olarak kullanılabilir: Fabric Lakehouse'ın tüm işlevselliği, Not Defteri'nin yerleşik Kaynakları ile birlikte Python not defteri ortamında kullanılabilir. Bu özellik, kullanıcıların verileri python not defterine kolayca getirmesine olanak tanır, kod parçacığını almak için & sürüklemeyi deneyin.

• Programlamayı T-SQLile karıştırın: Python not defteri, explorer'da Veri Ambarı ve SQL uç noktalarıyla etkileşim kurmanın kolay bir yolunu sunar. Notebookutils veri bağlayıcısını kullanarak T-SQL betiklerini python bağlamında kolayca yürütebilirsiniz.

• Popüler Veri Analizi kitaplıkları için destek: Python not defterleri DuckDB, Polars ve Scikit-learn gibi önceden yüklenmiş kitaplıklarla birlikte gelir ve veri işleme, analiz ve makine öğrenmesi için kapsamlı bir araç seti sağlar.

• Gelişmiş intellisense: Python notebook, diğer Fabric özelleştirilmiş dil hizmetiyle birlikte Pylance'ı intellisense motoru olarak benimseyerek, not defteri geliştiricilerine en son teknoloji kodlama deneyimi sunmayı amaçlar.

• NotebookUtils & Semantic link: Güçlü API araç setleri, kod odaklı bir deneyimle Fabric ve Power BI özelliklerini kolayca kullanmanızı sağlar.

• Zengin Görselleştirme Özellikleri: Popüler zengin veri çerçevesi önizlemesi 'Tablo' işlevi ve 'Grafik' işlevi dışında Matplotlib, Seaborn ve Plotly gibi popüler görselleştirme kitaplıklarını da destekliyoruz. PowerBIClient, kullanıcıların veri desenlerini ve içgörülerini daha iyi anlamalarına yardımcı olmak için bu kitaplıkları da destekler.

• Doku Not Defteri için Ortak Özellikler: Düzenleme özellikleri, Otomatik Kaydetme, işbirliği, paylaşım ve izin yönetimi, Git tümleştirmesi, içeri/dışarı aktarma gibi Tüm Not Defteri düzeyindeki özellikler Python not defteri için doğal olarak geçerlidir.

• Tam yığın Veri Bilimi Özellikleri: Gelişmiş düşük kodlu araç seti Data Wrangler, makine öğrenmesi çerçevesi MLFlow ve güçlü Copilot, Python not defterinde kullanılabilir.

Python Not Defteri'ne erişme

Fabric Not Defteri'ni açtıktan sonra, Giriş sekmesindeki dil açılır menüsünden Python seçeneğini seçebilir ve tüm defter yapısını Python'a dönüştürebilirsiniz.

Yaygın özelliklerin çoğu not defteri düzeyinde desteklenir. Ayrıntılı kullanımı öğrenmek için Microsoft Fabric not defterlerini kullanma ve Microsoft Fabric not defterlerini geliştirme, yürütme ve yönetme kılavuzlarına başvurabilirsiniz. Burada Python senaryolarına özgü bazı önemli özellikleri listeleyeceğiz.

Python not defterlerini çalıştırma

Python not defteri birden çok iş yürütme yolunu destekler:

• Etkileşimli çalıştırma: Python not defterini yerel Jupyter not defteri gibi etkileşimli olarak çalıştırabilirsiniz.
• zamanlama çalıştırma: Python not defterini toplu iş olarak çalıştırabilmeniz için not defteri ayarları sayfasındaki hafif ağırlıklı zamanlayıcı deneyimini kullanabilirsiniz.
• İşlem hattını çalıştırma: Python not defterlerini veri işlem hattında not defteri etkinlikleri olarak koordine edebilirsiniz. İş tamamlandıktan sonra anlık görüntü oluşturulacak.
• Referans çalıştırma: notebookutils.notebook.run() veya notebookutils.notebook.runMultiple() kullanarak başka bir Python not defterinde bir Python not defterini toplu iş olarak çalıştırmak için başvurabilirsiniz. Referans çalışması tamamlandıktan sonra anlık görüntü oluşturulur.
• Genel API çalıştırma: Python not defterinizin not defteri çalıştırma genel APIile çalışmasını zamanlayabilirsiniz; genel API yükünün not defteri meta verilerindeki dil ve çekirdek özelliklerinin düzgün ayarlandığından emin olun.

Python not defteri işi çalıştırma ayrıntılarını şerit sekmesinden izleyebilir Çalıştır ->tüm çalıştırmaları görüntüle.

Veri etkileşimi

Python not defterindeki Lakehouse, Ambarlar, SQL uç noktaları ve yerleşik kaynaklar klasörleriyle etkileşim kurabilirsiniz.

Not olarak

Python Notebook çalışma zamanı, Delta Lake verilerinin hem okunmasını hem de yazılmasını desteklemek için delta-rs ve duckdb kitaplıkları önceden yüklenmiş olarak gelir. Ancak, bazı Delta Lake özelliklerinin şu anda tam olarak desteklenmeyebileceğini lütfen unutmayın. Daha fazla ayrıntı ve en son güncelleştirmeler için lütfen resmi delta-rs ve duckdb web sitelerine bakın.

Lakehouse etkileşimi

Bir Lakehouse'u varsayılan olarak ayarlayabilir veya bunları not defterlerinde keşfetmek ve kullanmak için birden çok Lakehouse ekleyebilirsiniz.

delta tablosu gibi veri nesnelerini okumayı bilmiyorsanız, dosyayı ve delta tablosunu not defteri tuvaline sürükleyip bırakmayı deneyin veya nesnenin açılan menüsündeki Veri yükleme kullanın. Not defteri, kod hücresine otomatik olarak kod parçacığı ekler ve hedef veri nesnesini okumak için kod oluşturur.

Not olarak

Büyük miktarda veri yüklerken OOM ile karşılaşırsanız pandas yerine DuckDB, Polars veya PyArrow veri çerçevesini kullanmayı deneyin.

"Lakehouse yazma işlemini Kod parçacığını göz atın ->Delta tablosuna veri yazmabulabilirsiniz."

T-SQL ile depo etkileşimi ve programlamanın birleştirilmesi

Not Defteri'nin Ambar gezgininden Veri Ambarları veya SQL uç noktaları ekleyebilirsiniz. Benzer şekilde, tabloları not defteri tuvaline sürükleyip bırakabilir veya tablo açılan menüsündeki kısayol işlemlerini kullanabilirsiniz. Not defteri sizin için otomatik olarak kod parçacığı oluşturur. notebookutils.data yardımcı programlarını kullanarak Ambarlar ile bağlantı kurabilir ve Python bağlamında T-SQL deyimini kullanarak verileri sorgulayabilirsiniz.

Not olarak

SQL uç noktaları burada salt okunur.

Dijital not defteri kaynakları klasörü

Not Defteri kaynakları yerleşik kaynaklar klasörü Python Not Defteri'nde yerel olarak kullanılabilir. Yerel dosya sisteminizle çalışıyor gibi Python kodunu kullanarak yerleşik kaynaklar klasöründeki dosyalarla kolayca etkileşim kurabilirsiniz. Şu anda Ortam kaynak klasörü desteklenmiyor.

Çekirdek işlemleri

Python not defteri şu anda iki yerleşik çekirdeği destekler; bunlar Python 3.10 ve Python 3.11olup, varsayılan olarak seçilen çekirdek Python 3.11'tir. bunlar arasında kolayca geçiş yapabilirsiniz.

Şeridin Ana Sayfa sekmesinde çekirdeği duraklatabilir, yeniden başlatabilir veya değiştirebilirsiniz. Python not defterlerinde çekirdeği kesintiye uğratmak, Spark not defterindeki hücreyi iptal etmekle aynıdır.

çekirdek işlemlerini gösteren ekran görüntüsü

Anormal çekirdek çıkışı, kod yürütmenin kesilmesine ve değişkenlerin kaybolmasına neden olur, ancak not defteri oturumunu durdurmaz.

Çekirdeğin ölmesine yol açabilecek komutlar vardır. Örneğin, quit()çıkış yap().

Kitaplık yönetimi

Satır içi yüklemeler için %pip ve %conda komutlarını kullanabilirsiniz; komutlar hem ortak kitaplıkları hem de özelleştirilmiş kitaplıkları destekler.

Özelleştirilmiş kitaplıklar için lib dosyalarını Yerleşik kaynaklar klasörüne yükleyebilirsiniz. .whl, .jar, .dll, .pyvb. birden çok kitaplık türünü destekliyoruz, dosyaya sürükleyip&bırakmayı deneyin ve kod parçası otomatik olarak oluşturulur.

Güncelleştirilmiş paketleri kullanmak için çekirdeği yeniden başlatmanız gerekebilir.

Benzer komutları daha net anlamak ve kullanmak için lütfen aşağıdaki tabloya bakın.

Komut/Söz Dizimi	Ana amaç	Jupyter Notebook'ta nasıl çalışır?	Tipik kullanım örneği	Notlar
%pip install package	Python paketlerini yükleme	Not defterinin Python çekirdeğinde pip çalıştırır	Paketleri yüklemenin önerilen yolu	Python Not Defteri'nde, !pip ile aynı değil; çekirdeği otomatik olarak yeniden başlamaz
!pip install package	Kabuk aracılığıyla Python paketlerini yükleme	Pip'i kabuk komutu olarak çalıştırır	Paketleri yüklemenin alternatif yolu	Python Not Defteri'nde, ile %pipaynı; çekirdeği otomatik olarak yeniden başlatmaz
import sys; sys.exit(0)	Dizüstü bilgisayar çekirdeğini yeniden başlat	Çekirdeği hemen yeniden başlatır	Program aracılığıyla çekirdeği yeniden başlatma	Tüm değişkenleri ve durumları temizler; doğrudan kullanılması önerilmez
notebookutils.session.restartPython()	Notebook çekirdeğini yeniden başlat	Dahili aramalar sys.exit(0)	Çekirdeği yeniden başlatmanın önerilen yolu	Resmi API, doğrudan sys.exit(0) kullanmaktan daha güvenli ve uyumlu

Not olarak

• Python Not Defteri'nde %pip ve !pipaynı davranışa sahiptir: her ikisi de paketleri geçerli çekirdeğin ortamına yükler ve hiçbiri yüklemeden sonra çekirdeği otomatik olarak yeniden başlatmaz.
• Çekirdeği yeniden başlatmanız gerekiyorsa (örneğin, belirli paketleri yükledikten sonra), yerine import sys; sys.exit(0)kullanmanız notebookutils.session.restartPython()önerilir.
  • notebookutils.session.restartPython(), sys.exit(0)'i sarmalayan resmi bir API'dir ve not defteri ortamlarında daha güvenli ve daha uyumludur.
• Gerekli olmadıkça doğrudan kullanılması sys.exit(0)önerilmez.

Oturum yapılandırma sihirli komutu

Not defterindeki Spark oturum yapılandırması kişiselleştirmeye benzer şekilde Python not defterinde de %%configure kullanabilirsiniz. Python not defteri, işlem düğümü boyutunu, bağlama noktalarını ve not defteri oturumunun varsayılan lakehouse'unu özelleştirmeyi destekler. Bunlar hem etkileşimli not defteri hem de işlem hattı not defteri etkinliklerinde kullanılabilir. Not defterinizin başında %%configure komutunu kullanmanızı öneririz veya ayarların etkili olması için not defteri oturumunu yeniden başlatmanız gerekir.

Python defterinde desteklenen özellikler şunlardır: %%configure

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

İşlem kaynakları güncelleştirmesini not defteri durum çubuğunda görüntüleyebilir ve işlem düğümünün CPU ve Bellek kullanımını gerçek zamanlı olarak izleyebilirsiniz.

NotebookUtils

Not Defteri Yardımcı Programları (NotebookUtils), Doku Not Defteri'nde yaygın görevleri kolayca gerçekleştirmenize yardımcı olan yerleşik bir pakettir. Python çalışma ortamına önceden kurulu olarak yüklenmiştir. NotebookUtils'i dosya sistemleriyle çalışmak, ortam değişkenlerini almak, not defterlerini birbirine zincirleme, dış depolamaya erişmek ve gizli dizilerle çalışmak için kullanabilirsiniz.

kullanılabilir API'leri listelemek ve yöntemlerle ilgili yardım almak veyaNotebookUtils belgesine başvurmak için kullanabilirsiniz.

Veri yardımcı programları

Not olarak

Şu anda özellik önizleme aşamasındadır.

Sağlanan veri kaynağıyla bağlantı kurmak ve ardından T-SQL deyimini kullanarak verileri okuyup sorgulamak için notebookutils.data yardımcı programlarını kullanabilirsiniz.

Kullanılabilir yöntemlere genel bir bakış elde etmek için aşağıdaki komutu çalıştırın:

notebookutils.data.help()

Çıktı:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Lakehouse'dan veri sorgulama

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Depodan veri sorgula

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Not olarak

NotebookUtils'teki Veri yardımcı programları şimdilik yalnızca Python not defterinde kullanılabilir.

Kod parçacıklarına göz atma

Yararlı python kod parçacıklarını Düzenle sekmesinde bulabilirsiniz->Kod parçacığına gözat, yeni Python örnekleri kullanıma sunulmuştur. Not defterini keşfetmeye başlamak için Python kod parçacığından bilgi edinebilirsiniz.

python kod parçacıklarına nerede göz atabileceğinizi gösteren ekran görüntüsü

Anlamsal bağlantı

Anlamsal bağlantı, anlam modelleri ile Microsoft Fabric'teki Synapse Veri Bilimi arasında bağlantı kurmanızı sağlayan bir özelliktir. Python not defterinde yerel olarak desteklenir. BI mühendisleri ve Power BI geliştiricileri Semantik bağlantı bağlamayı kullanabilir ve anlam modelini kolayca yönetebilir. Anlam bağlantısı hakkında daha fazla bilgi edinmek için genel belge okuyun.

Görsel -leştirme

Kitaplıklarla grafik çizmeye ek olarak, yerleşik görselleştirme işlevi, DataFrame'leri zengin biçimli veri görünümlerine dönüştürmenizi sağlar. Zengin veri çerçevesi tablo görünümünü ve grafik görünümünü oluşturmak için veri çerçevelerinde display() işlevini kullanabilirsiniz.

Not olarak

Grafik yapılandırmaları Python not defterinde kalıcı hale gelir; yani kod hücresi yeniden çalıştırıldıktan sonra hedef veri çerçevesi şeması değişmezse, kaydedilen grafikler hala kalıcı hale gelir.

Kod IntelliSense

Python not defteri ayrıca dil sunucusu olarak Pylance kullanır. Daha fazla bilgi için bkz. Pylance ile Python Geliştirmeyi geliştirme.

Veri bilimi özellikleri

Microsoft Fabric'deki Veri Bilimi belgelerini ziyaret ederek Fabric'te veri bilimi ve yapay zeka deneyimi hakkında daha fazla bilgi edinin. Burada Python not defterinde yerel olarak desteklenen birkaç önemli veri bilimi özelliğini listeleyeceğiz.

• Data Wrangler: Data Wrangler, keşif verileri analizi için çevreleyici bir arabirim sağlayan not defteri tabanlı bir araçtır. Bu özellik, kılavuz benzeri bir veri görüntüsünü dinamik özet istatistikleri, yerleşik görselleştirmeler ve yaygın veri temizleme işlemleri kitaplığıyla birleştirir. Veri Wrangler ile veri hazırlama sürecini hızlandıran veri temizleme, veri dönüştürme ve entegrasyon sağlar.

• MLflow: Makine öğrenmesi denemesi, tüm ilgili makine öğrenmesi çalıştırmaları için birincil kuruluş ve denetim birimidir. Çalıştırma, model kodunun tek bir yürütülmesine karşılık gelir.

• Fabric Otomatik Günlüğe Kaydetme: Microsoft Fabric'teki Synapse Veri Bilimi, eğitim sırasında bir makine öğrenmesi modelinin parametrelerini, ölçümlerini ve öğelerini otomatik olarak günlüğe kaydetmek için gereken kod miktarını önemli ölçüde azaltan otomatik kaydetmeyi içerir.

  Otomatik kaydetme, MLflow İzleme özelliklerini genişletir. Otomatik kaydetme doğruluk, kayıp, F1 puanı ve tanımladığınız özel ölçümler gibi çeşitli ölçümleri yakalayabilir. Geliştiriciler ve veri bilimciler otomatik kaydetme özelliğini kullanarak farklı modellerin ve denemelerin performansını el ile izlemeden kolayca izleyebilir ve karşılaştırabilir.

• Copilot: Veri Bilimi ve Veri Mühendisliği not defterleri için Copilot, verileri analiz edip görselleştirmenize yardımcı olan bir yapay zeka yardımcısıdır. Lakehouse tabloları, Power BI Veri Kümeleri ve pandas/spark veri çerçeveleriyle birlikte çalışarak, not defteri içinde doğrudan yanıtlar ve kod parçacıkları sağlar. Copilot sohbet panelini ve Char-magics'i not defterinde kullanabilirsiniz ve yapay zeka not defterinize kopyalamak için yanıtlar veya kod sağlar.

Bilinen herkese açık önizleme sınırlamaları

• Her Python not defteri çalıştırılması için canlı havuz deneyimi garanti edilmez. Not defteri çalıştırılması canlı havuza ulaşmazsa, oturum başlangıç süresi 3 dakika kadar sürebilir. Python not defteri kullanımı arttıkça, akıllı havuz yöntemlerimiz talebi karşılamak için canlı havuz tahsisini kademeli olarak artırır.

• Ortam tümleştirmesi, herkese açık önizleme aracılığıyla Python not defterinde kullanılamaz.

• Oturum zaman aşımını ayarla seçeneği şimdilik kullanılamıyor.

• Copilot, Python notebook'ta yürütülemeyebilen bir Spark deyimi oluşturabilir.

• Şu anda Python not defterindeki Copilot birçok bölgede tam olarak desteklenmemekte. Dağıtım süreci hala devam ediyor. Daha fazla bölgede destek sunmaya devam ederken bizi izlemeye devam edin.

İlgili içerik

• Microsoft Fabric not defterlerini kullanma
• Microsoft Fabric not defterlerini geliştirme, yürütme ve yönetme
• Doku Fabric NotebookUtils Giriş