Fabric'de müşteri verileriyle çalışma

Microsoft Fabric OneLake , tüm kuruluş için birleşik, mantıksal bir veri gölüdür ve tüm analiz verileri için tek bir yer olacak şekilde tasarlanmıştır. Her Microsoft Fabric kiracısına otomatik olarak dahildir ve Azure Data Lake Storage (ADLS) Gen2 üzerine kuruludur. OneLake, yapılandırılmış veya yapılandırılmamış her türlü dosyayı destekler ve tüm tablosal verileri Delta Parquet biçiminde depolar. Kiracı sınırları içinde işbirliği için dağıtılmış sahiplik ile varsayılan olarak yönetilen tek bir veri gölü sağlayarak farklı iş grupları arasında işbirliğine olanak tanır. OneLake ayrıca kiracılar arası veri paylaşımını da destekler ve Microsoft Entra kiracı sınırları genelinde paylaşılan veri kümelerine idareli erişim sağlar. Kiracı içindeki çalışma alanları kuruluşun farklı bölümlerinin sahiplik ve erişim ilkelerini dağıtmasını sağlar ve OneLake'deki tüm verilere Lakehouses ve Warehouses gibi veri öğeleri aracılığıyla erişilebilir. Veri depoları açısından OneLake, veri alımı, dönüşüm, gerçek zamanlı içgörüler ve İş Zekası görselleştirmeleri için ortak depolama konumu görevi görür. Farklı Doku hizmetlerini merkezileştirir ve Doku'daki tüm iş yükleri tarafından kullanılan veri öğelerinin depolama alanıdır.

OneLake kısayolları

OneLake kısayolları, dış depolama sistemlerinde (Azure Data Lake Storage, Amazon S3 veya Google Cloud Storage gibi) veya diğer Fabric çalışma alanları ve kiracıları içinde bulunan verilere işaret eden gömülü referanslardır. Kısayollar ETL veya veri geçişi olmadan verilere sıfır kopya erişimi sağlayarak başvuruda bulunılan verilerin yerel OneLake ad alanının bir parçası olarak görünmesini sağlar. İş yükü geliştiricileri, yerel OneLake verileri için kullanılan ADLS 2. Nesil REST API'lerini kullanarak kısayol başvurulu verileri okuyabilir.

Microsoft Fabric Eventhouse, özellikle gerçek zamanlı analiz senaryolarında büyük hacimli verileri işlemek ve analiz etmek için ölçeklenebilir bir çözüm sağlar. Eventhouse'lar gerçek zamanlı veri akışlarını verimli bir şekilde yöneterek kuruluşların neredeyse gerçek zamanlı verileri almalarına, işlemelerine ve analiz etmelerine olanak sağlar. Bunlar, zamanında içgörü gerektiren senaryolar için idealdir ve yarı yapılandırılmış ve serbest metin analizi için tercih edilen altyapıdır. Eventhouse, aynı anda birden çok veritabanını yöneterek performansı ve maliyeti iyileştirerek projeler arasında paylaşılabilen bir veritabanı çalışma alanıdır. Eventhouses, veri alımı süresine göre otomatik olarak dizin oluşturma ve bölümleme gibi birden çok kaynak ve biçimdeki verileri destekler.

Microsoft Fabric'te verileri okuma ve yazma

Microsoft Fabric, müşteri verilerinin depolanmasını ve yönetilmesini sağlayan bir platformdur. Doku'da verileri okumak ve yazmak için Doku REST API'lerini ve uygun kimlik doğrulama yöntemlerini kullanmanız gerekir.

API izinleri

Müşteri verilerine erişmenin bazı yöntemleri, Azure Depolama veya Azure SQL Veritabanı gibi Doku dışındaki diğer hizmetlerin kullanılmasını gerektirir. Örneğin, Microsoft Fabric Geliştirici seti örneğinde Azure Depolama user_impersonation API izni Lakehouses'tan verilere erişmek için Power BI hizmeti Lakehouse.Read.All izniyle birlikte kullanılır.

Ambar öğelerindeki tablo verilerine erişmek için Azure SQL Veritabanı kullanabilirsiniz. Bu durumda, uygulamanızı kullanıcı adına veritabanını sorgulaması için Azure SQL Veritabanı user_impersonation ile ve Fabric REST API Get Warehouse uç noktasını sorgulaması için Power BI hizmeti Warehouse.Read.All ile yapılandırın.

Microsoft Entra ID uygulamanızı geliştirme gereksinimlerinize göre yapılandırdığınızdan emin olun.

Kiracılar arası veri paylaşımı senaryolarında, tüketen uygulamanın kaynak kiracının Microsoft Entra kimliğinde kimlik doğrulaması yapması gerekir. Uygulamanın kaydının kaynak kiracı için uygun temsilci kapsamlarını içerdiğini ve veri sahibinin dış kimlik için OneLake izinleri verdiğini onaylayın.

Kimlik Doğrulaması

Doku REST API'lerini veya Azure Depolama ve Azure SQL Veritabanı gibi diğer hizmetleri kullanmaya başlamadan önce, kullanıcı adına belirteç kullanarak kimlik doğrulaması yapmanız gerekir. Bu jeton, bir jeton değişim işlemi aracılığıyla elde edilebilir.

Fabric İş Yükü Geliştirme Seti SDK'sı, iş yükü ön ucunda erişim belirteci almak için bir yöntem sağlar. Örneğin, bkz . Örnek İş Yükü Denetleyicisi.

Bu istemci belirteci iş yükü arka ucuna geçirilmeli ve OneLake gibi ihtiyacınız olan kaynaklara erişmek için gerekli kapsamlara sahip bir belirteç için adına akış kullanılarak değiştirilmelidir. Örneğin, bir Lakehouse'a erişmek ve buradan okumak için kullanıcının Azure Depolama user_impersonation iznini kullanarak uygulamaya kendi adına API çağrıları yapma yetkisi vermesi gerekir. Ardından, Azure Depolama'yı kullanmak için arka uçta erişim belirtecinin temsilci kapsamıyla https://storage.azure.com/user_impersonation alınması gerekir.

Müşteri verilerinize erişmek için SQL kullanmaya karar verirseniz, erişim belirteci Azure SQL Veritabanı ve Microsoft.Data.SqlClient ad alanını kullanacak kapsamla https://database.windows.net//user_impersonation alınmalıdır. Erişim belirteci, SQLConnection sınıfı tarafından doğrulanabilmesi için user_impersonation'den önce çift eğik çizgi ile yazıldığı gibi kullanılmalıdır. Belirteç kimlik doğrulamasının diğer örnekleri için bkz. Microsoft Fabric Geliştirici seti örneği.

Belirteç alma hakkında daha fazla bilgi Microsoft Fabric İş Yükü Geliştirme REST API belgelerinde bulunabilir.

Meta verileri okuma

Doku REST API'leri, öğe özelliklerine erişmek için bir yol sağlar. Örneğin Get Lakehouse API'sini sorgulamak, OneLake yolları ve SQL bağlantı dizesi gibi kullanışlı özellikler de dahil olmak üzere belirli bir Lakehouse için meta veriler sağlar. Başka bir yararlı uç nokta, aşağıdaki bilgileri döndüren Ambarı Al API'dir:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Burada "ConnectionInfo" özelliği, Depo SQL Sunucusunun Tam Nitelikli Etki Alanı Adıdır (FQDN). Bu FQDN ile bir SQL bağlantısı kurabilirsiniz. Daha fazla bilgi için bkz: Microsoft Fabric'te Veri Ambarı Bağlantısı. Uygulama örnekleri için bkz . Microsoft Fabric İş Yükü Geliştirme Seti.

Verileri okuma

Kimlik doğrulaması yaptıktan sonra, farklı veri türlerini okumak için Azure Data Lake Storage REST API'lerini kullanarak OneLake'e bağlanabilirsiniz. Tabloları okumak için Delta Lake protokolünden yararlanmanızı öneririz. OneLake kısayolları aracılığıyla tabloları ve dosyaları okumak için de aynı API'leri kullanabilirsiniz; API çağrıları, kısayol dış depolamaya veya başka bir kiracıdan paylaşılan verilere başvuruda bulunsa da yerel OneLake verilerini okumakla aynı şekilde davranır.

Alternatif olarak, Azure SQL Veritabanı kullanmayı seçerseniz, ambardaki verileri okumak için aşağıdaki yordamı uygulayabilirsiniz.

Yetkilendirme bağlamı oluşturun. Yetkilendirme bağlamı oluşturma örneği için bkz . AuthenticateDataPlaneCall yöntemi.
Ön uçtan geçirilen taşıyıcı belirteci kullanarak kullanıcı adına Warehouse.Read.All kapsamıyla bir belirteç alın.
Ambarı Al API'sini çağırmak için Doku belirtecini kullanın. Sunucunun ilk kataloğu olan Ambarın Bağlantı bilgilerine ve görünen adına erişim sağlamak gerekir.
Kullanıcı adına SQL kapsamlarına sahip bir belirteç alın. SQL bağlantısını başarıyla kurmak için kapsamını https://database.windows.net//user_impersonationkullanın.

SQL bağlantısını açmak için SQL belirtecini ve bağlantı bilgilerini kullanın:

private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

Bu bağlantı artık Depo'dan verilere erişmek için sorgulanarak kullanılabilir. Microsoft.Data.SqlClient ad alanını kullanma hakkında daha fazla bilgi için bkz. Microsoft.Data.SqlClient Ad Alanı Belgeleri.

Eventhouse API'si

Kimlik doğrulaması yaptıktan sonra Eventhouse oluşturma, Eventhouse'u silme, Eventhouse'ların listesini alma gibi eylemler gerçekleştirebilirsiniz. Bunun bir yolu portalı kullanmaktır - eventhouse'a genel bakış .

Diğer yol Eventhouse Rest API'sini kullanmaktır - Eventhouse Rest API'sine genel bakış.

Yetki vermek.
Ön uçtan geçirilen taşıyıcı belirteci kullanarak kullanıcı adına FabricEventhouse.Read.All kapsamı ile bir belirteç alın.
Get Eventhouse APIçağırmak için Fabric belirtecini kullanın.
Artık Eventhouse Veritabanları listesiyle, aşağıdaki Verileri sorgulama bölümünde açıklandığı gibi istediğiniz veritabanını sorgulayabilirsiniz.

Sorgu verileri

Eventhouse KQL Veritabanından veri sorgulamak için şu adımları izleyin: İlk olarak, uygun yöntemi kullanarak kimlik doğrulaması yapın. Ardından, veritabanlarının listesini almak için Eventhouse'a bağlanın. Ardından, erişmek istediğiniz veritabanını sorgulayın. .show tablesgibi sorgu komutlarını ve <TableName> | take 10gibi veri sorgularını ayırt etmek önemlidir. KQL REST API'sine ilişkin tüm belgeler için KQL REST API belgelerinebakın.

Diğer yol Eventhouse Rest API'sini kullanmaktır - Eventhouse Rest API'sine genel bakış.

Yetki vermek.
Ön uçtan geçirilen taşıyıcı belirteci kullanarak kullanıcı adına KQLDatabase.ReadWrite.All kapsamı ile bir belirteç alın.
KQL Rest APIçağırmak için Kql belirtecini kullanın.

Veri yazımı

Belirteci kullanarak verileri okumaya ek olarak, Delta Lake protokolü tarafından açıklandığı gibi tablolara veri yazmak için ADLS API'lerini de kullanabilirsiniz.

Dosya ve dizin oluşturmak için API'leri de kullanabilirsiniz.

Alternatif olarak, platforma veri yazmak için diğer Doku iş yüklerini kullanabilirsiniz. Örneğin, yaygın dosya türlerini iyileştirilmiş bir Delta tablosuna verimli bir şekilde yüklemek için Fabric'in Lakehouse iş yükü API'sini kullanabilirsiniz. Bu, Tablolar - Tablo YÜKLEME API'sinin uç noktasına bir POST isteği gönderilerek yapılır.

SQL bağlantısı, tablolara veri ekleyen komutları yürütmek için de kullanılabilir.

OneLake tümleştirmesi

İş yüklerinizde OneLake tümleştirmesini kullanmayı kabul edebilirsiniz. Bunu yaparsanız, iş yükünüz için yeni bir öğe oluşturulduğunda, Doku yeni öğe için otomatik olarak klasörler oluşturur.

Öğenizin bildirim XML'sinde CreateOneLakeFoldersOnArtifactCreation özniteliğini true olarak ayarlayarak bunu kabul ettiğinizi belirtmeniz gerekir. Örneğin:

<ItemManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">  
  <Item TypeName="Org.WorkloadSample.SampleWorkloadItem" Category="Data" CreateOneLakeFoldersOnArtifactCreation="true">
    <Workload WorkloadName="Org.WorkloadSample" />
    ...
  </Item>
</ItemManifestConfiguration>

Uyarı

SchemaVersion 1.101.0 (veya sonraki desteklenen sürümler) olarak ayarlanmalıdır.

Aynı SchemaVersion WorkloadManifest.xml içinde ayarlanmalıdır.

<WorkloadManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">
  <Workload WorkloadName="Org.WorkloadSample" HostingType="Remote">
  ...
  </Workload>
</WorkloadManifestConfiguration>

Yeni bir öğe oluşturulduğunda OneLake'te aşağıdaki kök klasörler oluşturulur:

<WorkspaceID>/<ItemID>/Files

<WorkspaceID>/<ItemID>/Tables

Bunların altında ek klasörler oluşturabilir ve verileri herhangi bir biçimde (klasör altında Files ) veya parquet biçiminde (klasör altında Tables ) depolamak için kullanabilirsiniz. OneLake depolama alanından okumak/yazmak için yukarıdaki yönergeleri izleyin.