Práce s daty zákazníků v Fabric

Microsoft Fabric OneLake je jednotné logické datové jezero pro celou organizaci navržené jako jediné místo pro všechna analytická data. Dodává se automaticky s každým tenantem Microsoft Fabric a je postaven na Azure Data Lake Storage (ADLS) Gen2. OneLake podporuje jakýkoli typ souboru, strukturované nebo nestrukturované a ukládá všechna tabulková data ve formátu Delta Parquet. Umožňuje spolupráci mezi různými obchodními skupinami tím, že poskytuje jedno datové jezero, které se ve výchozím nastavení řídí distribuovaným vlastnictvím pro spolupráci v rámci hranic tenanta. Pracovní prostory v rámci tenanta umožňují různým částem organizace distribuovat zásady vlastnictví a přístupu, přičemž ke všem datům v OneLake se dá přistupovat prostřednictvím datových položek, jako jsou Lakehouses a Warehouses. Z hlediska úložišť dat slouží OneLake jako společné umístění úložiště pro příjem dat, transformaci, přehledy v reálném čase a vizualizace Business Intelligence. Centralizuje různé služby Fabric a je úložištěm datových položek používaných všemi pracovními úlohami v rámci Fabric.

Microsoft Fabric Eventhouse poskytuje škálovatelné řešení pro zpracování a analýzu velkých objemů dat, zejména ve scénářích analýzy v reálném čase. Eventhouses efektivně spravuje datové proudy v reálném čase, což organizacím umožňuje ingestovat, zpracovávat a analyzovat data téměř v reálném čase. Jsou ideální pro scénáře vyžadující včasné přehledy a jsou upřednostňovaným modulem pro částečně strukturovanou a bezplatnou analýzu textu. Eventhouse je pracovní prostor pro databáze, které lze sdílet napříč projekty, čímž se optimalizuje výkon a náklady správou více databází najednou. Eventhouses podporuje data z více zdrojů a formátů, automaticky indexuje a rozděluje data na základě času příjmu dat.

Čtení a zápis dat v Microsoft Fabric

Microsoft Fabric je platforma, která umožňuje ukládání a správu zákaznických dat. Abyste mohli číst a zapisovat data ve Fabric, musíte použít Fabric REST API rozhraní a příslušné metody ověřování.

Oprávnění rozhraní API

Některé metody přístupu k zákaznickým datům vyžadují použití jiných služeb mimo prostředky infrastruktury, jako je Azure Storage nebo Azure SQL Database. Například v ukázce sady Microsoft Fabric Developer Kit se oprávnění rozhraní API azure Storage user_impersonation používá ve spojení s oprávněním služba Power BI Lakehouse.Read.All pro přístup k datům z Lakehouses.

Azure SQL Database můžete použít k přístupu k tabulkovým datům z položek warehouse. V tomto případě nakonfigurujte aplikaci se službou Azure SQL Database user_impersonation tak, aby dotazovala databázi jménem uživatele, a službu Power BI Warehouse.Read.All pro dotazování na koncový bod Get Warehouse rozhraní REST API Fabric.

Ujistěte se, že aplikaci Microsoft Entra ID nakonfigurujete podle vašich potřeb vývoje.

Ověřování

Než začnete používat rozhraní Fabric REST API nebo jiné služby, jako je Azure Storage a Azure SQL Database, musíte se jménem uživatele ověřit pomocí tokenu. Tento token lze získat prostřednictvím procesu výměny tokenů.

Sada SDK Fabric Workload Development Kit poskytuje metodu pro získání přístupového tokenu ve frontendu úlohy. Podívejte se například na ukázkový kontroler úloh.

Tento token klienta se musí předat backendové části úlohy a vyměnit ho pomocí toku delegovaného užívání pro token s potřebnými oprávněními pro přístup k potřebným prostředkům, jako je OneLake. Například pro přístup a čtení z Lakehouse musí uživatel autorizovat aplikaci k volání rozhraní API svým jménem pomocí oprávnění Azure Storage user_impersonation . Pak je v backendu nutné získat přístupový token s delegovaným oborem https://storage.azure.com/user_impersonation, aby bylo možné používat Azure Storage.

Pokud se rozhodnete použít SQL pro přístup k datům zákazníka, přístupový token musí být získán s oborem https://database.windows.net//user_impersonation, aby bylo možné používat Azure SQL Database a obor názvů Microsoft.Data.SqlClient. Přístupový token musí být použit, jak je zapsán, s dvěma lomítky před user_impersonation, aby mohl být ověřen pomocí třídy SQLConnection. Další příklady ověřování tokenů najdete v ukázce sady Microsoft Fabric Developer Kit.

Další podrobnosti o tom, jak získat token, najdete v dokumentaci k rozhraní REST API pro vývoj úloh Microsoft Fabric.

Čtení metadat

Rozhraní Fabric REST API poskytují způsob, jak získat přístup k vlastnostem položek. Například dotazování rozhraní Get Lakehouse API poskytuje metadata pro určitý Lakehouse, včetně užitečných vlastností, jako jsou cesty ve OneLake a připojovací řetězec ke SQL. Dalším užitečným koncovým bodem je rozhraní Get Warehouse API, které vrací následující informace:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

V této části je vlastnost ConnectionInfo plně kvalifikovaným názvem domény (FQDN) serveru SQL Warehouse. Pomocí tohoto plně kvalifikovaného názvu domény můžete navázat připojení k SQL. Další informace najdete v tématu Připojení k Skladování Dat v Microsoft Fabric. Příklady implementace najdete v sadě Microsoft Fabric Workload Development Kit.

Čtení dat

Po ověření se můžete k OneLake připojit pomocí rozhraní REST API služby Azure Data Lake Storage ke čtení různých typů dat. Ke čtení tabulek doporučujeme použít protokol Delta Lake.

Případně pokud se rozhodnete využít Azure SQL Database, můžete implementovat následující postup pro čtení dat ze skladu.

Vytvořte autorizační kontext. Příklad vytvoření kontextu autorizace, viz AuthenticateDataPlaneCall metoda.
Získejte token s rozsahem Warehouse.Read.All jménem uživatele pomocí nosného tokenu předaného z front-endu.
K volání Get Warehouse API použijte token Fabric. Je třeba mít přístup k informacím o připojení a k zobrazovanému názvu skladu, který je počátečním katalogem serveru.
Získejte token s oprávněními SQL jménem uživatele. K úspěšnému navázání připojení SQL použijte obor https://database.windows.net//user_impersonation.

K otevření připojení SQL použijte token SQL a informace o připojení:

private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

Toto připojení lze nyní dotazovat pro přístup k datům z databázového skladu. Další informace o využití oboru názvů Microsoft.Data.SqlClient naleznete v dokumentaci oboru názvů Microsoft.Data.SqlClient.

Eventhouse API

Po ověření můžete provádět akce, jako je vytvoření Eventhouse, odstranění Eventhouse, získání seznamu Eventhouse atd. Jeden ze způsobů, jak to udělat, je použití portálu – přehled Eventhouse.

Druhým způsobem je použití rozhraní Eventhouse Rest API – přehled rozhraní Rest API Eventhouse Rest API.

Autorizovat.
Získejte token se sférami FabricEventhouse.Read.All jménem uživatele pomocí nosného tokenu předávaného z front-endu.
Pomocí tokenu Fabric volejte rozhraní API Get Eventhouse.
Teď se seznamem databází eventhouse můžete dotazovat konkrétní požadovanou databázi, jak je popsáno v části Dotazování na data níže.

Dotazování dat

Pokud chcete dotazovat data z databáze Eventhouse KQL, postupujte takto: Nejprve se ověřte pomocí příslušné metody. Dále se připojte k eventhouse a načtěte seznam databází. Pak zadejte dotaz na konkrétní databázi, ke které chcete získat přístup. Je důležité rozlišovat mezi příkazy dotazu, jako jsou .show tables, a datovými dotazy, jako je <TableName> | take 10. Úplnou dokumentaci k rozhraní REST API KQL najdete v dokumentaci k rozhraní REST API KQL.

Druhým způsobem je použití rozhraní Eventhouse Rest API – přehled rozhraní Rest API Eventhouse Rest API.

Autorizovat.
Získejte token s oborem KQLDatabase.ReadWrite.All jménem uživatele pomocí bearer tokenu předaného z front-endu.
Pomocí tokenu Kql vyvolejte KQL REST API.

Zápis dat

Kromě čtení dat pomocí tokenu můžete také použít rozhraní API ADLS k zápisu dat do tabulek, jak popisuje protokol Delta Lake.

Rozhraní API můžete také použít k vytváření souborů a adresářů.

Alternativně můžete k zápisu dat do platformy použít jiné pracovní zátěže Fabric. Můžete například použít rozhraní API úloh Lakehouse Fabric k efektivnímu načtení běžných typů souborů do optimalizované tabulky Delta. To se provádí odesláním požadavku POST na koncový bod Tables - Load Table API.

Připojení SQL se dá použít také k provádění příkazů, které vkládají data do tabulek.

Integrace OneLake

Můžete se rozhodnout používat integraci OneLake ve vašich úlohách. Pokud to uděláte, když se pro vaši úlohu vytvoří nová položka, Fabric automaticky vytvoří složky pro novou položku.

Chcete-li vyjádřit výslovný souhlas, xml manifestu položky musí deklarovat toto nastavením atributu CreateOneLakeFoldersOnArtifactCreation na true. Například:

<ItemManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">  
  <Item TypeName="Org.WorkloadSample.SampleWorkloadItem" Category="Data" CreateOneLakeFoldersOnArtifactCreation="true">
    <Workload WorkloadName="Org.WorkloadSample" />
    ...
  </Item>
</ItemManifestConfiguration>

Poznámka:

SchemaVersion musí být nastaveno na 1.101.0 (nebo novější podporované verze).

Stejný SchemaVersion musí být nastaven v WorkloadManifest.xml:

<WorkloadManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">
  <Workload WorkloadName="Org.WorkloadSample" HostingType="Remote">
  ...
  </Workload>
</WorkloadManifestConfiguration>

Při vytvoření nové položky se ve OneLake vytvoří následující kořenové složky:

<WorkspaceID>/<ItemID>/Files

<WorkspaceID>/<ItemID>/Tables

V těchto složkách můžete vytvořit další složky a použít je k ukládání dat v libovolném formátu (ve Files složce) nebo ve formátu parquet (ve Tables složce). Postupujte podle výše uvedených pokynů ke čtení a zápisu z úložiště OneLake.

Microsoft Fabric Workload Development Kit

Váš názor

Byla tato stránka užitečná?

Last updated on 2025-04-03