KÜLSŐ TÁBLA LÉTREHOZÁSA KIVÁLASZTÁSKÉNT (CETAS) (Transact-SQL)

A következőkre vonatkozik: Az SQL Server 2022 (16.x) és újabb verziói az Azure Synapse AnalyticsPlatform System (PDW)

Létrehoz egy külső táblát, majd exportálja párhuzamosan egy Transact-SQL SELECT utasítás eredményeit.

• Az Azure Synapse Analytics and Analytics Platform System támogatja a Hadoopot vagy az Azure Blob Storage-t.
• Az SQL Server 2022 (16.x) és újabb verziói támogatják a CREATE EXTERNAL TABLE AS SELECT (CETAS) egy külső tábla létrehozásához, majd egy Transact-SQL SELECT utasítás eredményének exportálásához az Azure Data Lake Storage (ADLS) Gen2, az Azure Storage-fiók V2 és az S3-kompatibilis objektumtárolóba.

Jegyzet

Az Azure SQL Managed Instance CETAS képességei és biztonsága eltér az SQL Servertől vagy az Azure Synapse Analyticstől. További információt a CREATE EXTERNAL TABLE AS SELECTAzure SQL Managed Instance verziójában talál.

Jegyzet

Az Azure Synapse Analytics kiszolgáló nélküli készleteihez tartozó CETAS képességei és biztonsága eltér az SQL Servertől. További információ: CETAS és Synapse SQL.

Transact-SQL szintaxis konvenciói

Szintaxis

CREATE EXTERNAL TABLE { [ [ database_name . [ schema_name ] . ] | schema_name . ] table_name }
    [ (column_name [ , ...n ] ) ]
    WITH (
        LOCATION = 'hdfs_folder' | '<prefix>://<path>[:<port>]' ,
        DATA_SOURCE = external_data_source_name ,
        FILE_FORMAT = external_file_format_name
        [ , <reject_options> [ , ...n ] ]
    )
    AS <select_statement>
[;]

<reject_options> ::=
{
    | REJECT_TYPE = value | percentage
    | REJECT_VALUE = reject_value
    | REJECT_SAMPLE_VALUE = reject_sample_value
}

<select_statement> ::=
    [ WITH <common_table_expression> [ , ...n ] ]
    SELECT <select_criteria>

Érvek

[ database_name . [ schema_name ] . ] | schema_name . ] table_name

Az adatbázisban létrehozandó tábla egy-háromrészes neve. Külső tábla esetén a relációs adatbázis csak a tábla metaadatait tárolja.

[ ( column_name [ ,... n ] ) ]

Egy táblaoszlop neve.

HELY

A következőkre vonatkozik: Azure Synapse Analytics és Analytics platformrendszer

"hdfs_folder"**
Megadja, hogy hol írja a SELECT utasítás eredményeit a külső adatforrásra. A hely egy mappanév, és opcionálisan tartalmazhat egy elérési utat, amely a Hadoop-fürt vagy a Blob Storage gyökérmappához képest van. A PolyBase létrehozza az elérési utat és a mappát, ha még nem létezik.

A külső fájlok hdfs_folder vannak megírva, és QueryID_date_time_ID.formatnevezik el, ahol a ID növekményes azonosító, format pedig az exportált adatformátum. Ilyen például a QID776_20160130_182739_0.orc.

A LOCATION-nak egy mappára kell mutatnia, és záró /kell rendelkeznie, például: aggregated_data/.

A következőkre vonatkozik: SQL Server 2022 (16.x) és újabb verziók

prefix://path[:port] biztosítja a kapcsolati protokollt (előtagot), elérési útját és opcionálisan a portot a külső adatforrásnak, ahol a SELECT utasítás eredménye meg lesz írva.

Ha a cél S3-kompatibilis objektumtároló, először egy gyűjtőnek kell léteznie, de a PolyBase szükség esetén almappákat hozhat létre. Az SQL Server 2022 (16.x) támogatja az Azure Data Lake Storage Gen2-t, az Azure Storage V2-t és az S3-kompatibilis objektumtárolót. Az ORC-fájlok jelenleg nem támogatottak.

DATA_SOURCE = external_data_source_name

Megadja annak a külső adatforrás-objektumnak a nevét, amely a külső adatok tárolásának vagy tárolásának helyét tartalmazza. A hely egy Hadoop-fürt vagy egy Azure Blob Storage. Külső adatforrás létrehozásához használja CREATE EXTERNAL DATA SOURCE (Transact-SQL).

FILE_FORMAT = external_file_format_name

Megadja annak a külső fájlformátum objektumnak a nevét, amely a külső adatfájl formátumát tartalmazza. Külső fájlformátum létrehozásához használja a CREATE EXTERNAL FILE FORMAT (Transact-SQL).

ELUTASÍTÁSi beállítások

A REJECT beállítások nem érvényesek a CREATE EXTERNAL TABLE AS SELECT utasítás futtatásakor. Ehelyett itt vannak megadva, hogy az adatbázis később használhassa őket, amikor adatokat importál a külső táblából. Később, amikor a CREATE TABLE AS SELECT utasítás kiválasztja a külső táblából származó adatokat, az adatbázis az elutasítási beállításokkal határozza meg azoknak a soroknak a számát vagy százalékát, amelyeket az importálás leállítása előtt nem lehet importálni.

• REJECT_VALUE = reject_value

  Megadja azoknak a soroknak az értékét vagy százalékos értékét, amelyek importálása sikertelen lehet, mielőtt az adatbázis leállítja az importálást.

• REJECT_TYPE = érték | százalékos

  Egyértelművé teszi, hogy a REJECT_VALUE lehetőség literálérték vagy százalék.

  • érték

    Akkor használatos, ha REJECT_VALUE literális érték, nem százalék. Az adatbázis leállítja a sorok importálását a külső adatfájlból, ha a sikertelen sorok száma meghaladja a reject_value.

    Ha például REJECT_VALUE = 5 és REJECT_TYPE = value, az adatbázis öt sor importálása után leállítja a sorok importálását.

  • százalékos

    Akkor használatos, ha REJECT_VALUE százalékos érték, nem pedig literális érték. Az adatbázis leállítja a sorok importálását a külső adatfájlból, ha a sikertelen sorok százalékos aránya meghaladja a reject_value. A sikertelen sorok százalékos aránya időközönként lesz kiszámítva. Csak dedikált SQL-készletekben érvényes, ha TYPE=HADOOP.

• REJECT_SAMPLE_VALUE = reject_sample_value

  REJECT_TYPE = percentageesetén kötelező. Megadja az importálni kívánt sorok számát, mielőtt az adatbázis újraszámítja a sikertelen sorok százalékos arányát.

  Ha például REJECT_SAMPLE_VALUE = 1000, az adatbázis kiszámítja a sikertelen sorok százalékos arányát, miután 1000 sort próbált importálni a külső adatfájlból. Ha a sikertelen sorok százalékos aránya kisebb, mint reject_value, az adatbázis további 1000 sort próbál betölteni. Az adatbázis továbbra is újraszámolja a sikertelen sorok százalékos arányát, miután minden további 1000 sort megpróbál importálni.

  Jegyzet

  Mivel az adatbázis időközönként kiszámítja a sikertelen sorok százalékos arányát, a sikertelen sorok tényleges százalékos aránya meghaladhatja a reject_value.

  példa:

  Ez a példa bemutatja, hogyan működik együtt a három REJECT beállítás. Ha például REJECT_TYPE = percentage, REJECT_VALUE = 30, REJECT_SAMPLE_VALUE = 100, a következő forgatókönyv fordulhat elő:

  • Az adatbázis megpróbálja betölteni az első 100 sort, amelyek közül 25 sikertelen és 75 sikeres.
  • A sikertelen sorok százalékos értéke 25%lesz, ami kisebb, mint a 30%elvetésének értéke. Tehát nem kell leállítani a terhelést.
  • Az adatbázis megkísérli betölteni a következő 100 sort. Ezúttal 25 sikeres és 75 sikertelen.
  • A sikertelen sorok százalékos aránya 50%lesz újraszámolva. A sikertelen sorok százalékos aránya túllépte a 30% elutasítási értéket.
  • A terhelés 200 sor betöltése után 50% sikertelen sortal meghiúsul, amely nagyobb a megadott 30% korlátnál.

COMMON_TABLE_EXPRESSION

Egy ideiglenes elnevezett eredménykészletet határoz meg, amelyet közös táblakifejezésnek (CTE) nevezünk. További információ: WITH common_table_expression (Transact-SQL)

VÁLASZD <select_criteria>

Kitölti az új táblát egy SELECT utasítás eredményeivel. select_criteria a SELECT utasítás törzse, amely meghatározza, hogy mely adatokat másolja az új táblába. A SELECT utasításokról további információt SELECT (Transact-SQL)című cikkben talál.

Jegyzet

A SELECT ORDER BY záradéka nincs hatással a CETAS-ra.

Oszlopbeállítások

• column_name [ ,... n ]

  Az oszlopnevek nem teszik lehetővé a CREATE TABLE alkalmazásban említett oszlopbeállításokat. Ehelyett megadhat egy vagy több oszlopnevet az új táblához. Az új tábla oszlopai a megadott neveket használják. Ha oszlopneveket ad meg, az oszloplistában szereplő oszlopok számának meg kell egyeznie a kiválasztási eredmények oszlopainak számával. Ha nem ad meg oszlopneveket, az új céltábla a select utasítás eredményében szereplő oszlopneveket használja.

  Nem adhat meg más oszlopbeállításokat, például adattípusokat, rendezést vagy nullitást. Ezek az attribútumok a SELECT utasítás eredményeiből származnak. A SELECT utasítással azonban módosíthatja az attribútumokat. Példa: A CETAS használata az oszlopattribútumokmódosításához.

Engedélyek

A parancs futtatásához a adatbázis-felhasználónak az összes ilyen engedélyre vagy tagságra szüksége van:

• ALTER SCHEMA engedélyt a helyi sémára, amely tartalmazza az új táblát vagy tagságot a db_ddladmin rögzített adatbázis-szerepkörben.
• CREATE TABLE engedélyt vagy tagságot db_ddladmin rögzített adatbázis-szerepkörben.
• SELECT engedélyt a select_criteriahivatkozott objektumokra.

A bejelentkezéshez az alábbi engedélyek szükségesek:

• TÖMEGES MŰVELETEK FELÜGYELETE
• KÜLSŐ ADATFORRÁS MÓDOSÍTÁSA
• KÜLSŐ FÁJLFORMÁTUM MÓDOSÍTÁSA
• Általában engedélyekkel kell rendelkeznie ahhoz, hogy lista mappa tartalmát, és a CETAS HELY mappájába írni.
• Az Azure Synapse Analytics és analytics platformrendszerben Írási engedélyt a Hadoop-fürt külső mappájába vagy az Azure Blob Storage-ba való írásra.
• Az SQL Server 2022-ben (16.x) a külső helyre vonatkozó megfelelő engedélyeket is be kell állítani. Írási engedélyt az adatok helyre való kiírására, és olvasási hozzáférésre.
• Az Azure Blob Storage és az Azure Data Lake Gen2 esetében a SHARED ACCESS SIGNATURE jogkivonatnak a következő jogosultságokat kell biztosítani a tárolón: Olvasási, Írási, Lista, Létrehozás.
• Az Azure Blog Storage esetében a Allowed Services: Blob jelölőnégyzetet be kell jelölni az SAS-jogkivonat létrehozásához.
• Az Azure Data Lake Gen2 esetében ki kell jelölni a Allowed Services: Container és Object jelölőnégyzeteket az SAS-jogkivonat létrehozásához.

Fontos

Az ALTER ANY KÜLSŐ ADATFORRÁS engedély lehetővé teszi bármely egyszerű felhasználó számára, hogy külső adatforrás-objektumokat hozzon létre és módosítson, így lehetővé teszi az adatbázis hatókörébe tartozó összes hitelesítő adat elérését is az adatbázisban. Ezt az engedélyt kiemelt jogosultságúnak kell tekinteni, és csak a rendszerben megbízható tagoknak adható.

Hibakezelés

Ha CREATE EXTERNAL TABLE AS SELECT szöveghatárolt fájlba exportál adatokat, az exportálni nem kívánt sorok esetében nincs elutasító fájl.

A külső tábla létrehozásakor az adatbázis megpróbál csatlakozni a külső helyhez. Ha a kapcsolat meghiúsul, a parancs meghiúsul, és a külső tábla nem jön létre. Egy vagy több percig is eltarthat, amíg a parancs meghiúsul, mert az adatbázis legalább háromszor újrapróbálkozza a kapcsolatot.

Ha CREATE EXTERNAL TABLE AS SELECT megszakad vagy sikertelen, az adatbázis egyszeri kísérletet tesz a külső adatforráson már létrehozott új fájlok és mappák eltávolítására.

Az Azure Synapse Analytics és analytics platformrendszerben az adatbázis az adatexportálás során a külső adatforráson előforduló Java-hibákat jelenti.

Megjegyzések

A CREATE EXTERNAL TABLE AS SELECT utasítás befejeződése után Transact-SQL lekérdezéseket futtathat a külső táblán. Ezek a műveletek a lekérdezés időtartamára importálják az adatokat az adatbázisba, kivéve, ha a CREATE TABLE AS SELECT utasítással importálja őket.

A külső tábla nevét és definícióját az adatbázis metaadatai tárolják. Az adatokat a rendszer a külső adatforrásban tárolja.

A CREATE EXTERNAL TABLE AS SELECT utasítás mindig létrehoz egy nem particionált táblát, még akkor is, ha a forrástábla particionált.

AZ SQL Server 2022 (16.x) esetén a allow polybase export beállítást engedélyezni kell sp_configurehasználatával. További információ: allow polybase export konfigurációs beállítás beállítása.

A EXPLAIN használatával létrehozott Azure Synapse Analytics és Analytics platformrendszer lekérdezési terveihez az adatbázis a következő lekérdezésterv-műveleteket használja külső táblákhoz: Külső átrendezés, Külső szórás áthelyezése, Külső partíció áthelyezése.

Az Analytics platformrendszerben a külső tábla létrehozásának előfeltételeként a berendezés rendszergazdájának konfigurálnia kell a Hadoop-kapcsolatot. További információ: "A külső adatokhoz való csatlakozás konfigurálása (Elemzési platformrendszer)" című témakör az Elemzési platformrendszer dokumentációjában, amelyet a Microsoft letöltőközpont tölthet le.

Korlátozások és korlátozások

Mivel a külső táblaadatok az adatbázison kívül találhatók, a biztonsági mentési és visszaállítási műveletek csak az adatbázisban tárolt adatokon működnek. Ennek eredményeképpen csak a metaadatok lesznek biztonsági másolat készítve és visszaállítva.

Az adatbázis nem ellenőrzi a külső adatforráshoz való kapcsolatot egy külső táblát tartalmazó adatbázis biztonsági mentésének visszaállításakor. Ha az eredeti forrás nem érhető el, a külső tábla metaadatainak visszaállítása továbbra is sikeres lesz, de a külső tábla SELECT műveletei sikertelenek lesznek.

Az adatbázis nem garantálja az adatok konzisztenciáját az adatbázis és a külső adatok között. Ön, az ügyfél kizárólagos felelőssége, hogy fenntartsa a külső adatok és az adatbázis közötti konzisztenciát.

Az adatmanipulációs nyelv (DML) műveletei nem támogatottak külső táblákon. A külső adatok módosításához például nem használhatja Transact-SQL Transact-SQL utasítások frissítését, beszúrását vagy törlését.

A CREATE TABLE, DROP TABLE, CREATE STATISTICS, DROP STATISTICS, CREATE VIEW és DROP VIEW az egyetlen adatdefiníciós nyelv (DDL) művelet, amely külső táblákon engedélyezett.

Jegyzet

CETAS-nál nem lehet 1 MB-nál nagyobb LOB-okat használni.

Az Azure Synapse Analytics korlátozásai és korlátozásai

• Az Azure Synapse Analytics dedikált SQL-készleteiben és az Analytics platformrendszerében a PolyBase legfeljebb 33 000 fájlt használhat fel mappánként 32 egyidejű PolyBase-lekérdezés futtatásakor. Ez a maximális szám az egyes HDFS-mappákban lévő fájlokat és almappákat is tartalmazza. Ha az egyidejűség mértéke kisebb, mint 32, a felhasználó több mint 33 000 fájlt tartalmazó HDFS-mappákon futtathat PolyBase-lekérdezéseket. Javasoljuk, hogy a Hadoop és a PolyBase felhasználói rövidek maradjanak a fájlelérési utakon, és HDFS-mappánként legfeljebb 30 000 fájlt használjanak. Ha túl sok fájlra hivatkozik, a JVM memóriahiányos kivételt tapasztal.

• Kiszolgáló nélküli SQL-készletekben nem hozhatók létre külső táblák olyan helyen, ahol jelenleg adatokkal rendelkezik. Az adatok tárolására használt hely újbóli felhasználásához a helyet manuálisan kell törölni az ADLS-en. További korlátozások és ajánlott eljárások: Szűrésoptimalizálás – ajánlott eljárások.

Az Azure Synapse Analytics dedikált SQL-készleteiben és az Analytics Platform Systemben, amikor CREATE EXTERNAL TABLE AS SELECT kiválaszt egy RCFile-t, az RCFile oszlopértékei nem tartalmazhatják a pip (|) karaktert.

SET ROWCOUNT (Transact-SQL) nincs hatással a KÜLSŐ TÁBLA LÉTREHOZÁSA KIJELÖLÉSKÉNT parancsra. Hasonló viselkedés eléréséhez használja TOP (Transact-SQL).

A fájlnevekre vonatkozó korlátozásokért tekintse át tárolók, blobok és metaadatok elnevezését és hivatkozását.

Karakterhibák

Az adatokban szereplő alábbi karakterek hibákat okozhatnak, beleértve az elutasított rekordokat, amelyek CREATE EXTERNAL TABLE AS SELECT Parquet-fájlokba.

Az Azure Synapse Analytics és analytics platformrendszerben ez az ORC-fájlokra is vonatkozik.

• |
• " (idézőjel karakter)
• \r\n
• \r
• \n

A karaktereket tartalmazó CREATE EXTERNAL TABLE AS SELECT használatához először futtatnia kell a CREATE EXTERNAL TABLE AS SELECT utasítást, hogy az adatokat tagolt szövegfájlokba exportálja, ahol aztán külső eszközzel parquet vagy ORC formátumba konvertálhatja őket.

Parquet használata

A parquet-fájlok használatakor CREATE EXTERNAL TABLE AS SELECT egy parquet-fájlt hoz létre rendelkezésre álló processzoronként, a konfigurált maximális párhuzamossági fokig (MAXDOP). Minden fájl akár 190 GB-ra is nőhet, miután az SQL Server szükség szerint további Parquet-fájlokat fog létrehozni.

A lekérdezési tipp OPTION (MAXDOP n) csak a CREATE EXTERNAL TABLE AS SELECTSELECT részét érinti. Nincs hatással a parquet fájlok számára. Csak az adatbázisszintű MAXDOP és a példányszintű MAXDOP van figyelembe véve.

Zár

Megosztott zárolást hoz létre a SCHEMARESOLUTION objektumon.

Támogatott adattípusok

A CETAS az alábbi SQL-adattípusokkal rendelkező eredményhalmazok tárolására használható:

• bináris
• varbinary
• char
• varchar
• nchar
• nvarchar
• kisdátum
• dátum
• datetime
• datetime2
• dátum-idő eltolás
• Idő
• decimális
• Numerikus
• float
• valódi
• bigint
• tinyint
• smallint
• Int
• bigint
• egy kicsit
• pénz
• aprópénz

Példák

Egy. Hadoop-tábla létrehozása a CREATE EXTERNAL TABLE AS SELECT használatával

A következőkre vonatkozik: Azure Synapse Analytics és Analytics platformrendszer

Az alábbi példa egy hdfsCustomer nevű új külső táblát hoz létre, amely a forrástábla dimCustomeroszlopdefinícióit és adatait használja.

A tábladefiníció az adatbázisban van tárolva, és a SELECT utasítás eredményeit a rendszer exportálja a Hadoop külső adatforrás /pdwdata/customer.tbl fájljába customer_ds. A fájl a külső fájlformátum customer_ffszerint van formázva.

A fájlnevet az adatbázis hozza létre, és tartalmazza a lekérdezésazonosítót, hogy a fájl könnyebben igazodjon az azt létrehozó lekérdezéshez.

Az ügyfélkönyvtár előtti hdfs://xxx.xxx.xxx.xxx:5000/files/ elérési útnak már léteznie kell. Ha az Ügyfél könyvtár nem létezik, az adatbázis létrehozza a címtárat.

Jegyzet

Ez a példa 5000-et határoz meg. Ha a port nincs megadva, az adatbázis alapértelmezett portként a 8020-at használja.

Az eredményül kapott Hadoop-hely és fájlnév hdfs:// xxx.xxx.xxx.xxx:5000/files/Customer/ QueryID_YearMonthDay_HourMinutesSeconds_FileIndex.txt.lesz.

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE hdfsCustomer
    WITH (
            LOCATION = '/pdwdata/customer.tbl',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT *
FROM dimCustomer;
GO

B. Lekérdezési tipp használata a CREATE EXTERNAL TABLE AS SELECT használatával

A következőkre vonatkozik: Azure Synapse Analytics és Analytics platformrendszer

Ez a lekérdezés a CREATE EXTERNAL TABLE AS SELECT utasítással való lekérdezés-illesztés tippjének alapszintaxisát jeleníti meg. A lekérdezés elküldése után az adatbázis a kivonat-illesztés stratégiájával hozza létre a lekérdezéstervet. További információ az illesztési tippekről és az OPTION záradék használatáról: OPTION záradék (Transact-SQL).

Jegyzet

Ez a példa 5000-et határoz meg. Ha a port nincs megadva, az adatbázis alapértelmezett portként a 8020-at használja.

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE dbo.FactInternetSalesNew
    WITH (
            LOCATION = '/files/Customer',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT T1.*
FROM dbo.FactInternetSales T1
INNER JOIN dbo.DimCustomer T2
    ON (T1.CustomerKey = T2.CustomerKey)
OPTION (HASH JOIN);
GO

C. Oszlopattribútumok módosítása a CETAS használatával

A következőkre vonatkozik: Azure Synapse Analytics és Analytics platformrendszer

Ez a példa CETAS használatával módosítja az adattípusokat, a nullképességet és a rendezést a FactInternetSales tábla több oszlopában.

-- Example is based on AdventureWorks
CREATE EXTERNAL TABLE dbo.FactInternetSalesNew
    WITH (
            LOCATION = '/files/Customer',
            DATA_SOURCE = customer_ds,
            FILE_FORMAT = customer_ff
            ) AS

SELECT T1.ProductKey AS ProductKeyNoChange,
    T1.OrderDateKey AS OrderDate,
    T1.ShipDateKey AS ShipDate,
    T1.CustomerKey AS CustomerKeyNoChange,
    T1.OrderQuantity AS Quantity,
    T1.SalesAmount AS MONEY
FROM dbo.FactInternetSales T1
INNER JOIN dbo.DimCustomer T2
    ON (T1.CustomerKey = T2.CustomerKey)
OPTION (HASH JOIN);
GO

D. A CREATE EXTERNAL TABLE AS SELECT használata az adatok parquetként való exportálásához

A következőkre vonatkozik: SQL Server 2022 (16.x)

Az alábbi példa egy ext_sales nevű új külső táblát hoz létre, amely a SalesOrderDetailtábla AdventureWorks2025 adatait használja. Engedélyezni kell a a polybase exportálási konfigurációs beállítását.

A SELECT utasítás eredménye a korábban konfigurált és s3_edselnevezett S3-kompatibilis objektumtárolóba, valamint a s3_dscként létrehozott megfelelő hitelesítő adatokra lesz mentve. A parkettafájl helye <ip>:<port>/cetas/sales.parquet lesz, ahol cetas a korábban létrehozott tárolótároló.

Jegyzet

A Delta formátum jelenleg csak írásvédettként támogatott.

-- Credential to access the S3-compatible object storage
CREATE DATABASE SCOPED CREDENTIAL s3_dsc
    WITH IDENTITY = 'S3 Access Key',
        SECRET = '<accesskeyid>:<secretkeyid>'
GO

-- S3-compatible object storage data source
CREATE EXTERNAL DATA SOURCE s3_eds
    WITH (
            LOCATION = 's3://<ip>:<port>',
            CREDENTIAL = s3_dsc
            )

-- External File Format for PARQUET
CREATE EXTERNAL FILE FORMAT ParquetFileFormat
    WITH (FORMAT_TYPE = PARQUET);
GO

CREATE EXTERNAL TABLE ext_sales
    WITH (
            LOCATION = '/cetas/sales.parquet',
            DATA_SOURCE = s3_eds,
            FILE_FORMAT = ParquetFileFormat
            ) AS

SELECT *
FROM AdventureWorks2022.[Sales].[SalesOrderDetail];
GO

E. A CREATE EXTERNAL TABLE AS SELECT használata a delta táblából a parquethez

A következőkre vonatkozik: SQL Server 2022 (16.x)

Az alábbi példa egy Delta_to_Parquetnevű új külső táblát hoz létre, amely egy s3_deltanevű S3-kompatibilis objektumtárolóban található Delta Table típusú adatokat használ, és az eredményt egy másik s3_parquet nevű adatforrásba írja parquet-fájlként. Ehhez a példa az OPENROWSET parancsot használja. Engedélyezni kell a a polybase exportálási konfigurációs beállítását.

-- External File Format for PARQUET
CREATE EXTERNAL FILE FORMAT ParquetFileFormat
    WITH (FORMAT_TYPE = PARQUET);
GO

CREATE EXTERNAL TABLE Delta_to_Parquet
    WITH (
            LOCATION = '/backup/sales.parquet',
            DATA_SOURCE = s3_parquet,
            FILE_FORMAT = ParquetFileFormat
            ) AS

SELECT *
FROM OPENROWSET(BULK '/delta/sales_fy22/', FORMAT = 'DELTA', DATA_SOURCE = 's3_delta') AS [r];
GO

F. KÜLSŐ TÁBLA LÉTREHOZÁSA SELECT nézetben forrásként

A következőkre vonatkozik: Azure Synapse Analytics kiszolgáló nélküli SQL-készletek és dedikált SQL-készletek.

Használja az alábbi példát sablonként a CETAS forrásként való írásához egy felhasználó által definiált nézettel, felügyelt identitás használatával a hitelesítéshez és a abfs: végponthoz:

CREATE DATABASE [<mydatabase>];
GO

USE [<mydatabase>];
GO

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';

CREATE DATABASE SCOPED CREDENTIAL [WorkspaceIdentity] WITH IDENTITY = 'managed identity';
GO

CREATE EXTERNAL FILE FORMAT [ParquetFF] WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL DATA SOURCE [SynapseSQLwriteable] WITH (
    LOCATION = 'abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file_name>',
    CREDENTIAL = [WorkspaceIdentity]
);
GO

CREATE EXTERNAL TABLE [dbo].[<myexternaltable>] WITH (
        LOCATION = '<myoutputsubfolder>/',
        DATA_SOURCE = [SynapseSQLwriteable],
        FILE_FORMAT = [ParquetFF]
) AS
SELECT * FROM [<myview>];
GO

G. KÜLSŐ TÁBLA LÉTREHOZÁSA SELECT nézetben forrásként

A következőkre vonatkozik: Azure Synapse Analytics kiszolgáló nélküli SQL-készletek és dedikált SQL-készletek.

Ebben a példában egy sablonkódot láthatunk a CETAS felhasználó által definiált forrásként való írásához, felügyelt identitás hitelesítésként való használatához és https:.

CREATE DATABASE [<mydatabase>];
GO

USE [<mydatabase>];
GO

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';

CREATE DATABASE SCOPED CREDENTIAL [WorkspaceIdentity] WITH IDENTITY = 'managed identity';
GO

CREATE EXTERNAL FILE FORMAT [ParquetFF] WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL DATA SOURCE [SynapseSQLwriteable] WITH (
    LOCATION = 'https://<mystoageaccount>.dfs.core.windows.net/<mycontainer>/<mybaseoutputfolderpath>',
    CREDENTIAL = [WorkspaceIdentity]
);
GO

CREATE EXTERNAL TABLE [dbo].[<myexternaltable>] WITH (
        LOCATION = '<myoutputsubfolder>/',
        DATA_SOURCE = [SynapseSQLwriteable],
        FILE_FORMAT = [ParquetFF]
) AS
SELECT * FROM [<myview>];
GO

Következő lépések

• KÜLSŐ ADATFORRÁS LÉTREHOZÁSA (Transact-SQL)
• KÜLSŐ FÁJLFORMÁTUM LÉTREHOZÁSA (Transact-SQL)
• HOZZON LÉTRE KÜLSŐ TÁBLÁT (Transact-SQL)
• CREATE TABLE (Azure Synapse Analytics, Párhuzamos adattárház)
• CREATE TABLE AS SELECT (Azure Synapse Analytics)
• DROP TABLE (Transact-SQL)
• ALTERNATÍV TÁBLÁZAT (Transact-SQL)