CREATE EXTERNAL TABLE (Transact-SQL)

Şunlar için geçerlidir: SQL Server 2016 (13.x) ve sonraki sürümleri Microsoft Fabric'teAzure SQL VeritabanıAzure SQL Yönetilen ÖrneğiAzure Synapse AnalyticsAnalytics Platform Sistemi (PDW)Warehouse

Dış tablo oluşturur.

Bu makalede, seçtiğiniz SQL ürünü için söz dizimi, bağımsız değişkenler, açıklamalar, izinler ve örnekler sağlanır.

Ürün seçin

Aşağıdaki satırda, ilgilendiğiniz ürün adını seçin ve yalnızca bu ürünün bilgileri görüntülenir.

* SQL Server *  

SQL Veritabanı

Azure SQL Yönetilen Örneği

Microsoft Fabric

Azure Synapse'i
Analiz

Analytics Platformu
Sistem (PDW)

 

Genel Bakış: SQL Server

Bu komut, Hadoop kümesinde veya Azure Blob Depolama'da depolanan verilere başvuran Bir Hadoop kümesinde veya Azure Blob Depolama polyBase dış tablosunda depolanan verilere erişmek için PolyBase için bir dış tablo oluşturur.

Şunlar için geçerlidir: SQL Server 2016 (veya üzeri)

PolyBase sorguları için dış veri kaynağıyla bir dış tablo kullanın. Dış veri kaynakları, bağlantı kurmak ve şu birincil kullanım örneklerini desteklemek için kullanılır:

• SQL Server'da PolyBase ile Veri sanallaştırma kullanarak veri sanallaştırma ve veri yükü
• BULK INSERT veya OPENROWSET kullanarak SQL Server veya SQL Veritabanı kullanarak toplu yükleme işlemleri

Dış tablo bir dış veri kaynağını temel alır.

Transact-SQL söz dizimi kuralları

Sözdizimi

-- Create a new external table
CREATE EXTERNAL TABLE { database_name.schema_name.table_name | schema_name.table_name | table_name }
    ( <column_definition> [ ,...n ] )
    WITH (
        LOCATION = 'folder_or_filepath',
        DATA_SOURCE = external_data_source_name,
        [ FILE_FORMAT = external_file_format_name ]
        [ , <reject_options> [ ,...n ] ]
    )
[;]

<reject_options> ::=
{
    | REJECT_TYPE = value | percentage
    | REJECT_VALUE = reject_value
    | REJECT_SAMPLE_VALUE = reject_sample_value,
    | REJECTED_ROW_LOCATION = '/REJECT_Directory'
}

<column_definition> ::=
column_name <data_type>
    [ COLLATE collation_name ]
    [ NULL | NOT NULL ]

Bağımsız değişken

{ database_name.schema_name.table_name | schema_name.table_name | table_name }

Oluşturulacak tablonun bir ile üç bölümlü adı.

Dış tablo için, SQL yalnızca tablo meta verilerini ve Hadoop veya Azure Blob Depolama'da başvuruda bulunılan dosya veya klasörle ilgili temel istatistikleri depolar. SQL Server'da hiçbir gerçek veri taşınmaz veya depolanmaz.

Önemli

En iyi performans için, dış veri kaynağı sürücüsü üç bölümlü bir adı destekliyorsa, üç bölümlü adın sağlanması kesinlikle önerilir.

< > column_definition [ ,... n ]

CREATE EXTERNAL TABLE sütun adını, veri türünü, null atanabilirliği ve harmanlamayı yapılandırma özelliğini destekler. Dış tablolarda DEFAULT CONSTRAINT komutunu kullanamazsınız.

Veri türleri ve sütun sayısı dahil olmak üzere sütun tanımlarının dış dosyalardaki verilerle eşleşmesi gerekir. Uyuşmazlık varsa, gerçek veriler sorgulanırken dosya satırları reddedilir.

LOCATION = 'folder_or_filepath'

Hadoop veya Azure Blob Depolama'daki gerçek veriler için klasörü veya dosya yolunu ve dosya adını belirtir. Ayrıca, SQL Server 2022'den (16.x) başlayarak S3 uyumlu nesne depolama desteklenir. Konum kök klasörden başlar. Kök klasör, dış veri kaynağında belirtilen veri konumudur.

SQL Server'da CREATE EXTERNAL TABLE deyimi, henüz yoksa yolu ve klasörü oluşturur. Ardından INSERT INTO kullanarak verileri yerel bir SQL Server tablosundan dış veri kaynağına aktarabilirsiniz. Daha fazla bilgi için bkz . PolyBase sorgu senaryoları.

KLASÖR OLARAK KONUM belirtirseniz, dış tablodan seçen bir PolyBase sorgusu klasörden ve tüm alt klasörlerinden dosyaları alır. Tıpkı Hadoop gibi PolyBase de gizli klasörleri döndürmez. Ayrıca, dosya adının altı çizili (_) veya nokta (.) ile başladığı dosyaları döndürmez.

Aşağıdaki görüntü örneğinde, LOCATION='/webdata/'polyBase sorgusu mydata.txt ve mydata2.txtsatırlarını döndürür. Gizli bir alt klasörde bulunan bir dosya olduğundan mydata3.txt döndürmez. Gizli bir dosya olduğundan _hidden.txt döndürmez.

Varsayılanı değiştirmek ve yalnızca kök klasörden okumak için <polybase.recursive.traversal> özniteliğini core-site.xml yapılandırma dosyasında 'false' olarak ayarlayın. Bu dosya, SQL Server'ın <SqlBinRoot>\PolyBase\Hadoop\Conf kökü altında bin altında bulunur. Örneğin, C:\Program Files\Microsoft SQL Server\MSSQL13.XD14\MSSQL\Binn.

DATA_SOURCE = external_data_source_name

Dış verilerin konumunu içeren dış veri kaynağının adını belirtir. Bu konum bir Hadoop Dosya Sistemi (HDFS), Azure Blob Depolama kapsayıcısı veya Azure Data Lake Store'dur. Dış veri kaynağı oluşturmak için CREATE EXTERNAL DATA SOURCE (Transact-SQL) kullanın.

FILE_FORMAT = external_file_format_name

Dış veriler için dosya türünü ve sıkıştırma yöntemini depolayan dış dosya biçimi nesnesinin adını belirtir. Dış dosya biçimi oluşturmak için CREATE EXTERNAL FILE FORMAT (Transact-SQL) kullanın.

Dış dosya biçimleri birden çok benzer dış dosya tarafından yeniden kullanılabilir.

Reddetme Seçenekleri

Bu seçenek yalnızca TYPE = HADOOP olan dış veri kaynaklarında kullanılabilir.

PolyBase'in dış veri kaynağından kirli kayıtlarını nasıl işleyeceklerini belirleyen reddetme parametreleri belirtebilirsiniz. Gerçek veri türleri veya sütun sayısı dış tablonun sütun tanımlarıyla eşleşmiyorsa veri kaydı 'kirli' olarak kabul edilir.

Reddetme değerlerini belirtmediğinizde veya değiştirmediğinizde PolyBase varsayılan değerleri kullanır. CREATE EXTERNAL TABLE deyimiyle bir dış tablo oluşturduğunuzda reddetme parametreleriyle ilgili bu bilgiler ek meta veriler olarak depolanır. Gelecekte bir SELECT deyimi veya SELECT INTO SELECT deyimi dış tablodan veri seçtiğinde PolyBase, gerçek sorgu başarısız olmadan önce reddedilebilen satırların sayısını veya yüzdesini belirlemek için reddetme seçeneklerini kullanır. Reddetme eşiği aşılana kadar sorgu (kısmi) sonuçlar döndürür. Ardından uygun hata iletisiyle başarısız olur.

REJECT_TYPE = değer | Yüzde

REJECT_VALUE seçeneğinin değişmez değer olarak mı yoksa yüzde olarak mı belirtildiğini açıklar.

değer

REJECT_VALUE, yüzde değil değişmez değerdir. Reddedilen satır sayısı reject_valueaşıldığında sorgu başarısız olur.

Örneğin, REJECT_VALUE = 5 ve REJECT_TYPE = valuebeş satır reddedildikten sonra SELECT sorgusu başarısız olur.

yüzdesi

REJECT_VALUE, değişmez değer değil yüzdedir. Başarısız satırların yüzdesireject_valueaşıldığında sorgu başarısız olur. Başarısız satırların yüzdesi aralıklarla hesaplanır.

REJECT_VALUE = reject_value

Sorgu başarısız olmadan önce reddedilebilen satırların değerini veya yüzdesini belirtir.

REJECT_TYPE = değeri için reject_value 0 ile 2.147.483.647 arasında bir tamsayı olmalıdır.

REJECT_TYPE = yüzdesi için reject_value 0 ile 100 arasında bir kayan değer olmalıdır.

REJECT_SAMPLE_VALUE = reject_sample_value

REJECT_TYPE = yüzde değerini belirttiğinizde bu öznitelik gereklidir. PolyBase reddedilen satırların yüzdesini yeniden hesaplamadan önce alınmaya çalışacak satır sayısını belirler.

reject_sample_value parametresi 0 ile 2.147.483.647 arasında bir tamsayı olmalıdır.

Örneğin, REJECT_SAMPLE_VALUE = 1000 ise PolyBase, dış veri dosyasından 1000 satırı içeri aktarma girişiminde bulunduktan sonra başarısız olan satırların yüzdesini hesaplar. Başarısız satırların yüzdesi reject_value'den küçükse PolyBase 1.000 satır daha almayı dener. Her ek 1.000 satırı içeri aktarmayı denedikten sonra başarısız olan satırların yüzdesini yeniden hesaplamaya devam eder.

Not

PolyBase başarısız satırların yüzdesini aralıklarla hesap ettiğinden, başarısız satırların gerçek yüzdesi reject_valueaşabilir.

Örnek:

Bu örnekte, üç REDDET seçeneğinin birbiriyle nasıl etkileşimde olduğu gösterilmektedir. Örneğin, REJECT_TYPE = yüzde, REJECT_VALUE = 30 ve REJECT_SAMPLE_VALUE = 100 ise aşağıdaki senaryo oluşabilir:

• PolyBase ilk 100 satırı almayı dener; 25 başarısız ve 75 başarılı.
• Başarısız satırların yüzdesi 25%olarak hesaplanır ve bu değer 30%reddetme değerinden küçüktür. Sonuç olarak PolyBase dış veri kaynağından veri almaya devam eder.
• PolyBase sonraki 100 satırı yüklemeyi dener; bu kez 25 satır başarılı olur ve 75 satır başarısız olur.
• Başarısız satırların yüzdesi 50%olarak yeniden hesaplanır. Başarısız satırların yüzdesi 30% reddetme değerini aştı.
• PolyBase sorgusu, ilk 200 satırı döndürmeyi denedikten sonra 50% reddedilen satırla başarısız olur. PolyBase sorgusu reddetme eşiğinin aşıldığını algılamadan önce eşleşen satırlar döndürüldü.

REJECTED_ROW_LOCATION = Dizin Konumu

Şunlar için geçerlidir: SQL Server 2019 CU6 ve sonraki sürümleri, Azure Synapse Analytics.

Dış Veri Kaynağı içindeki reddedilen satırların ve ilgili hata dosyasının yazılması gereken dizini belirtir.

Belirtilen yol yoksa PolyBase sizin adınıza bir yol oluşturur. _rejectedrowsadlı bir alt dizin oluşturulur. _ karakteri, konum parametresinde açıkça adlandırılmadığı sürece dizinin diğer veri işleme için kaçış olmasını sağlar. Bu dizinde, YearMonthDay -HourMinuteSecond biçiminde (örneğin, 20230330-173205) yük gönderme zamanına göre oluşturulmuş bir klasör vardır. Bu klasörde, _reason dosyası ve veri dosyası olmak üzere iki tür dosya yazılır. Bu seçenek yalnızca TYPE = HADOOP dış veri kaynaklarıyla ve DELIMITEDTEXTFORMAT_TYPEkullanan dış tablolar için kullanılabilir. Daha fazla bilgi için bkz . CREATE EXTERNAL DATA SOURCE ve CREATE EXTERNAL FILE FORMAT (Transact-SQL).

Neden dosyalarının ve veri dosyalarının her ikisi de CTAS deyimiyle ilişkilendirilmiş queryID sahiptir. Veriler ve nedeni ayrı dosyalarda olduğundan, ilgili dosyaların eşleşen bir son eki vardır.

İzinler

Bu kullanıcı izinlerini gerektirir:

• TABLO OLUŞTUR
• ŞEMA DEĞIŞTIRME
• DıŞ VERI KAYNAĞı DEĞIŞTIRME
• ALTER ANY EXTERNAL FILE FORMAT (yalnızca Hadoop ve Azure Depolama dış veri kaynakları için geçerlidir)
• CONTROL DATABASE (yalnızca Hadoop ve Azure Depolama dış veri kaynakları için geçerlidir)

CREATE EXTERNAL TABLE komutunda kullanılan DATABASE SCOPED CREDENTIAL içinde belirtilen uzak oturum açma bilgilerinin LOCATION parametresinde belirtilen dış veri kaynağındaki yol/tablo/koleksiyon için Okuma iznine sahip olması gerektiğini unutmayın. Hadoop veya Azure Depolama dış veri kaynağına veri aktarmak için bu EXTERNAL TABLE'yu kullanmayı planlıyorsanız, belirtilen oturum açma bilgilerinin LOCATION'da belirtilen yolda yazma izni olması gerekir. Hadoop, SQL Server 2022'de (16.x) desteklenmez.

Azure Blob Depolama için, Azure portalında, Azure Blob Depolama veya ADLS 2. Nesil depolama hesaplarında erişim anahtarlarını ve paylaşılan erişim imzasını (SAS) yapılandırırken, İzin Verilen izinler en az Okuma ve Yazma izinleri vermek üzere yapılandırın. Klasörler arasında arama yaparken Liste izni de gerekebilir. Ayrıca, izin verilen kaynak türleri olarak hem kapsayıcı hem de nesne seçmelisiniz.

Önemli

ALTER ANY EXTERNAL DATA SOURCE izni, herhangi bir sorumluya herhangi bir dış veri kaynağı nesnesi oluşturma ve değiştirme olanağı verir ve bu nedenle, veritabanındaki tüm veritabanı kapsamlı kimlik bilgilerine erişme olanağı da verir. Bu izin yüksek ayrıcalıklı olarak kabul edilmeli ve bu nedenle yalnızca sistemdeki güvenilir sorumlulara verilmelidir.

Hata işleme

CREATE EXTERNAL TABLE deyimi yürütülürken PolyBase dış veri kaynağına bağlanmayı dener. Bağlanma girişimi başarısız olursa, deyimi başarısız olur ve dış tablo oluşturulmaz. PolyBase, sorguyu başarısız olmadan önce bağlantıyı yeniden denemesi nedeniyle komutun başarısız olması bir dakika veya daha fazla sürebilir.

Açıklamalar

gibi SELECT FROM EXTERNAL TABLEgeçici sorgu senaryolarında PolyBase, dış veri kaynağından alınan satırları geçici bir tabloda depolar. Sorgu tamamlandıktan sonra PolyBase geçici tabloyu kaldırır ve siler. SQL tablolarında kalıcı veri depolanmaz.

Buna karşılık, dış TABLODAN SEÇ gibi içeri aktarma senaryosunda PolyBase, dış veri kaynağından alınan satırları SQL tablosunda kalıcı veri olarak depolar. PolyBase dış verileri aldığında sorgu yürütme sırasında yeni tablo oluşturulur.

PolyBase, sorgu performansını geliştirmek için sorgu hesaplamalarının bir bölümünü Hadoop'a gönderebilir. Bu eyleme koşul gönderimi adı verilir. Etkinleştirmek için , CREATE EXTERNAL DATA SOURCE (Transact-SQL) alanında Hadoop resource manager konum seçeneğini belirtin.

Aynı veya farklı dış veri kaynaklarına başvuran birçok dış tablo oluşturabilirsiniz.

Sınırlama

Dış tablonun verileri SQL Server'ın doğrudan yönetim denetimi altında olmadığından, herhangi bir zamanda bir dış işlem tarafından değiştirilebilir veya kaldırılabilir. Sonuç olarak, dış tablodaki sorgu sonuçlarının belirleyici olması garanti edilmez. Aynı sorgu, bir dış tabloda her çalıştırıldığında farklı sonuçlar döndürebilir. Benzer şekilde, dış veriler taşınır veya kaldırılırsa sorgu başarısız olabilir.

Her birinin farklı dış veri kaynaklarına başvuracağı birden çok dış tablo oluşturabilirsiniz. Farklı Hadoop veri kaynaklarında aynı anda sorgu çalıştırırsanız, her Hadoop kaynağı aynı 'hadoop bağlantısı' sunucu yapılandırma ayarını kullanmalıdır. Örneğin, cloudera Hadoop kümesine ve Hortonworks Hadoop kümesine karşı aynı anda sorgu çalıştıramazsınız çünkü bunlar farklı yapılandırma ayarları kullanır. Yapılandırma ayarları ve desteklenen birleşimler için bkz . PolyBase bağlantı yapılandırması (Transact-SQL).

Dış tablo veri türü olarak DELIMITEDTEXT, CSV, PARQUETveya DELTA kullandığında, dış tablolar CREATE STATISTICS komut başına yalnızca bir sütun için istatistikleri destekler.

Dış tablolarda yalnızca bu Veri Tanımı Dili (DDL) deyimlerine izin verilir:

• CREATE TABLE ve DROP TABLE
• CREATE STATISTICS ve DROP STATISTICS
• CREATE VIEW ve DROP VIEW

Yapılar ve işlemler desteklenmez:

• DEFAULT Dış tablo sütunlarında kısıtlama
• Veri İşleme Dili (DML) silme, ekleme ve güncelleştirme işlemleri

Sorgu sınırlamaları

PolyBase, 32 eşzamanlı PolyBase sorgusu çalıştırırken klasör başına en fazla 33k dosya kullanabilir. Bu maksimum sayı, her HDFS klasöründeki hem dosyaları hem de alt klasörleri içerir. Eşzamanlılık derecesi 32'den azsa, bir kullanıcı HDFS'de 33k'tan fazla dosya içeren klasörlerde PolyBase sorguları çalıştırabilir. Dış dosya yollarını kısa tutmanızı ve HDFS klasörü başına en fazla 30k dosya kullanmanızı öneririz. Çok fazla dosyaya başvurulduğunda, java sanal makinesi (JVM) yetersiz bellek özel durumu oluşabilir.

Tablo genişliği sınırlamaları

SQL Server 2016'da PolyBase, tablo tanımına göre tek bir geçerli satırın boyut üst sınırına göre 32 KB satır genişliği sınırına sahiptir. Sütun şemasının toplamı 32 KB'tan büyükse PolyBase verileri sorgulayamaz.

Veri türü sınırlamaları

Aşağıdaki veri türleri PolyBase dış tablolarında kullanılamaz:

• coğrafya
• geometri
• hierarchyid
• resim
• Metin
• ntext
• xml
• Kullanıcı tanımlı herhangi bir tür

Veri kaynağına özgü sınırlamalar

Oracle

Oracle eş anlamlıları PolyBase ile kullanım için desteklenmez.

Diziler içeren MongoDB koleksiyonlarına dış tablolar

Diziler içeren MongoDB koleksiyonlarına dış tablolar oluşturmak için, MongoDB için PolyBase ODBC Sürücüsü tarafından algılanan şemayı temel alan bir CREATE EXTERNAL TABLE deyimi oluşturmak üzere Azure Data Studio için Veri Sanallaştırma uzantısını kullanmanız gerekir. Düzleştirme eylemleri sürücü tarafından otomatik olarak gerçekleştirilir. Alternatif olarak, koleksiyon şemasını (sütunlar) algılamak ve dış tabloyu el ile oluşturmak için sp_data_source_objects (Transact-SQL) kullanabilirsiniz. sp_data_source_table_columns saklı yordamı, MongoDB sürücüsü için PolyBase ODBC Sürücüsü aracılığıyla da otomatik olarak düzleştirme gerçekleştirir. Azure Data Studio için Veri Sanallaştırma uzantısı ve sp_data_source_table_columns dış şemayı sorgulamak için aynı iç saklı yordamları kullanır.

Kilitleme

SCHEMARESOLUTION nesnesinde paylaşılan kilit.

Güvenlik

Dış tablonun veri dosyaları Hadoop veya Azure Blob Depolama'da depolanır. Bu veri dosyaları kendi işlemleriniz tarafından oluşturulur ve yönetilir. Dış verilerin güvenliğini yönetmek sizin sorumluluğunuzdadır.

Örnekler

A. Metinle ayrılmış biçimde veri içeren bir dış tablo oluşturma

Bu örnekte, metinle ayrılmış dosyalarda biçimlendirilmiş veriler içeren bir dış tablo oluşturmak için gereken tüm adımlar gösterilir. bir dış veri kaynağı mydatasource ve myfileformatbir dış dosya biçimi tanımlar. Bu veritabanı düzeyindeki nesnelere daha sonra CREATE EXTERNAL TABLE deyiminde başvurulur. Daha fazla bilgi için bkz . CREATE EXTERNAL DATA SOURCE (Transact-SQL) ve CREATE EXTERNAL FILE FORMAT (Transact-SQL).

CREATE EXTERNAL DATA SOURCE mydatasource
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
)

CREATE EXTERNAL FILE FORMAT myfileformat
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (FIELD_TERMINATOR ='|')
);

CREATE EXTERNAL TABLE ClickStream (
    url varchar(50),
    event_date date,
    user_IP varchar(50)
)
WITH (
        LOCATION='/webdata/employee.tbl',
        DATA_SOURCE = mydatasource,
        FILE_FORMAT = myfileformat
    )
;

B. RCFile biçiminde verilerle dış tablo oluşturma

Bu örnekte, RCFiles olarak biçimlendirilmiş veriler içeren bir dış tablo oluşturmak için gereken tüm adımlar gösterilmektedir. bir dış veri kaynağı mydatasource_rc ve myfileformat_rcbir dış dosya biçimi tanımlar. Bu veritabanı düzeyindeki nesnelere daha sonra CREATE EXTERNAL TABLE deyiminde başvurulur. Daha fazla bilgi için bkz . CREATE EXTERNAL DATA SOURCE (Transact-SQL) ve CREATE EXTERNAL FILE FORMAT (Transact-SQL).

CREATE EXTERNAL DATA SOURCE mydatasource_rc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
)

CREATE EXTERNAL FILE FORMAT myfileformat_rc
WITH (
    FORMAT_TYPE = RCFILE,
    SERDE_METHOD = 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
)
;

CREATE EXTERNAL TABLE ClickStream_rc (
    url varchar(50),
    event_date date,
    user_ip varchar(50)
)
WITH (
        LOCATION='/webdata/employee_rc.tbl',
        DATA_SOURCE = mydatasource_rc,
        FILE_FORMAT = myfileformat_rc
    )
;

C. ORC biçiminde verilerle dış tablo oluşturma

Bu örnekte, ORC dosyaları olarak biçimlendirilmiş veriler içeren bir dış tablo oluşturmak için gereken tüm adımlar gösterilir. bir dış veri kaynağı mydatasource_orc ve myfileformat_orcbir dış dosya biçimi tanımlar. Bu veritabanı düzeyindeki nesnelere daha sonra CREATE EXTERNAL TABLE deyiminde başvurulur. Daha fazla bilgi için bkz . CREATE EXTERNAL DATA SOURCE (Transact-SQL) ve CREATE EXTERNAL FILE FORMAT (Transact-SQL).

CREATE EXTERNAL DATA SOURCE mydatasource_orc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
)

CREATE EXTERNAL FILE FORMAT myfileformat_orc
WITH (
    FORMAT = ORC,
    COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
)
;

CREATE EXTERNAL TABLE ClickStream_orc (
    url varchar(50),
    event_date date,
    user_ip varchar(50)
)
WITH (
        LOCATION='/webdata/',
        DATA_SOURCE = mydatasource_orc,
        FILE_FORMAT = myfileformat_orc
    )
;

D. Hadoop verilerini sorgulama

ClickStream, Hadoop kümesindeki sınırlandırılmış employee.tbl metin dosyasına bağlanan bir dış tablodur. Aşağıdaki sorgu, standart tablodaki bir sorguya benzer. Ancak bu sorgu Hadoop'tan veri alır ve sonuçları hesaplar.

SELECT TOP 10 (url) FROM ClickStream WHERE user_ip = 'xxx.xxx.xxx.xxx';

E. Hadoop verilerini SQL verileriyle birleştirme

Bu sorgu, iki SQL tablosu üzerinde standart bir JOIN gibi görünür. Fark, PolyBase'in Hadoop'tan tıklama akışı verilerini alıp UrlDescription tablosuna birleştirmesidir. Tablolardan biri dış tablo, diğeri standart sql tablosudur.

SELECT url.description
FROM ClickStream cs
JOIN UrlDescription url ON cs.url = url.name
WHERE cs.url = 'msdn.microsoft.com';

F. Hadoop'tan SQL tablosuna veri aktarma

Bu örnek, standart SQL tablosu ms_user ile dış tablo userarasında birleştirmenin sonucunu kalıcı olarak depolayan yeni bir SQL tablosu ClickStream oluşturur.

SELECT DISTINCT user.FirstName, user.LastName
INTO ms_user
FROM user INNER JOIN (
    SELECT * FROM ClickStream WHERE cs.url = 'www.microsoft.com'
    ) AS ms
ON user.user_ip = ms.user_ip;

G. SQL Server için dış tablo oluşturma

Veritabanı kapsamlı bir kimlik bilgisi oluşturmadan önce, kullanıcı veritabanının kimlik bilgilerini korumak için bir ana anahtarı olmalıdır. Daha fazla bilgi için bkz . CREATE MASTER KEY (Transact-SQL) ve CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL).

     -- Create a Master Key
      CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'S0me!nfo';
    GO
     /*  specify credentials to external data source
     *  IDENTITY: user name for external source.
     *  SECRET: password for external source.
     */
     CREATE DATABASE SCOPED CREDENTIAL SqlServerCredentials
     WITH IDENTITY = 'username', Secret = 'password';
    GO

SQLServerInstanceadlı yeni bir dış veri kaynağı ve sqlserver.customeradlı dış tablo oluşturun:

    /* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
    * PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
    * CREDENTIAL: the database scoped credential, created above.
    */
    CREATE EXTERNAL DATA SOURCE SQLServerInstance
    WITH (
    LOCATION = 'sqlserver://SqlServer',
    -- PUSHDOWN = ON | OFF,
      CREDENTIAL = SQLServerCredentials
    );
    GO

    CREATE SCHEMA sqlserver;
    GO

     /* LOCATION: sql server table/view in 'database_name.schema_name.object_name' format
     * DATA_SOURCE: the external data source, created above.
     */
     CREATE EXTERNAL TABLE sqlserver.customer(
     C_CUSTKEY INT NOT NULL,
     C_NAME VARCHAR(25) NOT NULL,
     C_ADDRESS VARCHAR(40) NOT NULL,
     C_NATIONKEY INT NOT NULL,
     C_PHONE CHAR(15) NOT NULL,
     C_ACCTBAL DECIMAL(15,2) NOT NULL,
     C_MKTSEGMENT CHAR(10) NOT NULL,
     C_COMMENT VARCHAR(117) NOT NULL
      )
      WITH (
      LOCATION='tpch_10.dbo.customer',
      DATA_SOURCE=SqlServerInstance
     );

Ben. Oracle için dış tablo oluşturma

  -- Create a Master Key
   CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';
   /*
   * Specify credentials to external data source
   * IDENTITY: user name for external source.
   * SECRET: password for external source.
   */
   CREATE DATABASE SCOPED CREDENTIAL credential_name
   WITH IDENTITY = 'username', Secret = 'password';

   /*
   * LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
   * PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
   * CONNECTION_OPTIONS: Specify driver location
   * CREDENTIAL: the database scoped credential, created above.
   */
   CREATE EXTERNAL DATA SOURCE external_data_source_name
   WITH (
     LOCATION = 'oracle://<server address>[:<port>]',
     -- PUSHDOWN = ON | OFF,
     CREDENTIAL = credential_name)

   /*
   * LOCATION: Oracle table/view in '<database_name>.<schema_name>.<object_name>' format. Note this may be case sensitive in the Oracle database.
   * DATA_SOURCE: the external data source, created above.
   */
   CREATE EXTERNAL TABLE customers(
   [O_ORDERKEY] DECIMAL(38) NOT NULL,
   [O_CUSTKEY] DECIMAL(38) NOT NULL,
   [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
   [O_TOTALPRICE] DECIMAL(15,2) NOT NULL,
   [O_ORDERDATE] DATETIME2(0) NOT NULL,
   [O_ORDERPRIORITY] CHAR(15) COLLATE Latin1_General_BIN NOT NULL,
   [O_CLERK] CHAR(15) COLLATE Latin1_General_BIN NOT NULL,
   [O_SHIPPRIORITY] DECIMAL(38) NOT NULL,
   [O_COMMENT] VARCHAR(79) COLLATE Latin1_General_BIN NOT NULL
   )
   WITH (
    LOCATION='DB1.mySchema.customer',
    DATA_SOURCE= external_data_source_name
   );

J. Teradata için dış tablo oluşturma

  -- Create a Master Key
   CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';

   /*
   * Specify credentials to external data source
   * IDENTITY: user name for external source.
   * SECRET: password for external source.
   */
   CREATE DATABASE SCOPED CREDENTIAL credential_name
   WITH IDENTITY = 'username', Secret = 'password';

    /* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
    * PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
    * CONNECTION_OPTIONS: Specify driver location
    * CREDENTIAL: the database scoped credential, created above.
    */
    CREATE EXTERNAL DATA SOURCE external_data_source_name
    WITH (
    LOCATION = teradata://<server address>[:<port>],
   -- PUSHDOWN = ON | OFF,
    CREDENTIAL =credential_name
    );

     /* LOCATION: Teradata table/view in '<database_name>.<object_name>' format
      * DATA_SOURCE: the external data source, created above.
      */
     CREATE EXTERNAL TABLE customer(
      L_ORDERKEY INT NOT NULL,
      L_PARTKEY INT NOT NULL,
     L_SUPPKEY INT NOT NULL,
     L_LINENUMBER INT NOT NULL,
     L_QUANTITY DECIMAL(15,2) NOT NULL,
     L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
     L_DISCOUNT DECIMAL(15,2) NOT NULL,
     L_TAX DECIMAL(15,2) NOT NULL,
     L_RETURNFLAG CHAR NOT NULL,
     L_LINESTATUS CHAR NOT NULL,
     L_SHIPDATE DATE NOT NULL,
     L_COMMITDATE DATE NOT NULL,
     L_RECEIPTDATE DATE NOT NULL,
     L_SHIPINSTRUCT CHAR(25) NOT NULL,
     L_SHIPMODE CHAR(10) NOT NULL,
     L_COMMENT VARCHAR(44) NOT NULL
     )
     WITH (
     LOCATION='customer',
     DATA_SOURCE= external_data_source_name
     );

K. MongoDB için dış tablo oluşturma

  -- Create a Master Key
   CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';

   /*
   * Specify credentials to external data source
   * IDENTITY: user name for external source.
   * SECRET: password for external source.
   */
   CREATE DATABASE SCOPED CREDENTIAL credential_name
   WITH IDENTITY = 'username', Secret = 'password';

     /* LOCATION: Location string should be of format '<type>://<server>[:<port>]'.
    * PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
    * CONNECTION_OPTIONS: Specify driver location
    * CREDENTIAL: the database scoped credential, created above.
    */
    CREATE EXTERNAL DATA SOURCE external_data_source_name
    WITH (
    LOCATION = mongodb://<server>[:<port>],
    -- PUSHDOWN = ON | OFF,
      CREDENTIAL = credential_name
    );

     /* LOCATION: MongoDB table/view in '<database_name>.<schema_name>.<object_name>' format
     * DATA_SOURCE: the external data source, created above.
     */
     CREATE EXTERNAL TABLE customers(
     [O_ORDERKEY] DECIMAL(38) NOT NULL,
     [O_CUSTKEY] DECIMAL(38) NOT NULL,
     [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
     [O_TOTALPRICE] DECIMAL(15,2) NOT NULL,
     [O_ORDERDATE] DATETIME2(0) NOT NULL,
     [O_COMMENT] VARCHAR(79) COLLATE Latin1_General_BIN NOT NULL
     )
     WITH (
     LOCATION='customer',
     DATA_SOURCE= external_data_source_name
     );

L. Dış tablo aracılığıyla S3 uyumlu nesne depolamayı sorgulama

Şunlar için geçerlidir: SQL Server 2022 (16.x) ve üzeri

Aşağıdaki örnek, dış tabloyu sorgulayarak S3 uyumlu nesne depolama alanında depolanan bir parquet dosyasını sorgulamak için T-SQL'in kullanılmasını gösterir. Örnek, dış veri kaynağı içinde göreli bir yol kullanır.

CREATE EXTERNAL DATA SOURCE s3_ds
WITH
(   LOCATION = 's3://<ip_address>:<port>/'
,   CREDENTIAL = s3_dc
);
GO
CREATE EXTERNAL FILE FORMAT ParquetFileFormat WITH(FORMAT_TYPE = PARQUET);
GO
CREATE EXTERNAL TABLE Region(
r_regionkey BIGINT,
r_name CHAR(25),
r_comment VARCHAR(152) )
WITH (LOCATION = '/region/', DATA_SOURCE = 's3_ds',
FILE_FORMAT = ParquetFileFormat);
GO

İlgili içerik

• CREATE EXTERNAL DATA SOURCE (Transact-SQL)
• CREATE EXTERNAL FILE FORMAT (Transact-SQL)
• sp_data_source_objects (Transact-SQL)
• Azure Data Studio için Veri Sanallaştırma uzantısı