Azure Data Factory veya Azure Synapse Analytics kullanarak Microsoft Fabric Warehouse'da verileri kopyalama ve dönüştürme
UYGULANANLAR: Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Bu makalede, Microsoft Fabric Warehouse'dan ve Microsoft Fabric Warehouse'a veri kopyalamak için Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun.
Desteklenen özellikler
Bu Microsoft Fabric Warehouse bağlayıcısı aşağıdaki özellikler için desteklenir:
Desteklenen özellikler | IR | Yönetilen özel uç nokta |
---|---|---|
Kopyalama etkinliği (kaynak/havuz) | (1) (2) | ✓ |
Arama etkinliği | (1) (2) | ✓ |
GetMetadata etkinliği | (1) (2) | ✓ |
Betik etkinliği | (1) (2) | ✓ |
Saklı yordam etkinliği | (1) (2) | ✓ |
(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı
Kullanmaya başlayın
İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:
- Veri Kopyalama aracı
- Azure portal
- .NET SDK'sı
- Python SDK'sı
- Azure PowerShell
- The REST API
- Azure Resource Manager şablonu
Kullanıcı arabirimini kullanarak Microsoft Fabric Warehouse bağlı hizmeti oluşturma
Azure portalı kullanıcı arabiriminde bir Microsoft Fabric Warehouse bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.
Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine gidin ve Bağlı Hizmetler'i ve ardından Yeni'yi seçin:
Ambar'ı arayın ve bağlayıcıyı seçin.
Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.
Bağlan veya yapılandırma ayrıntıları
Aşağıdaki bölümlerde, Microsoft Fabric Warehouse'a özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.
Bağlı hizmet özellikleri
Microsoft Fabric Warehouse bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:
Hizmet sorumlusu kimlik doğrulaması
Hizmet sorumlusu kimlik doğrulamasını kullanmak için aşağıdaki adımları izleyin.
Bir uygulamayı Microsoft Identity platformuna kaydedin ve bir istemci gizli dizisi ekleyin. Daha sonra, bağlı hizmeti tanımlamak için kullandığınız bu değerleri not edin:
- Bağlı hizmetteki hizmet sorumlusu kimliği olan uygulama (istemci) kimliği.
- Bağlı hizmetteki hizmet sorumlusu anahtarı olan istemci gizli anahtarı.
- Kiracı kimliği
Hizmet sorumlusuna en azından Microsoft Fabric çalışma alanında Katkıda Bulunan rolü verin. Şu adımları izleyin:
Microsoft Fabric çalışma alanınıza gidin, üst çubukta Erişimi yönet'i seçin. Ardından Kişi veya grup ekle'yi seçin.
Kişi ekle bölmesinde hizmet asıl adınızı girin ve açılan listeden hizmet sorumlunuzu seçin.
Rolü Katkıda Bulunan veya üzeri (Yönetici, Üye) olarak belirtin ve ekle'yi seçin.
Hizmet sorumlunuz Erişimi yönet bölmesinde görüntülenir.
Bu özellikler bağlı hizmet için desteklenir:
Özellik | Açıklama | Gerekli |
---|---|---|
Tür | Tür özelliği Ambar olarak ayarlanmalıdır. | Yes |
endpoint | Microsoft Fabric Warehouse sunucusunun uç noktası. | Yes |
workspaceId | Microsoft Fabric çalışma alanı kimliği. | Yes |
Artifactıd | Microsoft Fabric Warehouse nesne kimliği. | Yes |
tenant | Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alın. | Yes |
servicePrincipalId | Uygulamanın istemci kimliğini belirtin. | Yes |
servicePrincipalCredentialType | Hizmet sorumlusu kimlik doğrulaması için kullanılacak kimlik bilgisi türü. İzin verilen değerler ServicePrincipalKey ve ServicePrincipalCert değerleridir. | Yes |
servicePrincipalCredential | Hizmet sorumlusu kimlik bilgileri. Kimlik bilgisi türü olarak ServicePrincipalKey kullandığınızda, uygulamanın istemci gizli dizi değerini belirtin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. Kimlik bilgisi olarak ServicePrincipalCert kullandığınızda Azure Key Vault'taki bir sertifikaya başvurun ve sertifika içerik türünün PKCS #12 olduğundan emin olun. |
Yes |
connectVia | Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır. | Hayır |
Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma
Hizmet sorumlusu anahtarını Azure Key Vault'ta da depolayabilirsiniz.
{
"name": "MicrosoftFabricWarehouseLinkedService",
"properties": {
"type": "Warehouse",
"typeProperties": {
"endpoint": "<Microsoft Fabric Warehouse server endpoint>",
"workspaceId": "<Microsoft Fabric workspace ID>",
"artifactId": "<Microsoft Fabric Warehouse object ID>",
"tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
"servicePrincipalId": "<service principal id>",
"servicePrincipalCredentialType": "ServicePrincipalKey",
"servicePrincipalCredential": {
"type": "SecureString",
"value": "<service principal key>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Veri kümesi özellikleri
Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın.
Microsoft Fabric Warehouse veri kümesi için aşağıdaki özellikler desteklenir:
Özellik | Açıklama | Gerekli |
---|---|---|
Tür | Veri kümesinin tür özelliği WarehouseTable olarak ayarlanmalıdır. | Yes |
schema | Şemanın adı. | Kaynak için Hayır, havuz için Evet |
table | Tablo/görünümün adı. | Kaynak için Hayır, havuz için Evet |
Veri kümesi özellikleri örneği
{
"name": "FabricWarehouseTableDataset",
"properties": {
"type": "WarehouseTable",
"linkedServiceName": {
"referenceName": "<Microsoft Fabric Warehouse linked service name>",
"type": "LinkedServiceReference"
},
"schema": [ < physical schema, optional, retrievable during authoring >
],
"typeProperties": {
"schema": "<schema_name>",
"table": "<table_name>"
}
}
}
Kopyalama etkinliğinin özellikleri
Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için bkz. Kopyalama etkinliği yapılandırmaları ve İşlem hatları ve etkinlikler. Bu bölüm, Microsoft Fabric Warehouse kaynağı ve havuzu tarafından desteklenen özelliklerin listesini sağlar.
Kaynak olarak Microsoft Fabric Warehouse
İpucu
Veri bölümlemeyi kullanarak Microsoft Fabric Warehouse'dan verileri verimli bir şekilde yüklemek için Microsoft Fabric Warehouse'dan paralel kopyalama bölümünden daha fazla bilgi edinin.
Microsoft Fabric Warehouse'dan veri kopyalamak için, Kopyalama Etkinliği kaynağındaki type özelliğini WarehouseSource olarak ayarlayın. Kopyalama Etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:
Özellik | Açıklama | Gerekli |
---|---|---|
Tür | Kopyalama Etkinliği kaynağının tür özelliği WarehouseSource olarak ayarlanmalıdır. | Yes |
sqlReaderQuery | Verileri okumak için özel SQL sorgusunu kullanın. Örnek: select * from MyTable . |
Hayır |
sqlReaderStoredProcedureName | Kaynak tablodaki verileri okuyan saklı yordamın adı. Son SQL deyimi, saklı yordamda bir SELECT deyimi olmalıdır. | Hayır |
storedProcedureParameters | Saklı yordam için parametreler. İzin verilen değerler ad veya değer çiftleridir. Parametrelerin adları ve büyük/küçük harf değerleri saklı yordam parametrelerinin adlarıyla ve büyük/küçük harfleriyle eşleşmelidir. |
Hayır |
Querytimeout | Sorgu komutu yürütme zaman aşımını belirtir. Varsayılan değer 120 dakikadır. | Hayır |
ısolationlevel | SQL kaynağı için işlem kilitleme davranışını belirtir. İzin verilen değer Snapshot değeridir. Belirtilmezse, veritabanının varsayılan yalıtım düzeyi kullanılır. Daha fazla bilgi için bkz . system.data.isolationlevel. | Hayır |
partitionOptions | Microsoft Fabric Warehouse'dan veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtir. İzin verilen değerler şunlardır: Yok (varsayılan) ve DynamicRange. Bir bölüm seçeneği etkinleştirildiğinde (yani değil None ), Microsoft Fabric Warehouse'dan verileri eşzamanlı olarak yüklemek için paralellik derecesi kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenir. |
Hayır |
bölüm Ayarlar | Veri bölümleme ayarlarının grubunu belirtin. Bölüm seçeneği olmadığında None uygulayın. |
Hayır |
altında partitionSettings : |
||
partitionColumnName | Paralel kopyalama için aralık bölümleme tarafından kullanılacak kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int , smallint , bigint , date , ) datetime2 belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır.Bölüm seçeneği olduğunda DynamicRange uygulayın. Kaynak verileri almak için bir sorgu kullanırsanız WHERE yan tümcesine bağlanın ?DfDynamicRangePartitionCondition . Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın. |
Hayır |
partitionUpperBound | Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği olduğunda DynamicRange uygulayın. Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın. |
Hayır |
partitionLowerBound | Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği olduğunda DynamicRange uygulayın. Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın. |
Hayır |
Not
Verileri almak için kaynakta saklı yordamı kullanırken, saklı yordamınızın farklı parametre değeri geçirildiğinde farklı şema döndürme olarak tasarlanıp tasarlanmadiğini, kullanıcı arabiriminden şema içeri aktarılırken veya otomatik tablo oluşturma ile Microsoft Fabric Warehouse'a veri kopyalarken hatayla karşılaşabileceğinizi veya beklenmeyen bir sonuçla karşılaşabileceğinizi unutmayın.
Örnek: SQL sorgusu kullanma
"activities":[
{
"name": "CopyFromMicrosoftFabricWarehouse",
"type": "Copy",
"inputs": [
{
"referenceName": "<Microsoft Fabric Warehouse input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "WarehouseSource",
"sqlReaderQuery": "SELECT * FROM MyTable"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Örnek: saklı yordamı kullanma
"activities":[
{
"name": "CopyFromMicrosoftFabricWarehouse",
"type": "Copy",
"inputs": [
{
"referenceName": "<Microsoft Fabric Warehouse input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "WarehouseSource",
"sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
"storedProcedureParameters": {
"stringData": { "value": "str3" },
"identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
}
},
"sink": {
"type": "<sink type>"
}
}
}
]
Örnek saklı yordam:
CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
@stringData varchar(20),
@identifier int
)
AS
SET NOCOUNT ON;
BEGIN
select *
from dbo.UnitTestSrcTable
where dbo.UnitTestSrcTable.stringData != stringData
and dbo.UnitTestSrcTable.identifier != identifier
END
GO
Havuz türü olarak Microsoft Fabric Warehouse
Azure Data Factory ve Synapse işlem hatları, Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma özelliğini destekler.
Microsoft Fabric Warehouse'a veri kopyalamak için Kopyalama Etkinliği'ndeki havuz türünü WarehouseSink olarak ayarlayın. Kopyalama Etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:
Özellik | Açıklama | Gerekli |
---|---|---|
Tür | Kopyalama Etkinliği havuzu type özelliği WarehouseSink olarak ayarlanmalıdır. | Yes |
allowCopyCommand | Microsoft Fabric Warehouse'a veri yüklemek için COPY deyiminin kullanılıp kullanılmayacağını gösterir. Kısıtlamalar ve ayrıntılar için bkz . Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma. İzin verilen değer True'dur. |
Yes |
copyCommand Ayarlar | Özellik TRUE olarak ayarlandığında belirtilebilen allowCopyCommand bir özellik grubu. |
Hayır |
writeBatchTimeout | Bu özellik, zaman aşımına uğramadan önce ekleme, upsert ve saklı yordam işleminin tamamlanması için bekleme süresini belirtir. İzin verilen değerler zaman aralığı içindir. 30 dakika boyunca "00:30:00" örnektir. Değer belirtilmezse, zaman aşımı varsayılan olarak "00:30:00" olur |
Hayır |
preCopyScript | Her çalıştırmada Microsoft Fabric Warehouse'a veri yazmadan önce Kopyalama Etkinliği için bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın. | Hayır |
Tableoption | Kaynak şemayı temel alarak havuz tablosunun yoksa otomatik olarak oluşturulup oluşturulmayacağını belirtir. İzin verilen değerler şunlardır: none (varsayılan), autoCreate . |
Hayır |
disableMetricsCollection | Hizmet, kopyalama performansı iyileştirmesi için ölçümler ve ek ana veritabanı erişimi sunan öneriler toplar. Bu davranışla ilgileniyorsanız, kapatmak için belirtin true . |
Hayır (varsayılan değer )false |
Örnek: Microsoft Fabric Warehouse havuzu
"activities":[
{
"name": "CopyToMicrosoftFabricWarehouse",
"type": "Copy",
"inputs": [
{
"referenceName": "<input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Microsoft Fabric Warehouse output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>"
},
"sink": {
"type": "WarehouseSink",
"allowCopyCommand": true,
"tableOption": "autoCreate",
"disableMetricsCollection": false
}
}
}
]
Microsoft Fabric Warehouse'dan paralel kopya
Kopyalama etkinliğindeki Microsoft Fabric Warehouse bağlayıcısı, verileri paralel olarak kopyalamak için yerleşik veri bölümleme sağlar. Veri bölümleme seçeneklerini kopyalama etkinliğinin Kaynak sekmesinde bulabilirsiniz.
Bölümlenmiş kopyalamayı etkinleştirdiğinizde kopyalama etkinliği, verileri bölümlere göre yüklemek için Microsoft Fabric Warehouse kaynağınızda paralel sorgular çalıştırır. Paralel derece, kopyalama etkinliğindeki parallelCopies
ayar tarafından denetlenilir. Örneğin, dört olarak ayarlarsanız parallelCopies
, hizmet aynı anda belirtilen bölüm seçeneğinize ve ayarlarınıza göre dört sorgu oluşturur ve çalıştırır ve her sorgu Microsoft Fabric Warehouse'unuzdan verilerin bir bölümünü alır.
Özellikle Microsoft Fabric Warehouse'unuzdan büyük miktarda veri yüklediğinizde veri bölümleme ile paralel kopyalamayı etkinleştirmeniz önerilir. Farklı senaryolar için önerilen yapılandırmalar aşağıdadır. Verileri dosya tabanlı veri deposuna kopyalarken, bir klasöre birden çok dosya olarak yazmanız önerilir (yalnızca klasör adını belirtin), bu durumda performans tek bir dosyaya yazmaktan daha iyidir.
Senaryo | Önerilen ayarlar |
---|---|
Veri bölümleme için tamsayı veya tarih saat sütunuyla birlikte büyük tablodan tam yük. | Bölüm seçenekleri: Dinamik aralık bölümü. Bölüm sütunu (isteğe bağlı): Verileri bölümleme için kullanılan sütunu belirtin. Belirtilmezse, dizin veya birincil anahtar sütunu kullanılır. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu, tablodaki satırları filtrelemek için değildir ve tablodaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değerleri otomatik olarak algılar. Örneğin, "ID" bölüm sütununuzun değerleri 1 ile 100 arasındaysa ve alt sınırı 20, üst sınırı da 80 olarak ayarladıysanız, paralel kopya 4 bölüme göre veri alır: =20, [21, 50], [51, 80] ve >=81 aralığındaki <kimlikler. |
Veri bölümleme için tamsayı veya tarih/tarih saat sütunuyla birlikte özel bir sorgu kullanarak büyük miktarda veri yükleyin. | Bölüm seçenekleri: Dinamik aralık bölümü. Sorgu: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> .Bölüm sütunu: Verileri bölümleme için kullanılan sütunu belirtin. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu tablodaki satırları filtrelemek için değildir ve sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Örneğin, bölüm sütununuz "ID" 1 ile 100 arasında değerlere sahipse ve alt sınırı 20, üst sınırı 80 olarak ayarlarsanız ve paralel kopya 4 olarak ayarlanırsa, hizmet verileri sırasıyla =20, [21, 50], [51, 80] ve >=81 aralığındaki <4 bölüme göre alır. Farklı senaryolar için daha fazla örnek sorgu aşağıda verilmiştir: 1. Tablonun tamamını sorgula: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition 2. Sütun seçimi ve ek where-yan tümcesi filtreleri içeren bir tablodan sorgu yapın: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 3. Alt sorgularla sorgu: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 4. Alt sorguda bölüm içeren sorgu: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T |
Bölüm seçeneğiyle veri yüklemek için en iyi yöntemler:
- Veri dengesizliği önlemek için bölüm sütunu (birincil anahtar veya benzersiz anahtar gibi) olarak ayırt edici sütunu seçin.
- Verileri kopyalamak için Azure Integration Runtime kullanıyorsanız, daha fazla bilgi işlem kaynağı kullanmak için daha büyük "Veri Entegrasyonu Birimleri (DIU)" (>4) ayarlayabilirsiniz. İlgili senaryoları burada kontrol edin.
- "Kopyalama paralelliği derecesi" bölüm numaralarını denetler, bu sayıyı bazen çok büyük ayarlamak performansı düşürür, bu sayıyı (ŞIRKET içinde barındırılan IR düğümlerinin DIU veya sayısı) * (2 - 4) olarak ayarlamanızı öneririz.
- Microsoft Fabric Warehouse'un şu anda en fazla 32 sorgu yürütebileceğini ve "Kopyalama paralelliği derecesi" ayarının çok büyük olması Bir Ambar azaltma sorununa neden olabilir.
Örnek: dinamik aralık bölümü olan sorgu
"source": {
"type": "WarehouseSource",
"query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
"partitionOption": "DynamicRange",
"partitionSettings": {
"partitionColumnName": "<partition_column_name>",
"partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
"partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
}
}
Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma
COPY deyimini kullanmak, yüksek aktarım hızıyla Microsoft Fabric Warehouse'a veri yüklemenin basit ve esnek bir yoludur. Daha fazla bilgi edinmek için COPY deyimini kullanarak verileri toplu yükleme seçeneğini işaretleyin
- Kaynak verileriniz Azure Blob veya Azure Data Lake Storage 2. Nesil ise ve biçim COPY deyimiyle uyumluysa, Kopyalama etkinliğini kullanarak copy deyimini doğrudan çağırarak Microsoft Fabric Warehouse'un verileri kaynaktan çekmesini sağlayabilirsiniz. Ayrıntılar için bkz . COPY deyimini kullanarak doğrudan kopyalama.
- Kaynak veri deponuz ve biçiminiz başlangıçta COPY deyimi tarafından desteklenmiyorsa, bunun yerine COPY deyimi özelliğini kullanarak Aşamalı kopyayı kullanın. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Verileri otomatik olarak COPY deyimiyle uyumlu biçime dönüştürür, verileri Azure Blob depolamada depolar, ardından Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini çağırır.
İpucu
Azure Integration Runtime ile COPY deyimi kullanıldığında etkin Veri Entegrasyonu Birimleri (DIU) her zaman 2 olur. DIU'nun ayarlanması performansı etkilemez.
COPY deyimini kullanarak doğrudan kopyalama
Microsoft Fabric Warehouse COPY deyimi Azure Blob, Azure Data Lake Storage 1. Nesil ve Azure Data Lake Storage 2. Nesil doğrudan destekler. Kaynak verileriniz bu bölümde açıklanan ölçütleri karşılıyorsa, doğrudan kaynak veri deposundan Microsoft Fabric Warehouse'a kopyalamak için COPY deyimini kullanın. Aksi takdirde, COPY deyimini kullanarak Aşamalı kopya kullanın. Hizmet ayarları denetler ve ölçütler karşılanmazsa kopyalama etkinliği çalıştırmasını başarısız olur.
Kaynak bağlı hizmet ve biçim aşağıdaki türlerde ve kimlik doğrulama yöntemlerindedir:
Desteklenen kaynak veri deposu türü Desteklenen biçim Desteklenen kaynak kimlik doğrulama türü Azure Blob Sınırlandırılmış metin Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması Parke Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması Azure Data Lake Storage 2. Nesil Sınırlandırılmış metin
ParkeHesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması Biçim ayarları aşağıdakilerle birliktedir:
- Parquet için:
compression
sıkıştırma, Snappy veyaGZip
olamaz. - Sınırlandırılmış metin için:
rowDelimiter
açıkça tek karakter veya "\r\n" olarak ayarlanır, varsayılan değer desteklenmez.nullValue
varsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır.encodingName
varsayılan olarak bırakılır veya utf-8 veya utf-16 olarak ayarlanır.escapeChar
ile aynıquoteChar
olmalı ve boş olmamalıdır.skipLineCount
varsayılan olarak bırakılır veya 0 olarak ayarlanır.compression
sıkıştırma veyaGZip
olamaz.
- Parquet için:
Kaynağınız bir klasörse,
recursive
kopyalama etkinliğinde true olarak ayarlanmalıdır vewildcardFilename
veya*.*
olmalıdır*
.wildcardFolderPath
,wildcardFilename
(veya*.*
dışında*
),modifiedDateTimeStart
,modifiedDateTimeEnd
,prefix
,enablePartitionDiscovery
veadditionalColumns
belirtilmez.
Kopyalama etkinliği altında allowCopyCommand
aşağıdaki COPY deyimi ayarları desteklenir:
Özellik | Açıklama | Gerekli |
---|---|---|
defaultValues | Microsoft Fabric Warehouse'daki her hedef sütun için varsayılan değerleri belirtir. özelliğindeki varsayılan değerler, veri ambarında ayarlanan DEFAULT kısıtlamasının üzerine yazılır ve kimlik sütununda varsayılan değer bulunamaz. | Hayır |
additionalOptions | Microsoft Fabric Warehouse COPY deyimine doğrudan COPY deyimindeki "With" yan tümcesinde geçirilecek ek seçenekler. COPY deyimi gereksinimleriyle uyumlu hale getirmek için değeri gerektiği gibi alıntılayın. | Hayır |
"activities":[
{
"name": "CopyFromAzureBlobToMicrosoftFabricWarehouseViaCOPY",
"type": "Copy",
"inputs": [
{
"referenceName": "ParquetDataset",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "MicrosoftFabricWarehouseDataset",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "ParquetSource",
"storeSettings":{
"type": "AzureBlobStorageReadSettings",
"recursive": true
}
},
"sink": {
"type": "WarehouseSink",
"allowCopyCommand": true,
"copyCommandSettings": {
"defaultValues": [
{
"columnName": "col_string",
"defaultValue": "DefaultStringValue"
}
],
"additionalOptions": {
"MAXERRORS": "10000",
"DATEFORMAT": "'ymd'"
}
}
},
"enableSkipIncompatibleRow": true
}
}
]
COPY deyimi kullanılarak hazırlanan kopyalama
Kaynak verileriniz COPY deyimiyle yerel olarak uyumlu değilse, ara hazırlama Azure Blobu veya Azure Data Lake Storage 2. Nesil (Azure Premium Depolama olamaz) aracılığıyla veri kopyalamayı etkinleştirin. Bu durumda hizmet, copy deyiminin veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak dönüştürür. Ardından, Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini çağırır. Son olarak, geçici verilerinizi depolama alanından temizler. Hazırlama yoluyla veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.
Bu özelliği kullanmak için, azure depolama hesabına geçici depolama olarak başvuran hesap anahtarı veya sistem tarafından yönetilen kimlik kimlik doğrulaması ile Azure Blob Depolama bağlı bir hizmet veya bağlı hizmet Azure Data Lake Storage 2. Nesil oluşturun.
Önemli
- Hazırlama bağlı hizmetiniz için yönetilen kimlik kimlik doğrulamasını kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
- Hazırlama Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırılmışsa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkin yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.
Önemli
Hazırlama Azure Depolama Yönetilen Özel Uç Nokta ile yapılandırılmışsa ve depolama güvenlik duvarı etkinleştirilmişse, yönetilen kimlik doğrulaması kullanmanız ve COPY deyimi yükü sırasında hazırlanmış dosyalara erişebildiğinden emin olmak için Synapse SQL Server'a Depolama Blob Veri Okuyucusu izinleri vermelisiniz.
"activities":[
{
"name": "CopyFromSQLServerToMicrosoftFabricWarehouseViaCOPYstatement",
"type": "Copy",
"inputs": [
{
"referenceName": "SQLServerDataset",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "MicrosoftFabricWarehouseDataset",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "SqlSource",
},
"sink": {
"type": "WarehouseSink",
"allowCopyCommand": true
},
"stagingSettings": {
"linkedServiceName": {
"referenceName": "MyStagingStorage",
"type": "LinkedServiceReference"
}
}
}
}
]
Arama etkinliği özellikleri
Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.
GetMetadata etkinlik özellikleri
Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin
Microsoft Fabric Warehouse için veri türü eşlemesi
Microsoft Fabric Warehouse'dan veri kopyaladığınızda, aşağıdaki eşlemeler Microsoft Fabric Warehouse veri türlerinden hizmet içindeki ara veri türlerine dahili olarak kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.
Microsoft Fabric Warehouse veri türü | Data Factory geçici veri türü |
---|---|
bigint | Int64 |
ikili | Bayt[] |
bit | Boolean |
char | Dize, Karakter[] |
tarih | DateTime |
datetime2 | DateTime |
Decimal | Ondalık |
FILESTREAM özniteliği (varbinary(max)) | Bayt[] |
Satışa Arz | Çift |
int | Int32 |
sayısal | Ondalık |
real | Tekli |
smallint | Int16 |
time | TimeSpan |
uniqueidentifier | GUID |
Varbinary | Bayt[] |
varchar | Dize, Karakter[] |
Sonraki adımlar
Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.