Aracılığıyla paylaş

Azure Data Factory veya Synapse Analytics kullanarak Amazon Redshift'ten veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Bir Amazon Redshift'ten veri kopyalamak için Azure Data Factory ve Synapse Analytics işlem hatlarında Kopyalama Etkinliğinin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Önemli

Amazon Redshift sürüm 2.0, geliştirilmiş yerel Amazon Redshift desteği sağlar. Çözümünüzde Amazon Redshift 1.0 sürümünü kullanıyorsanız, sürüm 1.0 Destek Sonu aşamasında olduğundan lütfen Amazon Redshift bağlayıcınızı yükseltin. İşlem hattınız 31 Mart 2026'da başarısız olacak. Sürüm 2.0 ile sürüm 1.0 arasındaki fark hakkında ayrıntılı bilgi için bu bölüme bakın.

Desteklenen özellikler

Bu Amazon Redshift bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler Kızılötesi
Kopyalama etkinliği (kaynak/-) (1) (2)
Arama etkinliği (1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Amazon Redshift bağlayıcısı sorgu veya yerleşik Redshift UNLOAD desteği kullanarak Redshift'ten veri almayı destekler.

Bağlayıcı, bu makaledeki Windows sürümlerini destekler.

İpucu

Redshift'ten büyük miktarda veri kopyalarken en iyi performansı elde etmek için Yerleşik Redshift UNLOAD'ı Amazon S3 aracılığıyla kullanmayı göz önünde bulundurun. Ayrıntılar için Bkz . Amazon Redshift'ten veri kopyalamak için UNLOAD kullanma.

Önkoşullar

Şirket içinde barındırılan Integration Runtime kullanarak şirket içi veri deposuna veri kopya ediyorsanız, Integration Runtime'a (makinenin IP adresini kullanın) Amazon Redshift kümesine erişim verin. Yönergeler için bkz . Kümeye erişimi yetkilendirme. Sürüm 2.0 için yerel olarak barındırılan entegrasyon çalışma zamanı sürümünüz 5.61 veya üzeri olmalıdır.

Verileri bir Azure veri deposuna kopyalanıyorsanız bkz . Azure veri merkezleri tarafından kullanılan İşlem IP adresi ve SQL aralıkları için Azure Veri Merkezi IP Aralıkları .

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa Azure Integration Runtime IP'lerini izin verme listesine ekleyebilirsiniz.

Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini kullanarak, şirket içi ağa erişmek için kendi barındırılan bir tümleştirme çalışma zamanı yüklemenize veya yapılandırmanıza gerek yoktur.

Başlarken

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Amazon Redshift'e bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Amazon Redshift'e bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

  2. Amazon için arama yapın ve Amazon Redshift bağlayıcısını seçin.

    Amazon Redshift bağlayıcısını seçin.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Amazon Redshift'e bağlı bir hizmet yapılandırın.

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Amazon Redshift bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Amazon Redshift bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Tür özelliği şu şekilde ayarlanmalıdır: AmazonRedshift Evet
Sürüm Belirttiğiniz sürüm. Sürüm 2.0 için evet.
sunucu Amazon Redshift sunucusunun IP adresi veya ana bilgisayar adı. Evet
liman Amazon Redshift sunucusunun istemci bağlantılarını dinlemek için kullandığı TCP bağlantı noktasının sayısı. Hayır, varsayılan değer 5439'dur
veritabanı Amazon Redshift veritabanının adı. Evet
kullanıcı adı Veritabanına erişimi olan kullanıcının adı. Evet
şifre Kullanıcı hesabının parolası. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. Evet
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Azure Integration Runtime veya Kendi Kendine Barındırılan Tümleştirme Çalışma Zamanı'nı (veri deponuz özel ağda bulunuyorsa) kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Hayır

Uyarı

Sürüm 2.0, Azure Integration Runtime ve Kendi Kendine Barındırılan Integration Runtime sürüm 5.61 veya üzerini destekler. Kendi Kendine Barındırılan Integration Runtime sürüm 5.61 veya üzeri ile sürücü yüklemesi artık gerekli değildir.

Örnek: sürüm 2.0

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "version": "2.0",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: sürüm 1.0

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde Amazon Redshift veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Amazon Redshift'ten veri kopyalamak için aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: AmazonRedshiftTable Evet
şema Şemanın adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tablo Tablonun adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tabloAdı Şema içeren tablonun adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için ve schema kullanıntable. Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "AmazonRedshiftDataset",
    "properties":
    {
        "type": "AmazonRedshiftTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Amazon Redshift linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Yazılan veri kümesini kullanıyorsanız RelationalTable , bu veri kümesi olduğu gibi desteklenirken, ileriye dönük yeni bir veri kümesini kullanmanız önerilir.

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde Amazon Redshift kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Amazon Redshift

Amazon Redshift'ten veri kopyalamak için kopyalama etkinliğindeki kaynak türünü AmazonRedshiftSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: AmazonRedshiftSource Evet
soru Verileri okumak için özel sorguyu kullanın. Örneğin: MyTable'dan * öğesini seçin. Hayır (veri kümesinde "tableName" belirtilirse)
Redshift Boşaltma Ayarları Amazon Redshift UNLOAD kullanılırken özellik grubu. Hayır
s3LinkedServiceName "AmazonS3" türüne bağlı bir hizmet adı belirterek geçici mağaza olarak kullanılacak bir Amazon S3'e başvurur. UNLOAD kullanıyorsanız Evet
bucketName (kova adı) Ara verileri depolamak için S3 demetini belirtin. Sağlanmazsa, hizmet otomatik olarak oluşturur. UNLOAD kullanıyorsanız Evet

Örnek: UNLOAD kullanarak kopyalama etkinliğinde Amazon Redshift kaynağı

"source": {
    "type": "AmazonRedshiftSource",
    "query": "<SQL query>",
    "redshiftUnloadSettings": {
        "s3LinkedServiceName": {
            "referenceName": "<Amazon S3 linked service>",
            "type": "LinkedServiceReference"
        },
        "bucketName": "bucketForUnload"
    }
}

Sonraki bölümden Amazon Redshift'ten verileri verimli bir şekilde kopyalamak için UNLOAD'ı kullanma hakkında daha fazla bilgi edinin.

Amazon Redshift'ten veri kopyalamak için UNLOAD kullanma

UNLOAD , Amazon Redshift tarafından sağlanan ve bir sorgunun sonuçlarını Amazon Simple Storage Service'teki (Amazon S3) bir veya daha fazla dosyaya kaldırabilen bir mekanizmadır. Büyük veri kümesini Redshift'ten kopyalamak için Amazon tarafından önerilen yöntemdir.

Örnek: UNLOAD, aşamalı kopyalama ve PolyBase kullanarak Amazon Redshift'ten Azure Synapse Analytics'e veri kopyalama

Bu örnek kullanım örneği için kopyalama etkinliği, "redshiftUnloadSettings" içinde yapılandırıldığı gibi Amazon Redshift'ten Amazon S3'e veri kaldırır ve ardından "stagingSettings" içinde belirtildiği gibi Verileri Amazon S3'ten Azure Blob'a kopyalar, son olarak Verileri Azure Synapse Analytics'e yüklemek için PolyBase'i kullanır. Tüm ara biçim, kopyalama etkinliği tarafından düzgün şekilde işlenir.

Redshift'e Azure Synapse Analytics kopyalama iş akışı 

"activities":[
    {
        "name": "CopyFromAmazonRedshiftToSQLDW",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "AmazonRedshiftDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRedshiftSource",
                "query": "select * from MyTable",
                "redshiftUnloadSettings": {
                    "s3LinkedServiceName": {
                        "referenceName": "AmazonS3LinkedService",
                        "type": "LinkedServiceReference"
                    },
                    "bucketName": "bucketForUnload"
                }
            },
            "sink": {
                "type": "SqlDWSink",
                "allowPolyBase": true
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": "AzureStorageLinkedService",
                "path": "adfstagingcopydata"
            },
            "dataIntegrationUnits": 32
        }
    }
]

Amazon Redshift için veri türü eşlemesi

Amazon Redshift'ten veri kopyaladığınızda, aşağıdaki eşlemeler Amazon Redshift'in veri türlerinden hizmet tarafından kullanılan iç veri türlerine uygulanır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Amazon Redshift veri türü Ara hizmet veri türü (sürüm 2.0 için) Ara hizmet veri türü (sürüm 1.0 için)
BIGINT Int64 Int64
boolean Boolean (Boole Mantığı) Dize
CHAR Dize Dize
TARİH Tarih ve Saat Tarih ve Saat
ONDALıK (Hassasiyet <= 28) Ondalık Ondalık
ONDALIK (Hassasiyet > 28) Dize Dize
ÇIFT DUYARLıK Çift Çift
TAM SAYI Int32 Int32
GERÇEK Tekli Tekli
SMALLINT (Küçük Tamsayı) Int16 Int16
METİN Dize Dize
ZAMAN DAMGASI Tarih ve Saat Tarih ve Saat
VARCHAR Dize Dize

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Amazon Redshift bağlayıcısı yaşam döngüsü ve yükseltmesi

Aşağıdaki tabloda Amazon Redshift bağlayıcısının farklı sürümleri için sürüm aşaması ve değişiklik günlükleri gösterilmektedir:

Sürüm Yayın aşaması Değişiklik Kaydı
Sürüm 1.0 Destek sonu duyuruldu /
Sürüm 2.0 Ga sürümü kullanılabilir • Azure Integration Runtime ve Kendi Kendine Barındırılan Integration Runtime sürüm 5.61 veya üzerini destekler. Kendi Kendine Barındırılan Integration Runtime sürüm 5.61 veya üzeri ile sürücü yüklemesi artık gerekli değildir.

• BOOLEAN, Boole veri türü olarak okunur.

Amazon Redshift bağlayıcısını sürüm 1.0'dan sürüm 2.0'a yükseltme

  1. Bağlı hizmeti düzenle sayfasında sürüm 2.0'ı seçin ve bağlı hizmet özelliklerine başvurarak bağlı hizmeti yapılandırın.

  2. Amazon Redshift bağlı hizmet sürümü 2.0 için veri türü eşlemesi, sürüm 1.0'dan farklıdır. En son veri türü eşlemesini öğrenmek için bkz. Amazon Redshift için veri türü eşleme.

  3. 5.61 veya üzeri bir sürümle kendi barındırdığınız bir tümleştirme çalışma zamanı uygulayın. Kendi Kendine Barındırılan Integration Runtime sürüm 5.61 veya üzeri ile sürücü yüklemesi artık gerekli değildir.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.

  • Last updated on