Snowflake'i kopyalama etkinliğinde yapılandırma

Bu makalede, snowflake'den ve snowflake'e veri kopyalamak için veri işlem hattındaki kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir.

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

• Genel
• Kaynak
• Hedef
• Eşleme
• Ayarlar

Genel

Genel ayarlar sekmesini yapılandırmak için Genel ayarlar kılavuzuna bakın.

Kaynak

Aşağıdaki özellikler, bir kopyalama etkinliğinin Kaynak sekmesi altında Snowflake için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Dış'ı seçin.
• Bağlantı: Bağlantı listesinden bir Snowflake bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Snowflake bağlantısı oluşturun.
• Veritabanı: Bağlandıktan sonra kullanılacak varsayılan veritabanı. Belirtilen rolün ayrıcalıklarına sahip olduğu mevcut bir veritabanı olmalıdır.
• Sorguyu kullan: Kullanım sorgunuz olarak Tablo veya Sorgu'yu seçebilirsiniz. Aşağıdaki listede her ayarın yapılandırması açıklanmaktadır.
  • Tablo: Açılan listeden veritabanınızdaki tabloyu seçin. Ya da tablonuzun adını el ile girmek için Düzenle'yi işaretleyin.
  • Sorgu: Snowflake'ten verileri okumak için SQL sorgusunu belirtin. Şema, tablo ve sütunların adları küçük harf içeriyorsa, sorgudaki nesne tanımlayıcısını tırnak içine alın; örneğin. select * from "schema"."myTable"

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Ek Snowflake kopyalama seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake kopyalama seçeneklerini belirtin. Ek kopyalama seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: MAX_FILE_SIZE, ÜZERINE YAZ. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.

  

• Ek Snowflake biçim seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake biçim seçeneklerini belirtin. COPY komutuna sağlanan ek dosya biçimi seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.

  

Snowflake'ten doğrudan kopya

Hedef veri deponuz ve biçiminiz bu bölümde açıklanan ölçütleri karşılıyorsa, snowflake'ten hedefe doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

• Hedef bağlantı, paylaşılan erişim imzası kimlik doğrulamasına sahip Azure Blob depolamadır. Verileri aşağıdaki desteklenen biçimde doğrudan Azure Data Lake Storage 2. Nesil kopyalamak istiyorsanız, ADLS 2. Nesil hesabınızda SAS kimlik doğrulaması ile bir Azure Blob bağlantısı oluşturabilirsiniz.

• Hedef veri biçimi Parquet, DelimitedText veya JSON biçimindedir ve aşağıdaki yapılandırmaları içerir:

  • Parquet biçimi için sıkıştırma codec'i None, Snappy veya Lzo'dur.
  • DelimitedText biçimi için:
    • Satır sınırlayıcısı \r\n veya herhangi bir tek karakterdir.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Tırnak karakteri Çift tırnak, Tek tırnak veya Tırnak yok karakteridir.
  • JSON biçimi için doğrudan kopyalama yalnızca kaynak Snowflake tablosunun veya sorgu sonucunun yalnızca tek sütuna sahip olması ve bu sütunun veri türünün VARIANT, OBJECT veya ARRAY olması durumunu destekler.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Kopyalama etkinliği hedefindeki dosya düzeni varsayılan olarak bırakılır veya Nesne kümesi olarak ayarlanır.

• Kopyalama etkinliği kaynağında Ek sütunlar belirtilmez.

• Sütun eşleme belirtilmedi.

Hedef

Aşağıdaki özellikler, bir kopyalama etkinliğinin Hedef sekmesi altında Snowflake için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Dış'ı seçin.
• Bağlantı: Bağlantı listesinden bir Snowflake bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Snowflake bağlantısı oluşturun.
• Veritabanı: Bağlandıktan sonra kullanılacak varsayılan veritabanı. Belirtilen rolün ayrıcalıklarına sahip olduğu mevcut bir veritabanı olmalıdır.
• Tablo: Açılan listeden veritabanınızdaki tabloyu seçin. Ya da tablonuzun adını el ile girmek için Düzenle'yi işaretleyin.

Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

• Ön kopyalama betiği: Her çalıştırmada hedef tabloya veri yazmadan önce Yürütülecek Kopyalama Etkinliği için bir betik belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanabilirsiniz.

• Ek Snowflake kopyalama seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake kopyalama seçeneklerini belirtin. Ek kopyalama seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.

  

• Ek Snowflake biçim seçenekleri: Verileri yüklemek için Snowflake COPY deyiminde kullanılacak ek Snowflake biçim seçeneklerini belirtin. COPY komutuna sağlanan ek dosya biçimi seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.

  

Snowflake'e doğrudan kopyalama

Kaynak veri deponuz ve biçiminiz bu bölümde açıklanan ölçütleri karşılıyorsa, kaynaktan Snowflake'e doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

• Kaynak bağlantı, paylaşılan erişim imzası kimlik doğrulamasına sahip Azure Blob depolamadır. verileri aşağıdaki desteklenen biçimde doğrudan Azure Data Lake Storage 2. Nesil kopyalamak istiyorsanız, ADLS 2. Nesil hesabınızda SAS kimlik doğrulaması ile bir Azure Blob bağlantısı oluşturabilirsiniz.

• Kaynak veri biçimi Parquet, DelimitedText veya JSON şeklindedir ve aşağıdaki yapılandırmalara sahip olur:

  • Parquet biçimi için sıkıştırma codec'i Yok veya Snappy'dir.

  • DelimitedText biçimi için:

    • Satır sınırlayıcısı \r\n veya herhangi bir tek karakterdir. Satır sınırlayıcısı "\r\n" değilse, Üst bilgi olarak ilk satır seçilmez ve Satır sayısını atla belirtilmez.
    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya "UTF-8", "UTF-16" olarak ayarlanır, "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
    • Tırnak karakteri Çift tırnak, Tek tırnak veya Tırnak yok karakteridir.

  • JSON biçimi için doğrudan kopyalama yalnızca hedef Snowflake tablosunun yalnızca tek sütuna sahip olduğu ve bu sütunun veri türünün VARIANT, OBJECT veya ARRAY olduğu durumlarını destekler.

    • Sıkıştırma türü None, gzip, bzip2 veya deflate olabilir.
    • Kodlama varsayılan olarak bırakılır veya UTF-8 olarak ayarlanır.
    • Sütun eşleme belirtilmedi.

• Kopyalama etkinliği kaynağında:

  • Ek sütunlar belirtilmemiş.
  • Kaynağınız bir klasörse Özyinelemeli olarak seçilir.
  • En son değiştirilene göre filtrele ve Bölüm bulmayı etkinleştir'de ön ek, Başlangıç saati (UTC) ve Bitiş saati (UTC) belirtilmedi.

Eşleme

Eşleme sekmesi yapılandırması için Eşleme sekmesinin altında Eşlemelerinizi yapılandırma bölümüne gidin.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar sekmesinin altındaki Diğer ayarlarınızı yapılandırma'ya gidin.

Tablo özeti

Aşağıdaki tablolar Snowflake'teki kopyalama etkinliği hakkında daha fazla bilgi içerir.

Kaynak

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Harici	Yes	/
Bağlantı	Kaynak veri deposuyla bağlantınız.	< bağlantınız >	Yes	bağlantı
Veritabanı	Kaynak olarak kullandığınız veritabanınız.	< veritabanınız >	Yes	database
Sorguyu kullanma	Snowflake'ten veri okuma yolu.	•Masa •Sorgu	Hayır	•masa •sorgu
Table	Verileri okunacak tablonun adı.	< kaynak tablonuzun adı>	Yes	şema table
Sorgu	Snowflake'ten verileri okumak için SQL sorgusu.	< kaynak sorgunuzun adı>	Yes	query
Ek Snowflake kopyalama seçenekleri	Anahtar-değer çiftlerinin sözlüğü olarak sağlanan ek kopyalama seçenekleri. Örnekler: MAX_FILE_SIZE, ÜZERINE YAZ. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.	• Adı •Değer	Hayır	additionalCopyOptions
Ek Snowflake biçim seçenekleri	COPY komutuna anahtar-değer çiftlerinin sözlüğü olarak sağlanan ek dosya biçimi seçenekleri. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.	• Adı •Değer	Hayır	additionalFormatOptions

Hedef

Not

Kaynak için Azure Snowflake olmayan örnekler desteklense de şu anda Snowflake hedefleri için yalnızca Azure Snowflake örnekleri desteklenmektedir (Azure Data Factory'de havuzlar olarak da adlandırılır).

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Harici	Yes	/
Bağlantı	Hedef veri deposuna bağlantınız.	< bağlantınız >	Yes	bağlantı
Veritabanı	Hedef olarak kullandığınız veritabanınız.	< veritabanınız>	Yes	/
Table	Hedef veri tablonuz.	< hedef tablonuzun adı>	Yes	•şema •masa
Ön kopyalama betiği	Her çalıştırmada Snowflake'e veri yazmadan önce çalıştırılacak Kopyalama etkinliği için bir SQL sorgusu. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın.	< kopyalama öncesi betiğiniz>	HAYIR	preCopyScript
Ek Snowflake kopyalama seçenekleri	Anahtar-değer çiftlerinin sözlüğü olarak sağlanan ek kopyalama seçenekleri. Örnekler: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Daha fazla bilgi için bkz . Snowflake Kopyalama Seçenekleri.	• Adı •Değer	Hayır	additionalCopyOptions
Ek Snowflake biçim seçenekleri	COPY komutuna sağlanan ek dosya biçimi seçenekleri, anahtar-değer çiftlerinin sözlüğü olarak sağlanır. Örnekler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Daha fazla bilgi için bkz . Snowflake Biçim Türü Seçenekleri.	• Adı •Değer	Hayır	additionalFormatOptions

İlgili içerik

• Snowflake bağlayıcıya genel bakış