Kopyalama etkinliğinde Google Cloud Depolama yapılandırma
Bu makalede, verileri Google Cloud Depolama'dan ve Google Cloud'a kopyalamak için veri işlem hattındaki kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir.
Önkoşullar
Google Cloud Depolama hesabınızda aşağıdaki kurulum gereklidir:
Google Cloud Depolama hesabınız için birlikte çalışabilirliği etkinleştirin.
Hedef Google Cloud Depolama demetinden kopyalamak istediğiniz verileri içeren varsayılan projeyi ayarlayın.
GCP üzerinde Cloud IAM kullanarak bir hizmet hesabı oluşturun ve doğru izin düzeylerini tanımlayın.
Bu hizmet hesabı için erişim anahtarlarını oluşturun.
Gerekli izinler
Google Cloud Depolama'dan veri kopyalamak için nesne işlemleri için size şu izinlerin verildiğinden emin olun: storage.objects.get ve storage.objects.list.
Ayrıca, storage.buckets.list bağlantıyı test etme ve kökten gözatma gibi işlemler için izin gereklidir.
Google Cloud Depolama rollerinin ve ilişkili izinlerinin tam listesi için Google Cloud sitesindeki Cloud Depolama için IAM rolleri bölümüne gidin.
Desteklenen biçim
Google Cloud Depolama aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.
- Avro biçimi
- İkili biçim
- Sınırlandırılmış metin biçimi
- Excel biçimi
- JSON biçimi
- ORC biçimi
- Parquet biçimi
- XML biçimi
Desteklenen yapılandırma
Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.
Genel
Genel sekmesi yapılandırması için Genel'e gidin.
Kaynak
Kopyalama etkinliğinin Kaynak sekmesinde google cloud Depolama için aşağıdaki özellikler desteklenir.
Aşağıdaki özellikler gereklidir:
Veri deposu türü: Dış'ı seçin.
Bağlan ion: Bağlantı listesinden bir Google Cloud Depolama bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Google Cloud Depolama bağlantısı oluşturun.
Dosya yolu türü: Dosya yolu, Önek, Joker karakter dosya yolu veya Dosya listesi'ni dosya yolu türünüz olarak seçebilirsiniz. Bu ayarların her birinin yapılandırması şöyledir:
Dosya yolu: Bu türü seçerseniz, veriler dosya yolunda belirtilen demetten veya klasör/dosya yolundan kopyalanabilir.
Ön ek: Bu türü seçerseniz Demet ve Ön Ek'i belirtin.
Demet: Google Cloud Depolama demet adını belirtin. Bu gereklidir.
Ön ek: Kaynak Google Cloud Depolama dosyalarını filtrelemek için belirtilen demetin altındaki Google Cloud Depolama anahtar adının ön eki. Google Cloud Depolama adları ile
given_bucket/this_prefixbaşlayan anahtarlar seçilir. Google Cloud Depolama'nin joker karakter filtresine göre daha iyi performans sağlayan hizmet tarafı filtresini kullanır.
Joker karakter dosya yolu: Bu türü seçerseniz Demet ve Joker karakter yollarını belirtin.
Demet: Google Cloud Depolama demet adını belirtin. Bu gereklidir.
Joker karakter yolları: Kaynak klasörlerinizi veya dosyalarınızı filtrelemek için verilen demetinizin altında joker karakterler içeren klasörü veya dosya yolunu belirtin.
İzin verilen joker karakterler şunlardır:
*(sıfır veya daha fazla karakterle eşleşir) ve?(sıfır veya tek karakterle eşleşir). Klasör adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış için kullanın^. Daha fazla örnek için Klasör ve dosya filtresi örnekleri'ne gidin.
Joker klasör yolu: Kaynak klasörleri filtrelemek için verilen demet altında joker karakterler içeren klasör yolunu belirtin.
Joker karakter dosya adı: Kaynak dosyaları filtrelemek için verilen demet ve klasör yolu (veya joker klasör yolu) altında joker karakterler içeren dosya adını belirtin.
Dosya listesi: Bu türü seçerseniz, belirli bir dosya kümesinin kopyalandığını belirtmek için Klasör yolunu ve Dosya yolu listesini belirtin. Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasının üzerine gelin. Bu dosya, yapılandırılan yolun göreli yolu olan satır başına bir dosyadır. Daha fazla örnek için Dosya listesi örnekleri'ne gidin.
- Klasör yolu: Verilen demet altındaki klasörün yolunu belirtin. Bu gereklidir.
- Dosya listesinin yolu: Kopyalamak istediğiniz dosyaların listesini içeren metin dosyasının yolunu belirtin.
Özyinelemeli olarak: Verilerin alt klasörlerden mi yoksa yalnızca belirtilen klasörden mi özyinelemeli olarak okunup okunmadığını gösterir. Bu onay kutusu seçildiğinde ve hedef dosya tabanlı bir depo olduğunda, hedefte boş bir klasör veya alt klasör kopyalanıp oluşturulmaz.
Dosya biçimi: Açılan listeden uygulanan dosya biçimini seçin. Dosya biçimini yapılandırmak için Ayarlar seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.
Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:
En son değiştirilene göre filtrele: Dosyalar, belirttiğiniz son değiştirme tarihlerine göre filtrelenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.
- Başlangıç saati (UTC): Son değiştirme süreleri yapılandırılan saatten büyük veya buna eşitse dosyalar seçilir.
- Bitiş saati (UTC): Son değiştirme süreleri yapılandırılan saatten kısaysa dosyalar seçilir.
Başlangıç saati (UTC) tarih saat değerine sahipse ancak Bitiş saati (UTC) NULL olduğunda, son değiştirilen özniteliği tarih saat değerinden büyük veya buna eşit olan dosyaların seçileceği anlamına gelir. Bitiş saati (UTC) tarih saat değerine sahipse ancak Başlangıç saati (UTC) NULL olduğunda, son değiştirilen özniteliği tarih saat değerinden küçük olan dosyaların seçileceği anlamına gelir. Özellikler NULL olabilir; başka bir deyişle verilere hiçbir dosya özniteliği filtresi uygulanmaz.
Bölüm bulmayı etkinleştir: Bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını ve ek kaynak sütunlar olarak eklenip eklenmeyeceğini belirtin. Varsayılan olarak seçili değildir ve ikili dosya biçimini kullandığınızda desteklenmez.
Bölüm kök yolu: Bölüm bulma etkinleştirildiğinde, bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak kök yolu belirtin.
Belirtilmezse, varsayılan olarak,
- Kaynakta dosya yolu veya dosya listesi kullandığınızda, bölüm kök yolu yapılandırdığınız yoldur.
- Joker karakter klasör filtresi kullandığınızda, bölüm kök yolu ilk joker karakterden önceki alt yoldur.
- Ön ek kullandığınızda, bölüm kök yolu son "/" yolundan önceki alt yoldur.
Örneğin, yolu olarak
root/folder/year=2020/month=08/day=27yapılandırdığınız varsayılır:- Bölüm kök yolunu olarak
root/folder/year=2020belirtirseniz kopyalama etkinliği, dosyaların içindeki sütunlara ek olarak sırasıyla "08" ve "27" değerine sahip iki sütun daha oluşturur. - Bölüm kök yolu belirtilmezse ek sütun oluşturulmaz.
Maksimum eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.
Ek sütunlar: Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. İfade, ikincisi için desteklenir.
Hedef
Kopyalama etkinliğinin Hedef sekmesi altında Google Cloud Depolama için aşağıdaki özellikler desteklenir.
Aşağıdaki özellikler gereklidir:
- Veri deposu türü: Dış'ı seçin.
- Bağlan ion: Bağlantı listesinden bir Google Cloud Depolama bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir Google Cloud Depolama bağlantısı oluşturun.
- Dosya yolu: Veriler verilen demete veya belirtilen demet ve klasör yoluna kopyalanabilir.
- Dosya biçimi: Açılan listeden uygulanan dosya biçimini seçin. Dosya biçimini yapılandırmak için Ayarlar seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.
Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:
Kopyalama davranışı: Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını tanımlar. Açılan listeden bir davranış seçebilirsiniz.
- Düzleştirme hiyerarşisi: Kaynak klasördeki tüm dosyalar hedef klasörün ilk düzeyindedir. Hedef dosyalar otomatik olarak oluşturulan adlara sahiptir.
- Dosyaları birleştirme: Kaynak klasördeki tüm dosyaları tek bir dosyayla birleştirir. Dosya adı belirtilirse, birleştirilmiş dosya adı belirtilen addır. Aksi takdirde, otomatik olarak oluşturulan bir dosya adıdır.
- Hiyerarşiyi koru: Hedef klasördeki dosya hiyerarşisini korur. Kaynak dosyanın kaynak klasöre göreli yolu, hedef dosyanın hedef klasöre göreli yolu ile aynıdır.
En fazla eşzamanlı bağlantı: Bu özellik, etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırını gösterir. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.
Eşleme
Eşleme sekmesi yapılandırması için bkz. Eşleme sekmesinin altında eşlemelerinizi yapılandırma. Dosya biçiminiz olarak İkili'yi seçerseniz eşleme desteklenmez.
Ayarlar
Ayarlar sekmesi yapılandırması için Ayarlar sekmesinin altında Diğer ayarlarınızı yapılandırma'ya gidin.
Tablo özeti
Aşağıdaki tablolar, Google Cloud Depolama'daki kopyalama etkinliği hakkında daha fazla bilgi içerir.
Kaynak bilgileri
Hedef bilgileri
| Veri Akışı Adı | Açıklama | Değer | Zorunlu | JSON betik özelliği |
|---|---|---|---|---|
| Veri deposu türü | Veri deposu türünüz. | Harici | Yes | / |
| Bağlantı | Hedef veri deposuna bağlantınız. | <Google Cloud Depolama bağlantınız> | Yes | bağlantı |
| Dosya yolu | Hedef dosyanın klasör/dosya yolu. | < klasör/dosya yolu> | Yes | / |
| Kova | Google Cloud Depolama demet adı. | <demet adınız> | Yes | bucketName |
| Dizin | Belirtilen demetin altındaki klasörün yolu. | <klasör adınız> | Hayır | klasör yolu |
| Dosya adı | Belirtilen demet ve klasör yolunun altındaki dosya adı. | <dosya adınız> | Hayır | fileName |
| Kopyalama davranışı | Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını tanımlar. | • Düzleştirme hiyerarşisi • Dosyaları birleştirme • Hiyerarşiyi koru |
Hayır | copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy |
| En fazla eşzamanlı bağlantı | Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin. | <en fazla eşzamanlı bağlantı> | Hayır | maxConcurrent Bağlan ions |
İlgili içerik
Geri Bildirim
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz. https://aka.ms/ContentUserFeedback.
Gönderin ve geri bildirimi görüntüleyin