Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Şunlara uygulanır:✅ Warehouse in Microsoft Fabric
Bu makale, veri depolarının SQL Server'de Microsoft Fabric Data Warehouse'a taşınma yöntemlerini açıklar.
Tavsiye
Strateji ve planlama hakkında daha fazla bilgi için Göç planlama: SQL Server to Fabric Data Warehouse sayfasına bakınız.
SQL Server'dan otomatik bir göç deneyimi için Fabric Geçiş Yardımcısı for Data Warehouse kullanın. Bu makalenin geri kalanı daha fazla manuel göç adımını anlatıyor.
Aşağıdaki tablo, veri şeması (DDL), veritabanı kodu (DML) ve veri taşıma yöntemlerini özetlemektedir. Her seçenek bu makalenin ilerleyen bölümlerinde açıklanmıştır.
| Seçenek | Method | Ne işe yarıyor? | Yetenek veya tercihi | Scenario |
|---|---|---|---|---|
| 1 | Veri Fabrikası | Şema dönüştürme Veri ayıklama Veri alımı |
Veri Fabrikası boru hattı | Basitleştirilmiş şema ve veri taşıma. Boyut tabloları için önerilir. |
| 2 | Bölümlemeli Data Factory | Şema dönüştürme Veri ayıklama Veri alımı |
Veri Fabrikası boru hattı | Büyük olgu tabloları için paralelleştirilmiş taşıma. |
| 3 | Şema öncelikli geçiş | Şema dönüştürme | Veri Fabrikası boru hattı | Önce şemayı taşıyın, ardından işleme hacmi üzerinde daha fazla denetim sağlamak için verileri ayrı ayrı ayıklayıp içe aktarın. |
| 4 | SQL geçiş betikleri | Şema dönüştürme Veri ayıklama Kod değerlendirmesi |
T-SQL | Göç görevleri üzerinde ayrıntılı kontrol için bir IDE ve script kullanın. |
| 5 | SQL veritabanı projeleri | Şema dönüştürme Kod değerlendirmesi |
SQL projesi | Kaynak kontrolü, değerlendirme ve dağıtım için bir veritabanı projesi kullanın. |
| 6 | dbt | Şema dönüştürme Veritabanı kod dönüşümü |
dbt | Mevcut bir DBT projesini adaptör ve hedef yapılandırmayı değiştirerek tekrar kullanın. |
İlk geçiş için bir iş yükü seçin
SQL Server Fabric Data Warehouse geçiş projesine nereden başlayacağınıza karar verdiğinizde, şunları yapabileceğiniz bir iş yükü alanı seçin:
- Yeni ortamın faydalarını hızla sunarak Fabric Data Warehouse geçişin uygulanabilirliğini kanıtlayın. Küçük ve basit başlayın, birden fazla küçük göçe hazırlanın.
- Teknik personelinize, diğer iş yüklerini taşımak için kullandıkları süreçler ve araçlarla ilgili deneyim kazanması için zaman tanıyın.
- SQL Server ortamınıza, araçlarınıza ve süreçlerinize özel bir sonraki göçler için bir şablon oluşturun.
Tavsiye
Taşınması gereken nesnelerin bir envanterini oluşturun ve geçiş sürecini baştan sona belgeleyin ki diğer veritabanları veya iş yükleri için tekrarlanabilsin.
İlk göçteki veri hacmi, Fabric Data Warehouse'nin yeteneklerini ve faydalarını gösterecek kadar büyük, ancak değeri hızlıca gösterecek kadar küçük olmalıdır. 1-10 terabayt aralığındaki bir boyut tipiktir.
Fabric Data Factory ile Göç
Fabric Data Factory, tablo DDL'sini dönüştürebilen ve verileri SQL Server'dan taşıyabilen düşük kodlu bir arayüz sağlar.
Fabric Data Factory aşağıdaki görevleri gerçekleştirebilir:
- Şemayı (DDL) Fabric Data Warehouse sözdizimi haline dönüştürün.
- Fabric Data Warehouse'de şema nesneleri oluşturun.
- Verileri Fabric Data Warehouse'a aktarın.
Seçenek 1. Kopya asistanı ile şema ve veri taşıması
Bu yöntem, kaynak SQL Server veritabanına bağlanmak, tablo DDL'yi Fabric sözdizimi haline dönüştürmek ve verileri Fabric Data Warehouse'ye kopyalamak için Data Factory Copy assistant'ı kullanır. Bir veya daha fazla kaynak tablo seçebilirsiniz. Oluşturulan boru hattı, seçilen tabloları paralel olarak kopyalamak için ForEach etkinliği kullanır.
Kopyalama işlemini yapılandırdığınızda:
- Kaynak bağlantı için SQL Server konnektörünü kullanın.
- Paralel kopyaları, kaynak veritabanı ve ağın sürdürebileceği seviyeye sınırlayın.
- Ayıklama sırasında kaynak CPU kullanımını, I/O kullanımını, işlem günlüğü kullanımını ve üretim iş yükü gecikmesini izleyin.
Önerilen kullanım
DDL'yi dönüştüren ve seçilen tabloları tek bir işlemde alan basit bir arayüz için Copy assistant'ı kullanın. Bu yöntem, boyut tabloları ve daha küçük iş yükleri için iyi bir uyumdur.
Büyük tablolar için, okuma ve yazma paralelliğini artırmak için bölümleme kullanın.
2. Seçenek Bölümleme ile veri taşıması
Büyük bilgi tabloları için, her tablo için bir Kopyalama etkinliği kullanın ve kaynak bölümlemelerini yapılandırın. Mevcut olduğunda fiziksel bölümler kullanın veya uygun bir sayısal veya tarih sütunu ile minimum ve maksimum değerleri belirleyerek dinamik aralık bölümlerini yapılandırın.
Bölümleme kullandığınızda:
- Satırları eşit şekilde dağıtan bir bölüm sütunu seçin.
- SQL Server'ın üretim iş yüklerini etkilemeden işleyebildiğinden daha fazla eşzamanlı kaynak sorgusu oluşturmaktan kaçının.
- Bölüm aralığı ve paralel kopyalama ayarlarını temsilci bir iş yüküyle karşılaştırın.
- Kaynak ve hedefi izlerken paralelliği kademeli olarak artırın.
Önerilen kullanım
Paralel çıkarma verimliliği artırırken büyük bilgi tabloları için Data Factory bölümleme kullanın. Parti sayısını ve bölüm aralıklarını kaynak veritabanı kaynaklarına ve ağ kapasitesine göre boyutlandırın.
3. Seçenek Şema öncesi göç
Daha büyük veritabanları için, şema taşınmasını veri taşınından ayırın:
- Fabric Data Warehouse'de tablo şemalarını dönüştürün ve oluşturun.
- Kaynak verilerini Azure Data Lake Storage (ADLS) Gen2'ye ayıklayın.
- Aşamalı verileri Fabric Data Warehouse'ye almak için Data Factory veya COPY INTO komutunu kullanın.
Bu fazlı ayırmak, ekstraksiyon ve yutulmayı bağımsız olarak ayarlamanıza olanak tanır.
Veri Fabrikası ile şema göçü
Bir Fabric pipeline kullanarak tablo şemalarını SQL Server'dan Fabric Data Warehouse'a satır kopyalamadan taşıyabilirsiniz.
Boru hattı parametrelerini yapılandırma
Hangi şemaların taşınacağını belirten bir SchemaName parametre oluşturun. Varsayılan olarak kullanın dbo veya virgülle ayrılmış bir liste girin, örneğin 'dbo','sales'.
Arama etkinliğini yapılandırma
Bir Lookup etkinliği oluşturun ve bağlantısını kaynak SQL Server veritabanına ayarlayın. Ayarlar sekmesinde:
- Veri deposu türünü Dış olarak ayarlayın.
- Kaynak SQL Server bağlantısını seçin.
- Sorgu kullan'ı Sorgu olarak ayarlayın.
- Kaynak şeması ve tablo adlarını döndüren dinamik bir sorgu ekleyin.
Sorgu oluşturmak için aşağıdaki ifadeyi kullanın:
@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')
ForEach etkinliğini yapılandırmak
ForEach etkinliği için Ayarlar sekmesinde:
- Yinelemelerin eşzamanlı olarak çalışmasına izin vermek için Sequential'ı devre dışı bırakın.
- Toplu sayı, kaynak veritabanının sürdürebileceği bir değere ayarlayın. Öncelikle muhafazakar bir değerle başlayın ve test edin.
-
Öğeleri olarak
@activity('Get List of Source Objects').output.valueayarlayın.
Kopyalama etkinliği'i yapılandırma
ForEach etkinliğinin içine bir Kopyalama etkinliği ekleyin. Kaynak sekmesinde:
- Veri deposu türünü Dış olarak ayarlayın.
- Kaynak SQL Server bağlantısını seçin.
- Sorguyu kullan seçeneğini Sorgu olarak ayarlayın.
-
Sorgu'yu, yalnızca tablo meta verisinin taşınması için
@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)olarak ayarlayın.
Hedef sekmesinde:
- Veri deposu türünü Çalışma Alanı olarak ayarlayın.
- Workspace veri deposu tipiniData Warehouse olarak ayarlayın ve hedef depoyu seçin.
- Hedef şemasını
@item().SchemaNameolarak ayarlayın. - Hedef tabloyu olarak
@item().TableNameayarlayın.
Boru hattını çalıştırdıktan sonra, Fabric Data Warehouse beklenen şema ile seçilen her tabloyu içerdiğinden emin olun.
SQL scripts kullanarak migrasyon
Şema dönüşümü, veri çıkarımı ve kod değerlendirmesi üzerinde ayrıntılı kontrol istiyorsanız T-SQL ve PowerShell geçiş betiklerini kullanın.
Göç betikleri şunları yapabilir:
- Şemayı (DDL) Fabric Data Warehouse sözdizimi haline dönüştürün.
- Fabric Data Warehouse'de şema nesneleri oluşturun.
- SQL Server'dan ADLS Gen2'ye veri çıkar.
- Saklanan prosedürlerde, fonksiyonlarda ve görünümlerde desteklenmeyen T-SQL sözdizimi işaretlen.
Microsoft Fabric CAT ekibi, göç kodu örneklerini fabric-migration deposunda sağlar.
Önerilen kullanım
T-SQL'e aşina olduğunda, entegre geliştirme ortamını tercih ettiğinde ve bireysel göç görevlerini kontrol etmeniz gerektiğinde script kullanın. Çıkarılan verileri Fabric Data Warehouse’a aktarmak için COPY INTO veya Data Factory kullanın.
SQL veritabanı projelerini kullanarak geçiş
Fabric Data Warehouse, Visual Studio Codeiçin SQL Veritabanı Projeleri uzantısı tarafından desteklenmektedir.
Bir SQL veritabanı projesi, kaynak kontrolü, veritabanı testi, şema doğrulama ve dağıtım yetenekleri sağlar. Şunları yapabilir:
- Şemayı (DDL) Fabric Data Warehouse sözdizimi haline dönüştürün.
- Fabric Data Warehouse'de şema nesneleri oluşturun.
- Desteklenmeyen T-SQL sözdizimi depolanmış prosedürler, fonksiyonlar ve görünümlerde değerlendirin.
Veri taşıma için, SQL Server’dan doğrudan kopyalamak üzere Data Factory kullanın veya verileri ADLS Gen2’ye çıkarıp bunları COPY INTO ya da Data Factory ile içeri aktarın.
SQL veritabanı projelerinin geçiş betikleriyle kullanımına ilişkin adım adım bir kılavuz için fabric-migration deposuna bakın.
Daha fazla bilgi için, komut satırından SQL Veritabanı Projeleri uzantısı ile başla ve veritabanı projesi oluştur bölümlerine bakabilirsiniz.
dbt ile göç
Eğer SQL Server data warehouse dbt kullanıyorsa, dbt adaptörünü Fabric Data Warehouse kullanarak şemayı ve veritabanı kodunu hedef profili ve adaptörü değiştirerek dönüştürebilirsiniz.
dbt çerçevesi, model dosyalarından DDL ve DML betikleri oluşturur. Verileri ayrı ayrı olarak Data Factory veya bu makaledeki başka bir veri taşıma seçeneğini kullanarak taşımak zorundasınız.
Başlamak için Tutorial: Setup up DBT for Fabric Data Warehouse'a bakabilirsiniz.
Fabric Data Warehouse’a veri alma
Hazırlama verileri için, dosyaları ADLS Gen2'den Fabric Data Warehouse'e almak üzere COPY INTO veya Fabric Data Factory kullanın. Aşağıdaki rehberliği göz önünde bulundurun:
- Kaynak veritabanı ve ağ yeterli kapasiteye sahip olduğunda büyük tabloları paralel olarak çıkarın.
- Depolama ve ağ kullanımını azaltmak ve alım verimliliğini artırmak için Parquet dosyalarını tercih edin.
- Fabric kapasiteniz iş yükünü destekleyebildiğinde birden fazla hedef tabloyu aynı anda yükleyin.
- Hem kaynak çıkarımı hem de Fabric kapasitesini izleyerek optimal paralellik derecesini bulun.