Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu öğreticide, Google BigQuery'de yer alan Fabric yansıtılmış veritabanını nasıl yapılandıracağınızı öğreneceksiniz.
Uyarı
Bu örnek BigQuery'ye özgü olsa da Yansıtma'yı Azure SQL Veritabanı veya Azure Cosmos DB gibi diğer veri kaynakları için yapılandırmaya yönelik ayrıntılı adımları bulabilirsiniz. Daha fazla bilgi için bkz. Dokuda Yansıtma nedir?
Önkoşullar
- Mevcut bir BigQuery ambarı oluşturun veya kullanın. Microsoft Azure dahil olmak üzere herhangi bir buluttaki BigQuery örneğinin herhangi bir sürümüne bağlanabilirsiniz.
- Mevcut bir Yapı kapasitesine ihtiyacınız vardır. Aksi takdirde bir Fabric deneme sürümü başlatın.
İzin gereksinimleri
BigQuery veritabanınız için aşağıdaki izinleri içeren kullanıcı izinlerine ihtiyacınız vardır:
bigquery.datasets.createbigquery.tables.listbigquery.tables.createbigquery.tables.exportbigquery.tables.getbigquery.tables.getDatabigquery.tables.updateDatabigquery.routines.getbigquery.routines.listbigquery.jobs.createstorage.buckets.createstorage.buckets.liststorage.objects.createstorage.objects.deletestorage.objects.listiam.serviceAccounts.signBlob
Tablo Meta Verilerini Ve Değişiklik Geçmişi Yapılandırmasını Alma (Gerekli)
BigQueryAdmin ve StorageAdmin rolleri bu izinleri içermelidir. Değişiklik geçmişinin etkinleştirilip etkinleştirilmediğini belirlemek ve birincil anahtar veya bileşik anahtar bilgilerini almak için aşağıdaki izinler gereklidir.
Kullanıcının BigQuery örneğine erişime izin veren en az bir rolü atanmış olması gerekir. BigQuery veri kaynağınıza erişmek için ağ gereksinimlerini denetleyin. Şirket İçi Veri Ağ Geçidi (OPDG) için Google BigQuery için Yansıtma özelliğini kullanıyorsanız başarılı yansıtmayı etkinleştirmek için OPDG sürüm 3000.286.6 veya üzeri olmalıdır.
Gerekli İzinler
Kovaları el ile oluşturmak (ve bu sayede storage.buckets.create izni vermek zorunluluğundan kaçınmak) için şunları kullanabilirsiniz:
bigquery.tables.getbigquery.tables.listbigquery.routines.getbigquery.routines.list
- Google Konsolunuzda Bulut Depolama'ya gidin ve Demetler'i seçin.
-
Oluştur'u seçin ve kovayı bu biçimde adlandırın (büyük/küçük harfe duyarlı):
<projectid>_fabric_staging_bucket - Demetin konumunun/bölgesinin yansıtmayı planladığınız GCP Projesi ile aynı olduğundan emin olun.
- Oluştur'i seçin. Yansıtma sistemi demeti otomatik olarak algılar.
Kullanım örneğinize bağlı olarak daha fazla izin gerekebilir. Gerekli minimum izinler, değişiklik geçmişiyle çalışmak ve çeşitli boyutlu tabloları (10 GB'tan büyük tablolar) işlemek için gereklidir. 10 GB'tan büyük tablolarla çalışmıyor olsanız bile Yansıtma kullanımınızın başarısını sağlamak için bu minimum izinlerin tümünü etkinleştirin.
Değişiklik Geçmişi ve Tablo Verilerini Alma (Gerekli)
Google BigQuery belgelerindeki Akış verileri için Gerekli Ayrıcalıklar, Değişiklik geçmişi erişimi için Gerekli İzinler ve sorgu sonuçlarını yazmak için Gerekli İzinler hakkında daha fazla bilgi için bkz.
Değişiklik geçmişini ve tablo verilerini okumak için aşağıdaki izinler gereklidir.
Önemli
Kaynak BigQuery ambarında oluşturulan ayrıntılı güvenlik, Microsoft Fabric'teki yansıtılmış veritabanında yeniden yapılandırılmalıdır. Daha fazla bilgi için Microsoft Fabric'te SQL detaylı izinler başlıklı makaleye bakın.
Gerekli İzinler
bigquery.tables.getDatabigquery.jobs.createbigquery.jobs.getbigquery.jobs.listbigquery.readsessions.createbigquery.readsessions.getData
Değişiklik Geçmişi Özelliklerini Etkinleştirme (Gerekli)
Değişiklik geçmişi, aşağıdaki seçeneklerden biri kullanılarak kaynak BigQuery tablolarında etkinleştirilmelidir.
Seçenek 1: İzni Etkinleştir
bigquery.tables.update
Tablolarda değişiklik geçmişini etkinleştirmeye izin verir.
Seçenek 2: GCP'de Tablo Seçeneğini Etkinleştirme
Aşağıdaki tablo seçeneğinin olarak TRUEayarlandığından emin olun:
enable_change_history
Hazırlama için Verileri Google Cloud Storage'a Aktarma ve OneLake'e Kopyalama (Gerekli)
BigQuery verilerini hazırlama amacıyla Google Cloud Storage'a aktarmak ve OneLake'e kopyalamak için aşağıdaki izinler gereklidir.
Gerekli İzinler
bigquery.tables.exportstorage.objects.createstorage.objects.liststorage.buckets.getiam.serviceAccounts.signBlob
Hazırlık için Google Cloud Depolama Uygulaması (Gerekli)
BigQuery tablo verilerini dışarı aktarmak için, hazırlama aşaması için bir Google Cloud Storage kovası gereklidir.
Demet Oluşturma Seçenekleri
Aşağıdaki yaklaşımlardan birini kullanın:
Seçenek 1: Otomatik Demet Oluşturmaya İzin Ver
Aşağıdaki izni verin:
storage.buckets.create
Seçenek 2: Hazırlama Demetini El ile Oluşturma
Aşağıdaki adlandırma kuralına sahip bir demet oluşturun: <your_project_id_in_lowercase>_fabric_staging_bucket
Demet Gereksinimleri
- Demet, BigQuery veri kümesiyle aynı konumda/bölgede olmalıdır.
- Yansıtma sistemi, bucket var olduğunda otomatik olarak algılar.
Veri Kümelerini Listeleme (Gerekli)
Gerekli İzinler
bigquery.datasets.get
Projeleri Listele (Gerekli)
Gerekli İzinler
resourcemanager.projects.get
Rol ve Erişim Gereksinimleri
BigQuery Yöneticisi ve Depolama Yöneticisi rolleri genellikle yukarıda listelenen izinleri içerir.
Kullanıcıya hedef BigQuery projesine ve veri kümelerine erişim izni veren en az bir rol atanmalıdır.
Ağ ve Ağ Geçidi Gereksinimleri
BigQuery veri kaynağınıza erişmek için ağ gereksinimlerini denetleyin.
Şirket içi Data Gateway (OPDG) ile Google BigQuery için Yansıtma kullanıyorsanız şunları kullanmanız gerekir:
- OPDG sürüm 3000.286.6 veya üzeri
Ek Notlar
Kullanım örneğine bağlı olarak daha fazla izin gerekebilir. Yukarıda listelenen izinler aşağıdakiler için gereken en düşük değeri temsil eder:
- Değişiklik geçmişi üzerinde çalışma
- 10 GB'tan büyük tablolar da dahil olmak üzere çeşitli boyutlardaki tabloları işleme
Şu anda 10 GB'tan büyük tablolarla çalışmıyor olsanız bile yansıtmanın başarılı olmasını sağlamak için tüm minimum izinlerin etkinleştirilmesi önerilir.
Daha fazla bilgi için bakınız:
- Akış Verileri için Gerekli Ayrıcalıklar
- Değişiklik Geçmişi Erişimi için Gerekli İzinler
- Sorgu Sonuçlarını Yazmak için Gerekli İzinler
Önemli
Kaynak BigQuery ambarında tanımlanan ayrıntılı güvenlik, Microsoft Fabric'teki yansıtılmış veritabanında yeniden yapılandırılmalıdır. Daha fazla bilgi için Microsoft Fabric'te SQL detaylı izinler başlıklı makaleye bakın.
Yansıtılmış veritabanı oluşturma
Bu bölümde, yansıtılmış BigQuery veri kaynağınızdan yeni bir yansıtılmış veritabanı oluşturacaksınız.
Var olan bir çalışma alanını (Çalışma Alanım'ı değil) kullanabilir veya yeni bir çalışma alanı oluşturabilirsiniz.
- Çalışma alanınızdan Oluştur hub'ına gidin.
- Kullanmak istediğiniz çalışma alanını seçtikten sonra Oluştur'u seçin.
- Yansıtılmış Google BigQuery kartını seçin.
- Yeni veritabanının adını girin.
- Oluştur'i seçin.
Herhangi bir bulutta BigQuery örneğine bağlanma
Uyarı
Yansıtma'nın BigQuery örneğine bağlanmasına izin vermek için bulut güvenlik duvarını değiştirmeniz gerekebilir. OPDG sürüm 3000.286.6 veya üzeri için Google BigQuery için Yansıtmayı destekliyoruz. VNET'i de destekliyoruz.
Yeni bağlantı'nın altında BigQuery'yi seçin veya var olan bir bağlantıyı seçin.
Yeni bağlantı'yı seçtiyseniz BigQuery veritabanına bağlantı ayrıntılarını girin.
Bağlantı ayarı Description Hizmet Hesabı E-postası Önceden var olan bir hizmet hesabınız varsa: Google BigQuery konsolunuzda Hizmet hesapları'na giderek Hizmet Hesabı e-postanızı ve mevcut anahtarınızı bulabilirsiniz. Önceden var olan bir hizmet hesabınız yoksa: Google BigQuery konsolunuzda "Hizmet hesapları"na gidin ve Hizmet hesabı oluştur'u seçin. Bir hizmet hesabı adı (hizmet hesabı kimliği, giriş yapılan hizmet hesabı adınıza göre otomatik olarak oluşturulur) ve bir hizmet hesabı açıklaması girin. Seç. Bitti. Hizmet hesabı e-postasını kopyalayıp Doku'daki belirlenen bağlantı kimlik bilgileri bölümüne yapıştırın. Hizmet Hesabı JSON anahtar dosyası içeriği Hizmet hesapları panosunda yeni oluşturduğunuz hizmet hesabınız için Eylemler'i seçin. Anahtarları Yönet'i seçin. Hizmet hesabınız başına zaten bir anahtarınız varsa JSON anahtar dosyası içeriğini indirin.
Hizmet hesabınız başına bir anahtarınız yoksa Anahtar ekle'yi ve Yeni anahtar oluştur'u seçin. Ardından JSON'ı seçin. JSON anahtar dosyası otomatik olarak indirilmelidir. JSON anahtarını kopyalayıp Doku portalındaki belirlenen bağlantı kimlik bilgileri bölümüne yapıştırın.Bağlantı Yeni bağlantı oluşturun. Bağlantı adı Otomatik olarak doldurulmalıdır. Bunu kullanmak istediğiniz bir adla değiştirin. Açılan listeden veritabanı seçin.
Yansıtma işlemini başlatma
Yansıtmayı yapılandır ekranı, varsayılan olarak veritabanındaki tüm verileri yansıtmanıza olanak tanır.
Tüm verileri yansıtma, Yansıtma başlatıldıktan sonra oluşturulan yeni tabloların yansıtılacağı anlamına gelir.
İsteğe bağlı olarak, yalnızca yansıtılması gereken belirli nesneleri seçin. Tüm verileri yansıt seçeneğini devre dışı bırakın ve veritabanınızdan tek tek tabloları seçin.
Bu örnekte Tüm verileri yansıt seçeneğini kullanırız.
Yansıtma veritabanını seçin . Yansıtma başlıyor.
2-5 dakika bekleyin. Ardından durumunu görmek için Çoğaltmayı İzle'yi seçin.
Birkaç dakika sonra durum Çalışıyor olarak değiştirilmelidir; bu da tabloların eşitlendiği anlamına gelir.
Tabloları ve karşılık gelen çoğaltma durumunu görmüyorsanız, birkaç saniye bekleyip paneli yenileyin.
Tabloların ilk kopyalama işlemini tamamladıktan sonra, Son yenileme sütununda bir tarih görüntülenir.
Verileriniz artık çalışır durumda olduğuna göre Fabric genelinde çeşitli analiz senaryoları mevcuttur.
Önemli
- Google BigQuery için yansıtma, değişiklik yansımasında yaklaşık 15 dakika gecikmeye sahiptir. Bu, Google BigQuery'nin Değişiklik Geçmişi özellikleriyle ilgili bir sınırlamadır.
- Kaynak veritabanında oluşturulan ayrıntılı güvenlik, Microsoft Fabric'teki yansıtılmış veritabanında yeniden yapılandırılmalıdır.
yapı yansıtmayı izleme
Yansıtma yapılandırıldıktan sonra Yansıtma Durumu sayfasına yönlendirilirsiniz. Burada, çoğaltmanın geçerli durumunu izleyebilirsiniz.
Çoğaltma durumları hakkında daha fazla bilgi ve ayrıntı için Ağ yapısı yansıtılmış veritabanı çoğaltmasını izleme bölümüne bakın.
Önemli
BigQuery veritabanınızdaki kaynak tablolarda güncelleştirme yoksa, çoğaltıcı altyapısı (BigQuery Yansıtma için değişiklik verilerini destekleyen altyapı) yavaşlar ve tabloları yalnızca saatte bir çoğaltır. özellikle kaynak tablolarınızda yeni güncelleştirme yoksa, ilk yüklemeden sonraki veriler beklenenden uzun sürüyorsa şaşırmayın. Anlık görüntüden sonra, Yansıtma Motoru değişiklikleri getirirken yaklaşık 15 dakika bekler; çünkü Google BigQuery, yeni değişiklikleri yansıtmada 10 dakikalık bir gecikme uygular. BigQuery'nin değişiklik yansıma gecikmesi hakkında daha fazla bilgi edinin