Yapay zeka ve analiz için veri işleme standartları

Birleşik bir veri platformu tutarlı alım, dönüştürme ve yayımlama standartlarına bağımlıdır. Bu sayede liderler analiz ve yapay zeka için verilere güvenebilir. Öneri: OneLake'e hangi verilerin girildiğini, ekiplerin bu verileri nasıl iyileştirdiğini ve idare edilen veri ürünlerinin tüketicilere nasıl ulaştığını denetleyebilen kuruluş genelinde standartlar oluşturun (bkz. Şekil 1). Bu öneriyi uygulamak için bu makaleyi denetim listesi olarak kullanın:

Şekil 1. Veriler için işletim standartlarını ayarlamaya yönelik üç adım.

1. Veri alımı standartlarını ayarlama

OneLake, Microsoft Fabric'te analiz ve yapay zeka için merkezi veri gölü görevi görür, bu nedenle liderlerin girenleri denetlemesi gerekir. Öneri: Ekiplerin yalnızca tanımlı iş sonuçlarını destekleyen verileri almaları için açık sınırlar ayarlayın. Bu öneriyi uygulamak için aşağıdaki denetim listesini kullanın.

1. Hangi verileri birleştirebilirsiniz? OneLake'de veri birleştirme, ölçülebilir bir iş sonucuna bağlı bir veri ürününü destekleyen verilerin seçilmesi anlamına gelir. En iyi yöntemler: Yalnızca bir veri ürününü destekliyorsa ve iş değeri ekliyorsa OneLake'e veri getirin. Veri alımını teknik bir varsayılan değer yerine ürün kararı olarak değerlendirin. Karar kılavuzu: Liderlerin izlemesi gereken bir iş sürecini veya sonucu açıkladığında veya ölçtüğünde verileri alma kararı verin. Etkin kullanım örneği olmadığında verileri işletim sistemlerinde veya departman depolama alanında bırakmayı seçin. Bu seçenek depolama maliyetini ve idare ek yükünü azaltır.

2. Microsoft 365'te işbirliği ve bilgi içeriğini koruyun. Microsoft 365 verileri Microsoft 365 Copilot aracılarını destekler. Bu ajanlar, mevcut izinlere riayet ederek belgeleri, e-postaları ve işbirliği nesnelerini alır. Bkz. Microsoft 365 Copilot mimarisi. En iyi yöntemler: Microsoft 365'i, birincil amacı işbirliği, başvuru veya bilgi alma olan içerik için kayıt sistemi olarak kullanın. Bu verileri hazırlamak için Microsoft 365 benimseme kılavuzunu kullanın.

3. Desteklenen desenler aracılığıyla işletimsel veritabanlarını entegre etme. Operasyonel veritabanları genellikle analiz ve yapay zeka senaryolarını destekler, ancak doğrudan erişim risk ve istikrarsızlık yaratır. En iyi yöntemler: Sanal erişim kısayolları ve çoğaltılmış erişim için yansıtma gibi Microsoft Fabric tarafından desteklenen desenleri kullanın. Azure veritabanları genellikle güvenilir tümleştirme için yansıtma gerektirir. Karar kılavuzu: Sanal erişim performans gereksinimlerini karşıladığında kısayolları seçin. Analiz performansı, yalıtım veya aşağı akış yeniden kullanımı OneLake'te fiziksel bir kopya gerektirdiğinde yansıtmayı seçin.

4. Mevcut veri göllerini tümleştirme. Birçok kuruluş zaten Azure Data Lake Storage (ADLS), Google Cloud Storage veya Amazon S3 gibi veri göllerini işletmektedir. En iyi yöntemler: Mevcut gölleri anında geçişe zorlamak yerine birleşik veri varlığının bir parçası olarak değerlendirin. Kısayolları veya yansıtmayı kullanın. Karar kılavuzu: Hazır olma durumu ve risk temelinde karar verin. Yinelemeyi önlemek için kısayolları seçin. Tutarlılık, performans veya uyumluluk yineleme maliyetine ağır bastığında yansıtmayı seçin.

5. OneLake'te Surface Azure Databricks çıkışları. Azure Databricks genellikle zaten seçilmiş analiz verileri üretir. En iyi yöntemler: Databricks işlem hatlarını yerinde muhafaza edin ve nihai Gold çıktıları OneLake üzerinde gösterin. Karar kılavuzu: Çoğaltmayı önlemek için ve uzaktan erişim gereksinimleri karşıladığında kısayolları seçin. İdare veya tüketim desenleri yerel verileri talep ettiğinde yansıtmayı seçin.

6. İç ve dış veri alımını ayırın. İç analiz verileri ve dış kullanıma yönelik veriler farklı denetimler gerektirir. En iyi yöntemler: Dış veri ürünleri için ayrı çalışma alanları veya göl alanları oluşturun. Yalnızca onaylanan dış veri kümelerini bu konumlarda depolayın. Karar kılavuzu: Verilerin iç kararları mı yoksa dış paylaşımı mı desteklediğine erken karar verin. Yanlışlıkla maruz kalma durumunu azaltmak ve güvenlik ilkesi uygulamasını basitleştirmek için fiziksel ayrımı seçin.

2. Veri dönüştürme standartlarını ayarlama

OneLake'e veri almak yalnızca ilk adımdır. Gerçek değer, ham verilerin yüksek kaliteli, kullanıma hazır veri ürünlerine dönüştürülmesidir. Liderler işlem hatlarını tasarlamaz, ancak parçalanmayı önleyen platformlar ve mimari standartlar tanımlar. Öneri: Dönüştürme platformlarını standartlaştırıp tutarlı bir iyileştirme mimarisini zorunlu kılın. Bu öneriyi uygulamak için aşağıdaki denetim listesini kullanın:

2.1. Doğru veri platformunu kullanma

Seçtiğiniz platform, Microsoft ve Azure ortamlarındaki veri ürünleriniz için operasyonel gereksinimleri ayarlar. Öneri: Her veri ürünü için basitliği ve tümleştirmeyi özel mühendislik özellikleri gereksinimiyle dengeleyin. Bu öneriyi uygulamak için aşağıdaki denetim listesini kullanın:

1. Doku (varsayılan). Doku, doğrudan OneLake üzerinde çalışan tümleşik veri mühendisliği, analiz ve BI altyapıları sağlar. Bu altyapılar, kuruluş için birleşik idare edilen veri varlığı görevi görür. En iyi yöntemler: Standart analiz, raporlama ve veri hazırlama için Doku kullanın. Erişim denetimini, kökeni ve maliyet yönetimini basitleştirmek için Veri Akışları 2. Nesil, Spark ve SQL gibi yerel Doku altyapılarını tercih edin. OneLake'i tek depolama katmanı olarak kullanın. Karar rehberi: Gereksinimler yerleşik özelliklerle örtüştüğünde ve liderlik, birleşik idare ve faturalamaya değer verdiğinde Doku'yu seçin. Daha düşük işletim yükü karşılığında sınırlı özelleştirmeyi kabul edin.

2. Azure Databricks. Birçok kişi Azure Databricks'i tercih eder. Büyük ölçekli işlemeyi ve gelişmiş makine öğrenmesi senaryolarını destekler. En iyi yöntemler: Uzmanlığın veya ölçeğin zaten mevcut olduğu Databricks'i kullanmaya devam edin. Çıktıların OneLake'e inmesi veya OneLake kısayolları aracılığıyla bağlanması gerekir, çünkü böylece yönetim, güvenlik ve keşif merkezileşmiş kalır. Karar kılavuzu: Doku geçerli gereksinimleri karşılamadığında Databricks'i seçin. Daha yüksek tümleştirme ve beceri yükünü bir uzlaşma olarak kabul edin.

3. Platform sahipliği sınırlarını zorunlu kılma. Platform sınırlarını temizleme, sistemlerde yinelenen maliyeti ve tutarsız mantığı önler. En iyi yöntemler: Her iş yükü sınıfının sorumluluğunu tek bir platforma atayın. Platformlar arası işlemeyi onaylamadan önce mimari inceleme gerektir. Karar kılavuzu: Hangi platformun alım, dönüşüm ve analiz sonuçlarına sahip olduğunu belirleyin. Aynı iş sonucunu veren yinelenen dönüştürmeleri ve çakışan işlem hatlarını önleyin.

2.2. Madalyon mimarisini uygulama

Madalyon mimarisi, ham verilerden iş için hazır çıktılara net bir ilerleme tanımlayarak tüm veri ürünlerinde güven, tutarlılık ve idare oluşturur. Öneri: OneLake'deki tüm veri ürünlerinin bronz, gümüş ve altın bir yapıyı izlemesini ve bu katmanları atlayan kısayolları yasaklamasını zorunlu bulundurun. Bu öneriyi uygulamak için aşağıdaki denetim listesini kullanın:

1. Bronz katmanı kayıt sistemi (ham veri alımı) olarak zorunlu kılın: Bronz katman, verileri OneLake'e tam olarak gelir gelmez yakalar ve orijinal kaynak doğruluğunu korur. En iyi yöntemler: Verileri yalnızca ekli ve sabit olarak depolayın. Bu aşamada düzeltmeleri veya zenginleştirmeyi yasaklar. Her gelen veri kümesinin önce "Bronze" aşamasında depolanmasını zorunlu kılar. Karar kılavuzu: Bronzun yalnızca kaynak sistemlerden gerçeği korumak için var olduğuna karar verin. Denetlenebilirlik ve izlenebilirlik karşılığında daha yavaş kullanılabilirliği kabul edin.

2. Gümüş katmanı güvenilir görüntü olarak belirleyin. Gümüş katman, ekiplerin tutarlı analiz için güvendiği doğrulanmış, standartlaştırılmış ve temizlenmiş verileri barındırıyor. En iyi yöntemler: Veri kalitesi kuralları, biçimlendirme hizalaması ve temel iş doğrulamasını uygulayın. Gümüş veri kümelerini net bir şekilde belgeleyin ve değişiklikleri yönetim süreçleri aracılığıyla yönetin. Karar kılavuzu: Yetkili temizlenmiş katman olarak gümüş seçin. Ekiplerin ham verileri bağımsız olarak yeniden denetlemesini yasaklayın ve bu da çakışan yorumlar oluşturur.

3. Gold (iş bağlamı, veri ürünleri): Altın veri kümelerini iş verileri ürünleri olarak onaylar. Altın katman, liderlerin kararlar, performans izleme ve raporlama için kullandığı yönetilen veri ürünleri sunar. En iyi yöntemler: Altın veriyi onaylı iş tanımları ve ölçümleriyle uyumlu hale getirmek. Yapıları tüketim için iyileştirin. Sahiplik, amaç ve yenileme ayrıntılarıyla her altın veri kümesini Microsoft Purview'da bir veri ürünü olarak kaydedin. Karar kılavuzu: Takımlar arasında veya kararlar için kullanılan tüm veri kümelerinin altın renginde mevcut olması gerektiğine karar verin. İdareyi atlayan yönetilmeyen veya onaylanmamış veri kümelerini reddedin.

4. Dış kullanım için temizlenmiş ürünler oluşturun. Dış paylaşım, iç işletimsel verilerden kasıtlı olarak ayrılmayı gerektirir. En iyi yöntemler: Hassas alanları kaldıran veya maskeleyen ve gerektiğinde ayrıntıları azaltan seçilmiş veri kümeleri üretin. Sahipliği atayın ve Genel veya Dış kullanım gibi net etiketler uygulayın. Bu veri kümelerini onaylı konumlarda depolayın. Karar kılavuzu: Dış veri kümelerini bağımsız ürünler olarak ele almayı seçin. Yasal ve güvenlik riskini azaltmak için ek idare adımlarını kabul edin.

Fabric, dönüştürmeleri otomatik olarak yönetebilen gerçekleştirilmiş göl görünümleri aracılığıyla bu modelin desteklenmesini sağlar. Şuraya bakın: Fabric içinde Medallion Lakehouse Mimarisi. Analiz mimarisi için bkz. Microsoft Fabric ile Uçtan Uca Analiz.

Tablo. Örnek madalyon mimarisi. Altın katman, iki veri kümesindeki verileri birleştirir.

Dataset	Katman	Örnek Veriler	Ne oldu
Satış hareketleri	Bronz	OrderID=984321 · StoreID=17 · Amount="1.200" · TxnDate="2026-01-05T14:32:09Z"	Bu kayıt, satış sisteminden tam olarak gönderildiği haliyle ulaştı. Tutar metindir. Zaman damgası sistem biçimini izler. Hiçbir anlam uygulanmaz.
	Gümüş	OrderID=984321 · StoreID=17 · Tutar=1200,00 · İşlemTarihi=2026-01-05	İşlem standartlaştırılır ve doğrulanır. Tutar sayısaldır. Tarih, kurumsal kurallara uyar. Veriler artık güvenilirdir.
Mağaza referansı	Bronz	StoreID="17" · RegionName="EAST "	Bu kayıt bir konum sisteminden geldi. Biçimlendirme kaynağı yansıtır.
	Gümüş	StoreID=17 · Bölge=Doğu	Mağaza tanımlayıcıları satış verileriyle hizalanır. Bölge değerleri temizlenmiş ve tutarlıdır.
Bölgeye göre günlük gelir	Altın	Bölge=Doğu · Tarih=2026-01-05 · TotalRevenue=425000	Bu değer, Silver satış işlemlerini Silver store başvuru verileriyle birleştirir. Tek tek kayıtlar, bir iş sorusunu yanıtlamak için özetlenir.

2.3. Uyarlamalı bir altın katmanı düşünün

Uyarlamalı Altın, ileriye dönük bir konu olarak burada yer alır. Yapay zeka aracılarını kullanarak altın katmanlar oluşturmanız gerekir. Aracılar, sizin göremeyebileceğiniz desenleri gözlemleyebilir. Kullanıcılar sık sık "bölgeye göre aylık en önemli müşteri sorunları" sorusunu sorarsa yapay zeka aracıları bu veri kümesini gerçekleştirebilir. Bu özellik bugün Microsoft Fabric'te kullanıma sunulmaz. Doku ve Power BI telemetrisinde çalışan özel bir yapay zeka aracısı oluşturulması gerekir.

3. Veri ürünü yayımlama standartlarını ayarlama

Yayımlama standartları, kuruluşunuzun Microsoft Fabric OneLake ve Microsoft Purview aracılığıyla güvenilir veri ürünlerini nasıl kullanıma sunma şeklini tanımlar. Amaç, analiz ve yapay zeka iş yükleri genelinde yeniden kullanımı ölçeklendirmek, idareyi zorlamak ve riski azaltmaktır. Öneri: Geniş kullanımdan önce onaylı her veri ürününü bulunabilir, yönetilebilir ve açıkça tanımlanmış bir hedef kitleye yönelik hale getiren tek bir yayımlama standardı oluşturun. Bu öneriyi uygulamak için aşağıdaki denetim listesini kullanın:

1. OneLake Kataloğu aracılığıyla yayını standartlaştır. OneLake Kataloğu, Fabric ve Databricks gibi dış işleme platformlarında veri ürünleri için birleşik bir erişim alanı sağlar. En iyi yöntemler: Onaylanan tüm veri ürünleri için varsayılan yürütme ve tüketim katmanı olarak OneLake kullanın. Microsoft Purview'a idare ve iş tanımları için kayıt sistemi olarak davranın. Bu hizalama Power BI, Doku veri aracıları ve Azure AI Search'in verileri tutarlı bir şekilde kullanmasına olanak tanırken merkezi idare görünürlüğünü de etkinleştirir.

2. Bulunabilirliği sağlayın. Bulunabilirlik, karar alıcıların ve tüketicilerin resmi olmayan bilgilere bağlı kalmadan güvenilir veri ürünlerini bulabilmesini sağlar. En iyi yöntemler: doku çalışma alanı görünürlüğünü ilgili hedef kitlelerin öğeleri bulabilmesi için yapılandırın. Erişim gerekmez, yalnızca erişim isteğinde bulunabilirler. Kullanıcıların doğrudan katalogdan izin isteyebilmesi için Purview erişim isteği iş akışlarını etkinleştirin. Karar kılavuzu: Hedef etki alanları arasında yeniden kullanılırken geniş kapsamlı bulunabilirlik seçin. Mevzuat veya gizlilik kısıtlamaları geçerli olduğunda sınırlı bulunabilirlik seçin. Varlıkları gizlemek yerine erişim denetimleriyle görünürlüğü dengeleyin.

3. Yayında meta veri zenginleştirmeyi zorunlu kılın. Meta veriler, liderlerin bir veri ürününün uygunluk, güven ve yeniden kullanılmasını değerlendirmesine olanak tanıyan bağlam sağlar. En iyi yöntemler: Yayında açıklayıcı meta veriler gerektir. Ürünleri iş etki alanına veya girişime göre sınıflandırmak için Doku'daki etiketleri kullanın. Açıklamaların amacı ve veri kapsamını açıkladığından emin olun. Bu uygulama katalog aramayı destekler ve yeniden kullanım güvenilirliğini artırır. Karar kılavuzu: Meta veri gereksinimlerinin en düşük düzeyde mi kalacağına yoksa standart şemayı mı zorunlu kılıp uygulamadığına karar verin. Kuruluş birden çok etki alanı çalıştırdığında ve tutarlılık gerektiğinde standart bir şema seçin. Erken olgunluk aşamaları için daha hafif bir yaklaşım seçin.

4. Uygun olduğunda onaylayın ve sertifikalandırın. Onay ve sertifikasyon ölçütlerini tanımlayın. Onay, kuruluşa güven düzeyini ve idare olgunluğunu gösterir. En iyi yöntemler: Etki alanı tarafından önerilen ürünleri belirtmek için Öne Çıkan'ı kullanın. Resmi bir idare gözden geçirmesi geçen ürünleri belirtmek için Sertifikalı'yi kullanın. Yönetici raporlamasını veya kritik analizi destekleyen Gold veri kümelerine sertifikasyon uygulayın. Referans Yapısı onay kılavuzunu Onay bölümünde bulun. Karar kılavuzu: Hangi ürünlerin sertifikasyon gerektirdiğine karar verin. Yönetici veya mevzuat iş yükleri için zorunlu sertifikasyonu seçin. Hız ve deneme öncelikli olduğunda isteğe bağlı sertifikasyonu seçin. Daha yüksek güven karşılığında daha yavaş işe alım sürecini kabul edin.

5. Purview'da bir veri ürünü olarak yayımla. Purview veri ürünleri, varlıkları yönetilen bir ürün yaşam döngüsünde gruplandıran daha üst düzey bir görünüm sağlar. En iyi yöntemler: Yayımlanan her veri ürünü için bir Purview veri ürün girişi oluşturun. Ürün adını, açıklamasını, sahiplerini, kalite durumunu ve tablolar, modeller ve raporlar gibi ilgili varlıkları ekleyin. Birleşik Katalogda Veri Ürünlerine Başvurun. Karar kılavuzu: Purview veri ürünlerinin tüm yayımlanan varlıklar için mi yoksa yalnızca stratejik ürünler için mi gerekli olduğunu belirleyin. Portföy görünürlüğü önemli olduğunda tam kapsamı seçin. İdare kapasitesi sınırlı olduğunda seçmeli kapsam seçin.

6. Hedef kitleyi ve kullanımı bildirin. Net amaç kötüye kullanımı önler ve analiz ve yapay zeka senaryolarında uyumluluğu destekler. En iyi yöntemler: Her veri ürününün hedef kitlesini ve desteklenen iş yükü türünü belirtmesini zorunlu kılar. İç, iş ortağı veya genel kullanımı belirtin. Yapay zeka, analiz, BI veya genel web senaryolarını belirleme. Bu amacı tutarlı bir şekilde ifade etmek için Purview meta verilerini, sözlük terimlerini ve duyarlılık etiketlerini birlikte kullanın. Karar kılavuzu: Dış kullanımın mı yoksa aracı kullanımının ek onay mı gerektirdiğine karar verin. Veriler kuruluş sınırlarını terk ettiğinde daha katı bir onay seçin. Düşük risk karşılığında daha yavaş yayını kabul edin.

Sonraki adım

Veri güvenliği standartları