Genişletilmiş ağ trafik kayıtları

Important

Bu özellik, Özel Önizleme sürümündedir. Denemek için Azure Databricks temsilcinize ulaşın.

Genişletilmiş ağ trafiği günlükleri, Azure Databricks sunucusuz işlemden giden ağ trafiğini kaydeder. Varsayılan olarak, giden ağ erişimi olayları sistem tablosu yalnızca sunucusuz çıkış kontrollerinin reddettiği istekleri kaydeder. Genişletilmiş ağ trafiği günlükleriyle, izin verilen talepleri de kaydeder, böylece sunucusuz iş yüklerinizin nerede bağlandığını görüp bağlantı sorunlarını giderebilirsiniz.

Genişletilmiş ağ trafiği kayıtları ayrıca, sunucusuz hesaplamanın her hedef IP adresine gönderdiği ve bu adreslerden aldığı veri miktarını kaydeden bir akış günlükleri tablosu ekler. İki yetenek aşağıdaki sistem tablolarını kullanır:

Capability	Sistem tablosu	Description
İzin verilen giden ağ erişimi olayları	system.access.outbound_network	Mevcut reddedilen istekler tablosuna izin verilen giden istekleri ekler.
Giden trafik akışı günlükleri	system.access.outbound_traffic	Hedef IP adresi başına gönderilen ve alınan baytları bir dakikalık aralıklarla toplanmış şekilde kaydeder.

Giden trafik akışı kayıtları yalnızca özel ağ ağ geçidi üzerinden yönlendirilen trafiği kaydeder.

Günlükleri sorgulamak için Genişletilmiş ağ trafiği günlüklerini sorgulama bölümüne bakın.

Kullanım örnekleri

Genişletilmiş ağ trafik kayıtlarını şu şekilde kullanın:

• Ağ etkinliğini araştırın: Sunucusuz iş yüklerinizin hangi hedeflere eriştiğini, ne zaman ve hangi çalışma alanından olduğunu görün.
• Ağ politikalarını iyileştirin: Nadiren erişilen hedefleri bulun ve bunları sunucusuz çıkış izin listelerinizden çıkarıp çıkarmamaya karar verin.
• Bağlantı sorunlarını giderme: Sunucusuz çıkış kontrollerinin bir talebe izin verilip verilmediğini veya reddedilip reddedilmediğini belirleyin.
• Ağ maliyetlerini araştırın: Sunucusuz iş yükleriyle erişilen bölgeler arası, internet ve özel ağ hedeflerini belirleyin.
• Depolama bağlantısını optimize edin: Özel bağlantıdan veya iş yüklerinizle aynı bölgede olmaktan fayda sağlayabilecek sık erişilen depolama hedeflerini bulun.

• Trafik hacimlerini ölçün: Sunucusuz hesaplamanın özel ağ geçidi üzerinden her hedefe ne kadar veri gönderip her hedeften ne kadar veri aldığını görün.
• Olağan dışı aktiviteleri tespit edin: Beklenmedik şekilde yüksek trafik hacmine sahip varış noktalarını bulun.

Nasıl çalışır?

İzin verilen ağ erişim etkinlikleri

Genişletilmiş ağ trafiği günlükleri mevcut ALLOWED tabloya system.access.outbound_network olaylar ekler. Bu tablo, SQL ambarları, görevler, Lakeflow boru hatları, Databricks uygulamaları ve Model Hizmet uç noktaları dahil olmak üzere sunucusuz iş yüklerinden giden ağ erişim olaylarını kaydeder. İzin verilen etkinlikler, bulut depolama, internet hedefleri ve özel bağlantı yoluyla ulaşılan kaynaklara yönelik talepleri kapsar. Tam tablo şeması için Ağ erişim olayları sistem tablosu referansına bakınız.

Sütun access_type her etkinliğin sonucunu gösterir:

Value	Description
ALLOWED	Dış ağ erişimine izin verildi. Yalnızca genişletilmiş ağ trafik günlükleri ile kullanılabilir.
DROP	Giden ağ erişimi, zorunlu modda Serverless giden trafik kontrolleri tarafından engellendi.
DRY_RUN_DENIAL	Giden ağ erişimi, serverless çıkış kontrolleri tarafından engellenecekti, ancak politika deneme modunda olduğu için izin verildi.

Bir istek için kaydedilen destination_type ve access_type değerleri, hedefe ve sunucusuz çıkış politika modunuza bağlıdır:

Ağ talebi	Kısıtlanmamış çıkış	Deneme modu	Zorunlu mod
Depolama erişimine izin verildi	ALLOWED / DNS	Oturum açılmadı	ALLOWED / STORAGE
Politikayı ihlal eden depolama erişimi	Uygulanamaz	DRY_RUN_DENIAL / DNS	DROP / STORAGE
VNet kaynaklarına erişime izin verildi	ALLOWED / DNS	ALLOWED / DNS	ALLOWED / DNS
Politikayı ihlal eden VNet kaynaklarına erişim	Uygulanamaz	DRY_RUN_DENIAL / DNS	DROP / DNS
İzin verilen internet erişimi	ALLOWED / DNS	ALLOWED / DNS	ALLOWED / DNS
Politikayı ihlal eden internet erişimi	Uygulanamaz	DRY_RUN_DENIAL / DNS	DROP / DNS

İzin verilen DNS olaylar için, destination alan adı veya depolama ana bilgisayar adını içerir. İzin verilen STORAGE olaylar için, destination depolama ana bilgisayar adını ve yolunu içerir. Çözümlenen hedef IP adresleri storage_event.rdata veya dns_event.rdata içindedir. Bu alanlar reddedilen etkinlikler için boştur.

Giden trafik akışı günlükleri

Tablo, system.access.outbound_traffic bireysel talepleri değil, toplu trafik hacimlerini kaydeder. Azure Databricks, trafiği sabit bir dakikalık aralıklara gruplar; bu aralıklar dakika sınırında başlar ve sona erer. Her aralık içinde, aynı çalışma alanı, hedef IP adresi ve bağlantı yöntemine sahip trafik tek bir kayıtta birleştirilir; gönderilen ve alınan baytlar toplanır.

Örneğin, 12:06:00 ile 12:05:00 arasındaki trafik, period_start_time = 12:05:00 ve period_end_time = 12:06:00 içeren bir kayıt oluşturur. Başlangıç zamanı kapsayıcıdır ve bitiş zamanı hariçtir. Bu zaman damgaları aralık sınırlarını işaretler, ilk ve son paketlerin zamanlarını değil. Trafik olmayan aralıklar kayıt üretmez.

Tabloda system.access.outbound_traffic aşağıdaki şema vardır:

Column	Veri türü	Description
event_id	string	Toplu trafik kaydı için benzersiz tanımlayıcı.
account_id	string	Trafiğin başladığı Azure Databricks hesabının kimliği.
workspace_id	string	Trafiğin başladığı çalışma alanının kimliği.
destination_ip	string	Hedef IP adresi.
received_bytes	bigint	Aralık boyunca sunucusuz işlem tarafından alınan toplam baytlar.
sent_bytes	bigint	Aralık boyunca sunucusuz hesaplama tarafından gönderilen toplam baytlar.
connection_type	string	Kullanılan bağlantı türü. Bu durumda değer PRIVATE olur.
connection_method	string	Kullanılan bağlantı yöntemi. Bu durumda değer PRIVATE_NETWORK_GATEWAY olur.
period_start_time	timestamp	Bir dakikalık aralığın başlangıcı dahildir.
period_end_time	timestamp	Bir dakikalık aralığın hariç bitişi.

Tablolar nasıl ilişkilidir

system.access.outbound_network Bir isteğin hedef host adını veya depolama yerini gösterir. system.access.outbound_traffic Size hedef IP adresini, bağlantı yöntemini ve kaç bayt aktarıldığını bildirir.

Bunları ilişkilendirmek için hesap kimliği, çalışma alanı kimliği ve çözümlenen hedef IP adresini eşleştirin ve erişim olayının event_time değerinin akış günlüğü aralığı içinde olup olmadığını kontrol edin. İki tablonun bağımsız event_id değerleri var, bu yüzden event_id üzerinde birleştirmeyin.

Bu eşleşmeler, IP adresi ve zamana dayalı korelasyonlardır. Erişim olayını belirli bir ağ bağlantısına bağlamazlar. Birden fazla ana bilgisayar adı aynı IP adresine çözümlendiğinde, her ana bilgisayar adı aynı akış kayıtlarıyla eşleşir.

Limitations

Genişletilmiş ağ trafiği kayıtlarının aşağıdaki sınırlamaları vardır:

• İzin verilen olaylar, Model Hizmet uç noktalarından harici model erişimi için kaydedilmez.
• İzin verilen olaylar, sunucusuz çıkış kontrolleri kuru çalıştırma modunda olan çalışma alanlarından depolama erişimi için günlüğe kaydedilmez.
• MLflow ve dbt artefaktları gibi çalışma alanı içi depolama alanlarına erişimlere ilişkin izin verilen olaylar günlüğe kaydedilmez.
• İzin verilen olaylar OpenSharing sağlayıcı depolama alanına erişim için kaydedilmiyor.
• Yaklaşık bir dakikadan kısa sürede çalışan iş yüklerinden izin verilen trafiğin, özellikle planlanmış, etkileşimsiz iş yükleri ve sınırsız çıkış politikalarına sahip çalışma alanları için kaydedilme olasılığı daha düşüktür.

• Giden trafik akışı kayıtları yalnızca özel ağ geçidi üzerinden yönlendirilen trafiği kaydeder. Diğer özel bağlantıları veya genel internet çıkışını kullanan trafik kaydedilmez.
• Giden trafik akış logları Agent Bricks, Unity Gateway veya Git klasörlerinden gelen trafiği kaydetmez.

Bu sınırlamalar, sunucusuz çıkış kontrollerinin nasıl uygulandığını veya reddedilen isteklerin nasıl kaydedildiğini etkilemez.

Sık sorulan sorular

Aşağıdaki sorular, genişletilmiş ağ trafik kayıtlarında karşılaşabileceğiniz yaygın davranışları kapsar.

Genişletilmiş ağ trafiği loglarını kullanmak için sunucusuz çıkış kontrollerine ihtiyacım var mı?

No. İzin verilen dış ağ erişim olayları, kısıtlanmamış sunucusuz çıkış politikalarına sahip çalışma alanları için de kaydedilir.

Neden bir iş yükü bittikten sonra ağ erişim olayları ortaya çıkıyor?

Azure Databricks, bir iş yükü bittikten sonra da depolamaya erişmeye devam edebilir, örneğin Delta logları veya meta verileri korumak için. Bu istekler, kullanıcı iş yükü çalışmadığında ağ erişim olayları oluşturabilir. Sunucusuz hesaplama örneği sona erdiğinde olaylar sona erer.

Neden ağ erişim kayıtlarımda yabancı host adlarını görüyorum?

Bazı loglanmış hedefler, platform işlemleri için kullanılan Azure Databricks tarafından yönetilen kaynaklardır:

Ana bilgisayar adı deseni	Purpose
databricks-prewarm-datasets*	Sunucusuz hesaplama başlatma sürelerini iyileştirir.
dbstorage*	Azure Databricks varsayılan depolama alanı.
system-tables*	Varsayılan örnek veri setlerine erişim.

Tanımadığınız başka ana bilgisayar adları görürseniz, Azure Databricks hesap ekibinizle iletişime geçin.

Ağ trafiği kayıtlarının görünmesi ne kadar sürer?

Çoğu giden ağ erişim olayı, istek verildikten sonra 15 dakika içinde görünür. Gecikme değişkenlik gösterebilir ve Azure Databricks bu loglar için gecikme hizmet seviyesi anlaşması (SLA) sağlamaz.

Neden izin verilen bir ağ erişim etkinliği için eşleşen bir akış logu bulamıyorum?

Akış günlükleri yalnızca özel ağ geçidi üzerinden yönlendirilen trafiği kaydeder, bu yüzden başka bağlantılar kullanan izin verilen isteklerin uyumlu akış logu yoktur. Eksik bir akış günlüğü, talebin başarısız olduğu veya veri aktarılmadığı anlamına gelmez.