Azure Databricks Git klasörleri için özel Git bağlantısını ayarlama

Özel bir Git sunucusu (GitHub Enterprise Server, Bitbucket Server veya GitLab kendi kendine yönetilen sunucu gibi) barındırıyorsanız veya Git sunucunuz bir güvenlik duvarının arkasındaysa, Databricks Git klasörlerinizi özel depolarınıza bağlamak için Git sunucu proxy'sini kullanabilirsiniz. Ara sunucu, Azure Databricks çalışma alanınızdaki Git komutlarını bir işlem kaynağı üzerinden özel Git sunucunuza yönlendirir.

Git sunucu proxy'si hakkında

Git klasörleri için Databricks Git sunucu proxy'si, Azure Databricks çalışma alanınızdan İnternet üzerinden erişilmeyen özel bir Git sunucusuna Git komutlarına ara sunucu oluşturmanızı sağlar.

Databricks Git klasörleri , bağlı Git depolarınızı klasör olarak temsil eder. Bu klasörlerin içeriği, bağlı Git deposuyla eşitlenerek sürüm denetimindedir. Varsayılan olarak, Git klasörleri yalnızca İnternet'te erişilebilen depolarla eşitlenebilir. Özel bir Git sunucusu barındırdıysanız veya Git sunucunuz bir güvenlik duvarının arkasındaysa Git klasörleriyle Git sunucu proxy'sini kullanmanız gerekir. Git sunucunuza Azure Databricks işlem düzleminizden erişilebilir olmalıdır.

Git sunucu proxy'si nasıl çalışır?

Databricks Git klasörleri için Git sunucu proxy'si, Databricks kontrol uçağındaki Git komutlarını çalışma alanınızdaki hesaplama uçağında çalışan bir proxy kümesine yönlendirir. Proxy kümesi, Databricks denetim düzleminden Git komutlarını alan ve bunları Git sunucunuza ileten bir ara sunucu hizmeti çalıştıracak şekilde yapılandırılır. Proxy oluşturma, Databricks denetim düzleminizin güvenlik mimarisini etkilemez.

Aşağıda genel sistem mimarisi gösterilmektedir:

Önemli

Databricks, Git sunucu örneğinizi Databricks Git klasörleri için ara sunucu komutlarına yapılandırmak için bir etkinleştirme not defteri sağlar. GitHub'da etkinleştirme not defterini alın. Databricks Git sunucu proxy'si, yapılandırma not defterine dahil edilen Databricks Runtime sürümüyle çalışacak şekilde tasarlanmıştır. Proxy kümesinin Databricks Runtime sürümünü güncellemeyin.

Git Server Proxy'lerini ayarlama

Databricks Git klasörleri için özel Git bağlantısını etkinleştirmek için Git sunucu örneğinizi hazırlayın, etkinleştirme not defterini çalıştırarak proxy'yi oluşturun ve yapılandırmanızı doğrulayın.

Git sunucusu proxy'sini ayarlamak için:

1. Git sunucu örneğinizi statik IP adresleri ve HTTPS aktarımı ile hazırlayın.
2. Proxy kümesini oluşturmak için etkinleştirme not defterini çalıştırın.
3. Bir depo kopyalayarak yapılandırmanızı doğrulayın.
4. Kullanıcılar için Git kimlik bilgilerini yapılandırın.

Önkoşullar

Proxy'yi etkinleştirmeden önce aşağıdakileri doğrulayın:

• Çalışma alanınızda Databricks Git klasörleri özelliği etkindir. Bkz . Databricks Git klasörlerini etkinleştirme veya devre dışı bırakma.

• Git sunucu örneğine Azure Databricks çalışma alanınızın işlem düzlemi Azure sanal ağından (VNet) erişilebilir ve hem HTTPS hem de kişisel erişim belirteçleri (PAT) etkindir.

Not

Databricks için Git sunucu proxy'si, sanal ağınız tarafından desteklenen tüm bölgelerde çalışır.

1. Adım: Git sunucu örneğinizi hazırlama

Önemli

İşlem kaynağı oluşturmak ve bu görevi tamamlamak için erişim haklarına sahip bir çalışma alanı yöneticisi olmanız gerekir.

Git sunucunuzu proxy kümesinden gelen bağlantıları kabul etmek ve HTTPS aktarımını etkinleştirmek için yapılandırın.

Kurumsal Git sunucunuz genellikle erişime izin verilen IP adreslerinin izin verilenler listesine sahiptir. Ara sunucu kümesi sürücü düğümünün Git sunucunuza erişmesine izin vermek için, ara sunucu kümenizden kaynaklanan trafik için statik bir giden IP adresini ilişkilendirin ve Git sunucunuzun izin verilenler listesine ekleyin.

1. Azure Güvenlik Duvarı'nı veya çıkış aletini kullanarak ara sunucu kümenizden kaynaklanan trafik için statik bir giden IP adresini ilişkilendirin.
2. Önceki adımdaki IP adresini Git sunucunuzun izin verilenler listesine ekleyin.

Ardından Git sunucu örneğinizi HTTPS aktarımına izin verecek şekilde yapılandırın:

• GitHub Enterprise: GitHub Enterprise yardımında hangi uzak URL'yi kullanmalıyım ? bölümüne bakın.
• Bitbucket Sunucusu: Bitbucket sunucu yönetimi sayfasında Sunucu ayarları'na tıklayın ve HTTP(S) etkin'i seçin.

2. Adım: Etkinleştirme not defterini çalıştırma

Ara sunucuyu etkinleştirmek için:

1. Azure Databricks çalışma alanınızda, küme oluşturma erişim haklarına sahip bir çalışma alanı yöneticisi olarak oturum açın.

2. Git proxy'sini çalıştırmak için bulut sağlayıcınızın kullanabileceği en küçük örnek türünü seçen bu not defterini içeri aktarın:

   Not defteri: Git klasörlerindeki özel Git sunucusu bağlantısı için Databricks Git klasörleri için Git sunucu proxy'sini etkinleştirin.

3. Not defterini çalıştırmak için Tüm Çalıştır'a tıklayın ve bu da aşağıdaki görevleri gerçekleştirir:

   • Otomatik olarak sonlandırılmaması için "Databricks Git Proxy" adlı tek düğümlü bir işlem kaynağı oluşturur. Bu ara sunucu hizmeti, Azure Databricks çalışma alanınızdaki Git komutlarını işler ve özel Git sunucunuza iletir.
   • Databricks Git klasörlerindeki Git isteklerinin bir hesaplama örneği aracılığıyla proxy aracılığıyla yönlendirilip yönlendirilmeyeceğini kontrol eden bir özellik işaretini etkinleştirir.

   En iyi yöntem olarak, Git proxy işlem kaynağını düzenli bir zamanlamaya göre çalıştırmak için bir iş oluşturun. Bu, Git proxy hizmetini kullanıcılarınız için kullanılabilir durumda tutar.

Not

Uzun süre çalışan ek bir işlem kaynağı çalıştırmak fazladan Databricks Birimlerine (DBU) neden olur. Maliyetleri en aza indirmek için not defteri, proxy'yi ucuz düğüm türüne sahip tek düğümlü bir işlem kaynağı kullanacak şekilde yapılandırıyor. İşlem seçeneklerini gereksinimlerinize uyacak şekilde değiştirin. Fiyatlandırma bilgileri için bkz. Databricks fiyatlandırma hesaplayıcısı.

3. Adım: Git sunucu yapılandırmanızı doğrulama

Git sunucu yapılandırmanızı doğrulamak için ara sunucu kümesi aracılığıyla özel Git sunucunuzda barındırılan bir depoyu kopyalayın. Başarılı bir kopya, Git sunucusu proxy'sinin çalışma alanınız için çalıştığını onaylar.

4. Adım: Ara sunucu özellikli Git depoları oluşturma

Kullanıcılar Git kimlik bilgilerini yapılandırdıktan sonra, depoları oluşturmak veya eşitlemek için başka adım gerekmez. Kimlik bilgilerini yapılandırmak ve depolara program aracılığıyla erişmek için bkz. Git sağlayıcınızı Databricks'e bağlama.

Global CAN ATTACH TO izinlerini kaldır

Git sunucusu proxy'si herhangi bir kullanıcı için izin gerektirmez CAN ATTACH TO . Kullanıcıların ara sunucu kümesinde rastgele iş yükleri çalıştırmasını önlemek için, proxy sunucusunda küme erişim denetimi listesi (ACL) izinlerini kısıtlayın:

1. Kenar çubuğundan İşlem'e tıklayın ve sonra da çalıştırdığınız Git Server Proxy'sinin işlem girişinin yanındaki tıklayın.

2. İzinleri düzenle'ye tıklayın.

3. İletişim kutusundan Eklenebilir girdisini Tüm Kullanıcılar için kaldırın.

Sorun giderme

Bu bölümde yaygın sorunlar ve bunların nasıl tanılandığı ele alınıyor.

Sık karşılaşılan sorunlar için denetim listesi

Bir hatayı tanılamaya başlamadan önce aşağıdakileri onaylayın:

• Proxy kümeniz bu Git proxy sunucusu hata ayıklama not defteriyle çalışıyor.
• Çalışma alanı yöneticisisiniz.

Hata ayıklama defterinin geri kalanını çalıştırın ve sonuçları kaydedin. Sorunu çözemiyorsanız veya bildirilen herhangi bir hata görmüyorsanız Databricks desteği sonuçları gözden geçirebilir. İstenirse hata ayıklama not defterini dışarı aktarın ve DBC arşivi olarak gönderin.

Git proxy yapılandırmanızı değiştirme

Git proxy hizmetiniz varsayılan yapılandırmayla çalışmıyorsa ortam değişkenlerini ağ altyapınızı destekleyecek şekilde ayarlayın.

Git proxy hizmetinizin yapılandırmasını güncelleştirmek için aşağıdaki ortam değişkenlerini kullanın:

Ortam değişkeni	Biçim	Açıklama
GIT_PROXY_ENABLE_SSL_VERIFICATION	true/false	Özel Git sunucunuz için otomatik olarak imzalanan bir sertifika kullanıyorsanız bunu false olarak ayarlayın.
GIT_PROXY_CA_CERT_PATH	Dosya yolu (dize)	Bunu SSL doğrulaması için kullanılan ca sertifika dosyasının yoluna ayarlayın. Örnek: /FileStore/myCA.pem
GIT_PROXY_HTTP_PROXY	https://<hostname>:<port #>	Bunu, ağınızın HTTP trafiği için güvenlik duvarı ara sunucusunun HTTPS URL'si olarak ayarlayın.
GIT_PROXY_CUSTOM_HTTP_PORT	Bağlantı noktası numarası (tamsayı)	Bunu Git sunucunuzun HTTP bağlantı noktasına atanan bağlantı noktası numarasına ayarlayın.

Bu ortam değişkenlerini ayarlamak için:

1. Azure Databricks çalışma alanınızda İşlem sekmesine gidin.
2. Git proxy hizmetiniz için işlem yapılandırmasını seçin.
3. Yapılandırma bölmesinin en altında Gelişmiş'i genişletin ve Spark sekmesini seçin.
4. Ortam değişkenleri alanına ortam değişkenleri ekleyin.

Ara sunucu kümesindeki günlükleri incele

Proxy kümesindeki /databricks/git-proxy/git-proxy.log dosyası, hata ayıklama için yararlı olan günlükleri içerir.

Günlük dosyası Data-plane proxy server binding to ('', 8000)… ile başlamalıdır. Aksi takdirde, proxy sunucusu düzgün başlatılmamış olur. Kümeyi yeniden başlatın veya kümeyi silin ve etkinleştirme not defterini yeniden çalıştırın.

Günlük dosyası bu satırla başlıyorsa, Databricks Git klasörlerindeki Git işlemleri tarafından başlatılan her bir Git isteğine yönelik sonraki günlük kayıtlarını gözden geçirin.

Örneğin:

  do_GET: https://server-address/path/to/repo/info/refs?service=git-upload-pack 10.139.0.25 - - [09/Jun/2021 06:53:02] /
  "GET /server-address/path/to/repo/info/refs?service=git-upload-pack HTTP/1.1" 200`

Bu dosyaya yazılan hata günlükleri, size veya Databricks Desteği hata ayıklama sorunlarına yardımcı olmak için yararlı olabilir.

SSL sertifikası hataları

Aşağıdaki hatayı görebilirsiniz:

  https://git.consult-prodigy.com/Prodigy/databricks_test: Secure connection to https://git.consult-prodigy.com/Prodigy/databricks_test could not be established because of SSL problems

Bu genellikle özel SSL sertifikaları gerektiren bir depo kullandığınız anlamına gelir. /databricks/git-proxy/git-proxy.log Ara sunucu kümesindeki dosyayı denetleyin. Sertifika doğrulaması başarısız olduysa, sertifika yetkilisini sistem sertifika zincirine ekleyin:

1. Tarayıcınızı veya başka bir yöntemi kullanarak kök sertifikayı ayıklayın ve Databricks Dosya Sistemi'ne yükleyin.
2. Ortam değişkenini kök sertifika dosyasına işaret etmek üzere ayarlamak için GIT_PROXY_CA_CERT_PATH kümesini düzenleyin. Bkz. Ortam değişkenleri.

Bu adımları tamamladıktan sonra kümeyi yeniden başlatın.

Sık sorulan sorular

Git sunucusu proxy yapılandırması ve kullanımı hakkında sık sorulan sorular aşağıdadır.

Git proxy'sinin çalışıp çalışmadığını nasıl denetleyebilirim?

Git proxy hata ayıklama not defterini içeri aktarın ve çalıştırın. Sonuçlar, Git proxy hizmetiyle ilgili sorunlar olup olmadığını gösterir.

Çalışma alanları ara sunucu kümelerini paylaşabilir mi?

Her Azure Databricks çalışma alanı kendi proxy kümesi gerektirir. Bir proxy kümesini birden çok çalışma alanında paylaşamazsınız ve her çalışma alanında yalnızca bir Git proxy sunucu kümesi olabilir.

Ara sunucu üzerinden yalnızca bazı Git trafiğini yönlendirebilir miyim?

Databricks Git klasörleriyle ilgili tüm trafik, genel Git depoları için bile, proxy kümesi üzerinden yönlendirilir. Azure Databricks çalışma alanınız, proksid ve prxied olmayan depolar arasında ayrım yapmaz.

Hangi Git sağlayıcıları desteklenir?

Databricks Git klasörleri GitHub Enterprise, Bitbucket Server, Azure DevOps Server ve GitLab'in kendi kendine yönetilen özelliklerini destekler. Diğer kurumsal Git sunucu sağlayıcıları da ortak Git belirtimlerine uygunsa çalışmalıdır.

GNU Privacy Guard (GPG) işleme imzalaması destekleniyor mu?

Hayır

SSH aktarımı destekleniyor mu?

Hayır Yalnızca HTTPS desteklenir.

Varsayılan olmayan bir HTTPS bağlantı noktası kullanabilir miyim?

Etkinleştirme not defteri, Git sunucunuzun varsayılan HTTPS bağlantı noktası 443'i kullandığını varsayar. Ortam değişkenini GIT_PROXY_CUSTOM_HTTP_PORT farklı bir bağlantı noktası kullanacak şekilde ayarlayın.

Kullanıcıların ara sunucu için Git URL'lerini değiştirmesi gerekiyor mu?

Hayır Kullanıcılar, https://git.company.com/org/repo-name.git gibi normal Git deposu URL'sini girer. Databricks Git klasörleri için tüm Git trafiği, ara sunucu üzerinden saydam bir şekilde yönlendirilir.

Kimlik doğrulaması proxy ile nasıl çalışır?

Evet, proxy, Git sunucusunda kimlik doğrulaması yapmak için kullanıcının Git kimlik bilgilerini kullanır. Erişim, bu kimlik bilgisinde belirtilen izinlerle kısıtlanır.