Azure Databricks teknik terim sözlüğü

Azure Databricks terminolojisi veri mühendisliği, analitik, makine öğrenimi, yönetişim ve lakehouse mimarisini kapsar. Bu sözlük, temel terimleri alfabetik olarak tanımlar.

A

erişim denetimi listesi (ACL)

Çalışma alanına, kümeye, işe, tabloya veya denemeye eklenmiş izinlerin listesi. ACL, nesnelere hangi kullanıcılara veya sistem işlemlerine erişim verildiğini ve varlıklar üzerinde hangi işlemlere izin verildiğini belirtir. Tipik bir ACL'deki her girdi bir konu ve bir işlem belirtir. Bkz. Erişim denetim listeleri.

erişim modu

İşlem kaynağını kimlerin kullanabileceğini ve işlem kaynağını kullanırken erişebilecekleri verileri belirleyen bir güvenlik özelliği. Azure Databricks'daki her işlem kaynağının bir erişim modu vardır. Bkz. Erişim modları.

ACID işlemleri

Güvenilir bir şekilde işlenen veritabanı işlemleri. ACID, bölünmezlik, tutarlılık, yalıtım, dayanıklılık anlamına gelir. Bkz. Güvenilirlik için en iyi yöntemler.

Ajan Tuğlalar

Yüksek kaliteli yapay zeka çözümü oluşturmanıza olanak tanıyan Azure Databricks özellikler.

yapay zeka (AI)

Bilgisayarın akıllı insan davranışlarını taklit etme yeteneği. Bkz. Azure Databricks'te makine öğrenmesi.

Yapay zeka aracısı

Kendi planını oluşturmasına ve görevi emrindeki araçlara göre yürütmesine olanak tanıyan karmaşık akıl yürütme özelliklerine sahip bir uygulama. Bkz. Ajan sistem tasarım desenleri.

Yapay zeka işlevleri

Azure Databricks'de doğrudan SQL'den verilerinize yapay zeka uygulamanıza olanak sağlayan yerleşik SQL işlevleri. Bkz . Yapay zeka işlevlerini kullanarak verileri zenginleştirme.

AI Ağ Geçidi

LLM uç noktalarını idare etmek ve izlemek, aracıları kodlamak ve uç noktaları sunan modele yönelik Azure Databricks çözümü. Kullanımı analiz etmek, izinleri yapılandırmak ve sağlayıcılar arasında kapasiteyi yönetmek için AI Gateway'i kullanın. Bkz. Unity AI Gateway ile yapay zeka idaresi.

Yapay zeka oyun alanı

Kullanıcıların Azure Databricks çalışma alanınızda sunulan yapay zeka modelleriyle etkileşim kurabileceği, test edebildiği ve karşılaştırabileceği bir Azure Databricks özelliği. Bkz. AI Playground kullanarak LLM'lerle sohbet ve yapay zeka uygulamalarının prototipi.

anomali algılama

Veri kümelerinde beklenen davranışa uymayan olağan dışı desenleri tanımlamak için kullanılan teknikler ve araçlar. Azure Databricks, makine öğrenmesi ve veri işleme özellikleri aracılığıyla anomali algılamayı kolaylaştırır.

Apache Iceberg

Şema evrimi, zaman yolculuğu ve gizli bölümleme özelliklerini destekleyen analiz iş yükleri için açık kaynak tablo biçimi. Azure Databricks Unity Kataloğu ve yabancı kataloglar tarafından yönetilen Iceberg tablolarını destekler. bkz. Azure Databricks Apache Iceberg nedir?.

Apache Spark

Büyük veri iş yükleri için kullanılan açık kaynaklı, dağıtılmış bir bilgi işlem sistemi. Bkz. Apache Spark'a genel bakış.

yapay sinir ağı (ANN)

İnsan beynindeki nöronların çalışmasına göre modellenmiş bir bilgi işlem sistemi.

asset

Azure Databricks çalışma alanındaki bir varlık (örneğin, bir nesne veya dosya).

denetim günlüğü

güvenlik, uyumluluk ve operasyonel izleme için kritik öneme sahip Azure Databricks ortamındaki kullanıcı etkinliklerinin ve eylemlerinin kaydı. Bkz. Tanılama günlüğü referansı.

Otomatik Yükleyici

Ek kurulum olmadan bulut depolama alanına ulaşan yeni veri dosyalarını artımlı ve verimli bir şekilde işleyen veri alımı özelliği. Bkz. Otomatik Yükleyici nedir?.

AutoML

Sizin için en iyi algoritmayı ve hiper parametre yapılandırmasını otomatik olarak bularak veri kümelerinize makine öğrenmesi uygulama sürecini basitleştiren bir Azure Databricks özelliği. Bkz. AutoML nedir?.

otomatik veri silsilesi

Çeşitli dönüşümlerle kaynağından son biçimine veri akışını otomatik olarak izleme ve görselleştirme işlemi, hata ayıklama, uyumluluk ve veri bağımlılıklarını anlamak için gereklidir. Azure Databricks, veri kökeni araçlarıyla tümleştirmeler aracılığıyla bunu kolaylaştırır.

otomatik ölçeklendirme, yatay

Bekleyen görev sayısına bağlı olarak yürütücü sayısını artırma veya azaltma. Bu, tek bir güncelleştirme sırasında dinamik olarak gerçekleşir.

otomatik ölçeklendirme, dikey

Bellek baskısına (veya eksikliklerine) göre makinenin (sürücü veya yürütücü) boyutunu artırma veya azaltma. Bu yalnızca yeni bir güncelleştirmenin başlangıcında gerçekleşir.

Azure Databricks

Databricks'in Microsoft Azure bulut platformu için iyileştirilmiş bir sürümü.

B

toplu işleme

Sabit miktarda statik, değişmeyen verileri tek bir işlem olarak işlemek için açık yönergeler tanımlamanıza olanak tanıyan bir veri işleme yöntemi. Azure Databricks Spark SQL veya DataFrames kullanır. Bkz. Lakeflow Connect'te standart bağlayıcılar.

sapma algılama ve azaltma

Eşitlik ve doğruluk sağlamak için veri ve makine öğrenmesi modellerindeki sapmaları tanımlama ve ele alma süreci. Databricks, yanlılığı algılamaya ve azaltmaya yardımcı olacak araçlar ve tümleştirmeler sunar. Bkz. sınıflandırma modelleri için eşitliği ve sapmayı izleme.

iş zekası (BI)

İşletmeler tarafından iş bilgilerinin veri analizi ve yönetimi için kullanılan stratejiler ve teknolojiler.

C

katalog (Unity Kataloğu)

Unity Kataloğu'nun üç düzeyli ad alanının ilk düzeyi (catalog.schema.table-etc). Katalog, tablolar, görünümler, birimler, modeller ve işlevler içeren şemalar için bir kapsayıcıdır. Bkz. Azure Databricks? içindeki kataloglar nedir?

Katalog Gezgini

Verileri, şemaları (veritabanları), tabloları, modelleri, işlevleri ve diğer yapay zeka varlıklarını keşfetmeye ve yönetmeye yönelik bir kullanıcı arabirimi sağlayan Azure Databricks özelliği. Veri nesnelerini ve sahiplerini bulmak, tablolar arasındaki veri ilişkilerini anlamak ve izinleri ve paylaşımı yönetmek için kullanabilirsiniz. Bkz. Katalog Gezgini nedir?.

çocuk örnek

Çocuk örnek, özgün veritabanı örneğinin değişikliklerin yalnızca klon üzerinde yapıldığı bir kopyalama türüdür. Geçerli zaman noktasından veya bekletme penceresindeki geçmiş bir zaman noktasından oluşturulabilir. Bkz Veri geri yükleme ve zaman yolculuğu.

CICD veya CI/CD

Sürekli tümleştirme (CI) ve sürekli teslimin (CD) birleşik yöntemleri. Bkz: Azure Databricks üzerinde CI/CD.

verileri temizleme

Bir kayıt kümesi, tablo veya veritabanındaki bozuk veya yanlış kayıtları algılama ve düzeltme (veya kaldırma) işlemi olan ve verilerin eksik, yanlış, yanlış veya ilgisiz bölümlerini tanımlama ve ardından kirli veya kaba verileri değiştirme, değiştirme veya silme işlemi olan veri temizleme işleminden geçen veriler.

Odaları Temizle

OpenSharing ve sunucusuz işlem kullanan Azure Databricks özelliği, birden çok tarafın hassas kurumsal verileri paylaşabileceği ve birbirlerinin verilerine doğrudan erişim olmadan işbirliği yapabilecekleri güvenli ve gizliliği koruyan bir ortam sağlar. Clean Rooms ile, diğer Databricks hesaplarından kullanıcılar, gizli temel verilere erişim paylaşmadan reklam kampanyaları, yatırım kararları veya araştırma ve geliştirme gibi paylaşılan projeler hakkında içgörüler oluşturmak için işbirliği yapabilir. Bkz. Azure Databricks Clean Rooms nedir?.

bulut platformu sağlayıcısı

Bulut bilişim platformu sağlayan bir şirket. Örneğin, Microsoft Azure, Amazon Web Services (AWS) ve Google Cloud Platform (GCP).

cluster

Not defterlerinde, işlerde ve Lakeflow işlem hatlarında kullanılan sunucusuz işlem kaynağı. compute terimi, Azure Databricks kullanıcı arabiriminde cluster yerine geçmiştir, ancak kümeler API'sinde ve meta verilerde kullanılmaya devam eder.

compute

İster donanım ister yazılım olsun, verileri alma, analiz etme ve depolama yoluyla sorun çözme ve çözüm oluşturmayı sağlayan altyapı öğeleri olan işlem kaynaklarını ifade eder. Compute.

sürekli boru hattı

Girişe durmadan yeni veriler geldiğinde tüm tabloları sürekli güncelleştiren bir işlem hattı. Bkz. Tetiklenen veya sürekli işlem hattı modu.

D

yönlendirilmiş ansiklik grafik (DAG)

bir iş akışı veya işlem hattındaki görevler arasındaki bağımlılıkları temsil eden bir yöntem. DAG işleme modelinde görevler, uçların görevler arasındaki bağımlılıkları temsil ettiği, yönlendirilmiş bir döngüsel grafikte düğümler olarak temsil edilir.

veri kataloğu

Veri kaynaklarını yönetmek için verilerin yapısı, konumu ve kullanımı hakkında bilgi sağlayan bir meta veri yönetimi aracı. Azure Databricks, gelişmiş meta veri yönetimi için dış veri kataloglarıyla tümleşir.

veri idaresi

Veri kalitesini ve uyumluluğunu sağlamak için ilkeler, yordamlar ve teknolojiler dahil olmak üzere verilerin kullanılabilirliğini, bütünlüğünü, güvenliğini ve kullanılabilirliğini yönetme uygulaması.

veri alımı

Çeşitli kaynaklardan verileri Azure Databricks'e aktarma, taşıma, yükleme ve işleme süreci, depolama, analiz ve işleme için gerçekleştirilir.

veri gölü

Gerekli olana kadar büyük miktarda ham veriyi yerel biçiminde tutan büyük bir depolama deposu.

Data Lakehouse

Veri göllerinin ve veri ambarlarının avantajlarını birleştiren bir veri yönetimi sistemi. Data Lakehouse, makine öğrenmesi (ML) ve iş zekası (BI) gibi farklı iş yüklerini işlemek için yalıtılmış sistemlerden kaçınmak isteyen modern kuruluşlar için ölçeklenebilir depolama ve işleme özellikleri sağlar. Data Lakehouse tek bir gerçeklik kaynağı oluşturmaya, gereksiz maliyetleri ortadan kaldırmaya ve verilerin güncelliğini sağlamaya yardımcı olabilir. Bkz. Data Lakehouse nedir?.

Veri Profili Oluşturma

Hesabınızdaki tüm tablolardaki verilerin istatistiksel özelliklerini ve kalitesini izler. Model girişleri ve tahminleri içeren çıkarım tablolarını izleyerek makine öğrenmesi modellerinin ve model sunma uç noktalarının performansını izlemek için de kullanabilirsiniz. Bkz. Veri profili oluşturma.

veri işlem hattı

Verilerin oluşturulduğu, toplandığı, işlendiği ve bir hedefe taşındığı bir dizi aşama. Databricks, toplu ve gerçek zamanlı veri işleme için karmaşık veri işlem hatlarının oluşturulmasını ve yönetilmesini kolaylaştırır.

veri gizliliği

Kişisel verileri yetkisiz erişim, kullanım, ifşa veya hırsızlıktan koruma uygulaması. Azure Databricks, hassas bilgileri korumak ve veri idaresini sağlamak için uçtan uca şifreleme, rol tabanlı erişim denetimi ve önemli veri koruma düzenlemeleriyle uyumluluk gibi güçlü veri gizliliği ve güvenlik özelliklerini vurgular.

veri sanallaştırma

Bir uygulamanın, verilerin nasıl biçimlendirildiği veya fiziksel olarak nerede olduğu gibi teknik ayrıntılara gerek kalmadan verileri almasına ve işlemesine olanak tanıyan bir veri yönetimi yaklaşımı. Azure Databricks, farklı kaynaklardaki verilere sorunsuz erişim ve analiz sağlayarak veri sanallaştırma katmanının bir parçası olarak görev yapabilir.

veri ambarı

İş içgörüleri ve raporlama için hızlı bir şekilde erişilebilir olması için birden çok kaynaktan veri toplamayı ve depolamayı ifade eder. Lakehouse mimarisi ve Databricks SQL, veri göllerinize bulut veri ambarı özellikleri getirir. Bkz. Veri ambarı mimarisi.

veritabanı kataloğu

Tek bir örnekte bir Postgres veritabanını temsil eden Unity Catalog katalog varlığı. Bu, Unity Kataloğu'ndaki yabancı bir kataloğa kavramsal olarak benzerdir. Bkz . Unity Kataloğu'nda veritabanınızı kaydetme.

veritabanı örneği

Veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar. Bkz. Lakebase Sağlandı.

Databricks

Kurumsal düzeydeki verileri, analizleri ve yapay zeka çözümlerini büyük ölçekte oluşturmaya, dağıtmaya, paylaşmaya ve korumaya yönelik birleşik, açık bir analiz platformu. Databricks Veri Zekası Platformu, bulut hesabınızdaki bulut depolama ve güvenlikle tümleştirilir ve bulut altyapısını sizin adınıza yönetir ve dağıtır. Bkz. Azure Databricks nedir?.

Databricks AI/BI

Verilerinizin semantiğini anlamanızı sağlayan ve self servis veri analizini sağlayan bir iş zekası ürünü. AI/BI, ETL işlem hatları, köken ve diğer sorgular dahil olmak üzere Databricks platformundaki verilerinizin tüm yaşam döngüsünden içgörüler elde eden birleşik bir yapay zeka sistemi üzerine kurulmuştur. Bkz. Databricks AI/BI.

Databricks AI özellikleri

Databricks Platformunu güçlendiren veri zekası altyapısı. Kuruluşunuzun veri ve kullanım desenlerinin semantiğini anlamak için yapay zeka modellerinin, alma, derecelendirme ve kişiselleştirme sistemlerinin kullanımını birleştiren birleşik bir yapay zeka sistemidir. Bkz. Databricks AI yardımcı özellikleri.

Databricks AI Arama

Databricks Veri Zekası Platformu'na yerleşik olarak bulunan ve idare ve üretkenlik araçlarıyla tümleştirilmiş bir vektör arama dizini. Bkz. Databricks AI Search.

Databricks AI Search eskiden Databricks Vektör Arama olarak biliniyordu.

Databricks Uygulamalar

Geliştiricilerin Python veya Node.js çerçeveleri kullanarak güvenli veri ve yapay zeka uygulamalarını doğrudan Azure Databricks platformunda oluşturmasını ve dağıtmasını sağlayan bir Azure Databricks özelliği. Uygulamalar sunucusuz işlem üzerinde çalışır ve Unity Kataloğu, Databricks SQL ve OAuth ile tümleşir. Bkz. Databricks Uygulamaları.

Bildirim temelli Otomasyon Paketleri

Veri ve yapay zeka projeleriniz için kaynak denetimi, kod gözden geçirme, test ve sürekli tümleştirme ve teslim (CI/CD) dahil olmak üzere yazılım mühendisliği en iyi uygulamalarının benimsenmesini kolaylaştıran bir araç. Paketler, işler, işlem hatları ve not defterleri gibi Azure Databricks kaynakları kaynak dosya olarak tanımlamayı mümkün hale getirir. Bkz. Bildirim temelli Otomasyon Paketleri nelerdir?.

Databricks CLI

kullanıcıların Databricks çalışma alanlarını yönetmesine ve otomatikleştirmesine ve işleri, not defterlerini ve kitaplıkları dağıtmasına olanak tanıyan Azure Databricks için bir komut satırı arabirimi. Bkz. Databricks CLI.

Databricks Connect

Geliştiricilerin sık kullandıkları IDE'leri, not defterlerini ve diğer araçları Azure Databricks işlemle bağlamasına ve Spark kodunu uzaktan yürütmesine olanak tanıyan bir istemci kitaplığı. Bkz. Databricks Connect.

Databricks Konteyner Hizmetleri

İşlem oluştururken Docker görüntüsü belirtmenize olanak tanıyan bir Azure Databricks özelliği. Ayrılmış işlem için bkz. Databricks Container Services.

Databricks Pazaryeri

Veri ürünleri alışverişi için açık bir forum. Sağlayıcıların bir Azure Databricks hesabı olmalıdır, ancak alıcılar herhangi biri olabilir. Market varlıkları arasında veri kümeleri, Azure Databricks not defterleri, Azure Databricks Çözüm Hızlandırıcıları ve makine öğrenmesi (AI) modelleri bulunur. Veri kümeleri genellikle tablosal verilerin katalogları olarak kullanılabilir hale getirilir, ancak tablosal olmayan veriler Azure Databricks birimler biçiminde de desteklenir. Bkz . Databricks Market nedir?.

Databricks Çalışma Zamanı

Büyük veri analizi için iyileştirilmiş bir çalışma zamanı. Databricks ayrıca makine öğrenimi iş yükleri için optimize edilmiş Databricks Runtime for Machine Learning'i de sunar. Bkz Databricks Runtime sürüm notlarının versiyonları ve uyumluluğu.

Databricks SQL (DBSQL)

Veri ambarı özelliklerini ve performansını mevcut veri göllerinize getiren hizmetlerin koleksiyonu. Databricks SQL açık biçimleri ve standart ANSI SQL'i destekler. Platform içi SQL düzenleyicisi ve pano araçları, ekip üyelerinin doğrudan çalışma alanında diğer Azure Databricks kullanıcılarla işbirliği yapmasına olanak tanır. Bkz. Azure Databricks üzerinde Veri ambarı.

DBUs

Databricks Birimi (DBU), ölçüm ve fiyatlandırma amacıyla kullanılan Databricks Lakehouse Platformu'nda normalleştirilmiş bir işlem gücü birimidir. Bir iş yükünün kullandığı DBU sayısı, kullanılan işlem kaynakları ve işlenen veri miktarı gibi ölçümler işlenerek belirlenir. Bkz. Azure Databricks bileşenleri.

Databricks Dosya Sistemi (DBFS)

Azure Databricks çalışma alanına bağlanmış ve Azure Databricks işlemde kullanılabilen dağıtılmış dosya sistemi. Azure Databricks, tablosal olmayan verilere erişimi yönetmek için DBFS yerine Unity Kataloğu birimlerinin kullanılmasını önerir. Bkz. DBFS nedir?.

DataFrame

Verileri elektronik tablo gibi iki boyutlu bir satır ve sütun tablosu halinde düzenleyen bir veri yapısı. DataFrame'ler, verileri depolamanın ve verilerle çalışmanın esnek ve sezgisel bir yolu olduğundan modern veri analizinde kullanılan en yaygın veri yapılarından biridir. Bkz . Öğretici: Apache Spark DataFrames kullanarak verileri yükleme ve dönüştürme.

dataset

Analiz veya işleme için birlikte düzenlenmiş ve depolanmış yapılandırılmış bir veri koleksiyonu. Bir veri kümesindeki veriler genellikle bir şekilde ilişkilidir ve tek bir kaynaktan alınır veya tek bir proje için tasarlanmıştır.

Delta Gölü

Veri göllerine güvenilirlik getiren bir açık kaynak depolama katmanı. Delta Lake, ACID işlemleri ve ölçeklenebilir meta veri işleme sağlar, akışla aktarmayı ve toplu veri işlemeyi birleştirir. Bkz. Azure Databricks'da Delta Lake nedir?.

Pipelines

Apache Spark™ Bildirimli İşlem Hatları (SDP) üzerinde oluşturulan veri işleme işlem hatları. Verileriniz üzerinde gerçekleştirilecek dönüştürmeleri tanımlarsınız ve Lakeflow işlem hatları görev düzenleme, küme yönetimi, izleme, veri kalitesi ve hata işlemeyi yönetir. Bkz. Spark Bildirimsel İşlem Hatları.

İşlem hatları veri kümeleri

Akış tabloları, maddileştirilmiş görünümler ve görünümler, bildirim temelli sorguların sonuçları olarak korunur.

OpenSharing

Azure Databricks'deki verileri ve yapay zeka varlıklarını kuruluşunuzun dışındaki kullanıcılarla paylaşmanıza olanak tanır( bu kullanıcılar Azure Databricks kullansa da kullanmasa da). Tablosal verileri paylaşmak için açık kaynak proje olarak da kullanılabilir ve Azure Databricks kullanarak tablosal olmayan, yapılandırılmamış verileri (birimler), yapay zeka modellerini, görünümleri, filtrelenmiş verileri ve not defterlerini paylaşma olanağı sunar. Bkz. OpenSharing nedir?.

Delta tabloları

Azure Databricks'da varsayılan veri tablosu biçimidir ve Delta Lake açık kaynak veri çerçevesinin bir özelliğidir. Delta tabloları genellikle verilerin akış yoluyla veya büyük toplu işlemler aracılığıyla alındığı veri gölleri için kullanılır. Bkz. Azure Databricks tabloları.

DLT

Lakeflow işlem hatları için kullanım dışı bırakılan ad. Daha önce Delta Live Tables (DLT) olarak bilinen ürün yeniden adlandırıldı; mevcut kod için geçiş gerekmez. Bkz. Delta Live Tables'a (DLT) ne oldu?.

E

ekleme (isim)

Metin veya resimler gibi verilerin anlamsal içeriğinin sayı vektörleri olarak ifade edilen matematiksel bir gösterimi. Azure Databricks, vektör arama, alma artırılmış üretim ve diğer yapay zeka uygulamaları için gömüler kullanır. "Bir panoyu kullanıcı arabirimine gömmek için kullanılan 'gömme' teriminden farklıdır." Bkz. Databricks AI Search.

ETL (Ayıklama, Dönüştürme, Yükleme)

Kaynaklardan verileri ayıklayan, hedef sisteme yükleyen ve ardından hedef sistem içinde dönüştüren modern bir veri tümleştirme yaklaşımı. Bkz. Öğretici: Lakeflow işlem hatları ile ETL işlem hattı oluşturma.

dış tablo

Verilerin bir dış bulut depolama konumunda bulunduğu Unity Kataloğu'nda kayıtlı bir tablo. Unity Kataloğu meta verileri ve erişim denetimini yönetir, ancak veri yaşam döngüsü Azure Databricks dışında yönetilir. Bkz Dış Tablolarla Çalışma.

F

Özellik Mağazası

Makine öğrenmesi modellerine yönelik özellikleri depolama, yönetme ve sunma için merkezi bir depo. Bkz. Databricks Özellik Deposu.

Ince ayar

Önceden eğitilmiş bir makine öğrenmesi modeli alma ve belirli bir uygulama için performansını iyileştirmek üzere daha küçük, etki alanına özgü bir veri kümesi üzerinde daha fazla eğitim alma işlemi. Bkz Yapay zeka ve ML modellerini eğitme.

flow

Akış, Lakeflow işlem hatlarında verileri okuyan, dönüştüren ve bir hedefe yazan bir işlemdir.

harici tablo

Unity Kataloğu'nda verileri AWS Glue veya Snowflake gibi Unity Kataloğu dışındaki bir katalog tarafından yönetilen salt okunur bir tablo. Azure Databricks, meta verilerini almak ve nesne depolamada tabloyu okumak için Lakehouse Federation'ı kullanır. Bkz Yabancı tablolarla çalışma.

temel modeller

Dil anlama ve üretme görevleri için daha özel olarak ince ayar yapılması amaçlanan büyük ML modelleri önceden eğitimden geçirilmiştir. Bkz. Databricks Foundation Model API'leri.

G

Genie kodu

Azure Databricks'de veri çalışması için özel olarak tasarlanmış otonom bir yapay zeka iş ortağı. Genie Code Unity Kataloğu ile derinlemesine tümleşiktir ve karmaşık, çok adımlı veri görevlerini hızlandırmak için tablolarınız, sütunlarınız ve kökeniniz konusunda bağlamsal farkındalık sağlar. Bkz . Genie Code.

Genie Aracısı

İş ekiplerinin verileriyle doğal dil kullanarak etkileşim kurmasını sağlayan Azure Databricks bir yapay zeka/BI özelliği. Etki alanı uzmanları Genie Aracılarını veri kümeleri, örnek sorgular ve yönergelerle yapılandırarak Genie'nin iş sorularını SQL sorgularına çevirebilmesini sağlar. Bkz . Genie Agents.

Genie One

İş kullanıcıları için tasarlanmış, teknik çalışma alanı kavramlarında gezinmeden yapay zeka/BI panoları, Genie Agents ve Databricks Uygulamaları ile etkileşime geçmek için tek bir giriş noktası sağlayan basitleştirilmiş bir Azure Databricks arabirimi. Bkz . Genie One'ı kullanma.

üretken yapay zeka

Bilgisayarların görüntüler, metin, kod ve yapay veriler gibi içerik oluşturmak için modelleri kullanabilmesine odaklanan bir yapay zeka türü. Üretken yapay zeka uygulamaları, büyük dil modelleri (LLM' ler) ve temel modeller olmak üzere üretken yapay zeka modellerinin üzerine kurulmuştur. Bkz. Azure Databricks'te makine öğrenmesi.

Git klasörleri

Not defterleri ve dosyalar için sürüm denetimi, işbirliği ve CI/CD özellikleri sağlayan Azure Databricks çalışma alanıyla tümleştirilmiş bir görsel Git istemcisi. Eskiden Repos olarak bilinirdi. Bkz. Azure Databricks Git klasörleri.

I

Çıkarsama

Yeni giriş verilerinden tahminler veya çıkışlar oluşturmak için eğitilmiş bir makine öğrenmesi modeli kullanma işlemi. Azure Databricks, Model Sunma aracılığıyla gerçek zamanlı ve toplu çıkarımları destekler. Bkz. Model Serving kullanarak model dağıtma.

init betiği

Azure Databricks hesaplama kaynağının başlatma sırasında çalışan bir kabuk betiği. Init betikleri paketleri yükleyebilir, yapılandırmaları değiştirebilir veya ortam değişkenlerini ayarlayabilir. Bkz. Başlatma betikleri nedir?.

J

job

Azure Databricks üzerinde üretim iş yüklerini zamanlama ve düzenlemeye yönelik birincil birim. İşler bir veya daha fazla görevden oluşur. Bakınız Lakeflow İşleri.

L

Lakeflow Connect

Kurumsal uygulamalardan ve veritabanlarından alım için yerleşik bağlayıcılar sunar. Ortaya çıkan veri alım hattı Unity Catalog tarafından yönetilir ve gücünü sunucusuz bilgi işlem ile Lakeflow işlem hatlarından alır. Lakeflow Connect'te Yönetilen Bağlayıcılar kısmına bakın.

Lakehouse Federasyonu

Azure Databricks için sorgu federasyon platformu. Sorgu federasyonu terimi, kullanıcıların ve sistemlerin tüm verileri birleşik bir sisteme geçirmeye gerek kalmadan birden çok veri kaynağında sorgu çalıştırmasına olanak tanıyan bir özellik koleksiyonunu açıklar. Azure Databricks sorgu federasyonunu yönetmek için Unity Kataloğu'nu kullanır. Bkz . Dış veritabanlarına ve kataloglara bağlanma.

Lakebase

Azure Databricks Lakebase, Lakehouse'unuzla tümleştirilmiş bir OLTP veritabanıdır. Çevrimiçi işlem işleme (OLTP) veritabanı, yüksek hacimli gerçek zamanlı işlem verilerini verimli bir şekilde işlemek için tasarlanmış özel bir veritabanı sistemi türüdür. Lakebase, Azure Databricks üzerinde bir OLTP veritabanı oluşturmanıza ve OLTP iş yüklerini Lakehouse'unuza getirmenize olanak tanır.

Bkz. Lakebase Sağlandı.

Lakebase uç noktası

Lakebase uç noktası, Lakebase Postgres veritabanınızın birincil veritabanı erişim noktasıdır. Her uç nokta benzersiz bir uç nokta kimliğiyle tanımlanır ve tek bir bulut bölgesinde çalışır. Uç nokta tek bir işlem olarak veya yüksek kullanılabilirlikle yapılandırılabilir ve bu da birincil işlem örneğini otomatik yük devretme için bir veya daha fazla ikincil işlem örneğiyle eşleştirebilir. Uç noktanın bağlantı dizeleri aracılığıyla veritabanınıza bağlanırsınız.

Bkz. Yüksek kullanılabilirlik.

büyük dil modeli (LLM)

Açık uçlu soruları yanıtlama, sohbet, içerik özetleme, neredeyse rastgele yönergelerin yürütülmesi, çeviri, içerik ve kod oluşturma gibi görevler için tasarlanmış bir doğal dil işleme (NLP) modeli. LLM'ler, insan dilinin desenlerini ve yapılarını öğrenmek için gelişmiş makine öğrenmesi algoritmaları kullanılarak büyük veri kümelerinden eğitilir. Bkz. Azure Databricks üzerinde derleme aracıları.

library

Kümenizde çalışan not defteri veya iş için kullanılabilen bir kod paketi. Databricks runtime'ları birçok kitaplık içerir ve kendi kitaplığınızı da yükleyebilirsiniz. Bkz. Kitaplıkları yükle.

sıvı kümeleme

Sorgu performansını artırmak için verileri belirtilen sütunlara göre artımlı olarak kümeleyen Delta ve Iceberg tabloları için Azure Databricks veri düzeni iyileştirme özelliği. Geleneksel bölümlemenin aksine, sıvı kümeleme değişen veri desenlerine uyum sağlar. Bkz Tablolar için sıvı kümeleme kullanma.

M

yönetilen tablo

Hem veri dosyaları hem de meta verileri Unity Kataloğu tarafından tam olarak yönetilen bir tablo. Yönetilen tablolar her zaman Delta veya Iceberg biçiminde depolanır ve tahmine dayalı iyileştirme ile otomatik bakımdan yararlanılır. Bkz. Delta Lake ve Apache Iceberg için Unity Catalog tarafından yönetilen tablolar.

gerçekleştirilmiş görünüm

Daha düşük gecikme süresiyle veya yedekli hesaplama olmadan tekrar tekrar sorgulanabilmesi için önceden derlenmiş ve depolanmış bir görünüm. Bkz Gerçekleştirilmiş görünümler.

madalyon mimarisi

Lakehouse'daki verileri mantıksal olarak düzenlemek amacıyla kullanılan bir veri tasarımı deseni, mimarinin her katmanında (Bronz ⇒ Gümüş ⇒ Altın katman tablolarından) akan verilerin yapısını ve kalitesini artımlı ve aşamalı olarak geliştirme hedefini taşır. Madalyon göl evi mimarisi nedir?.

metastore

Sütun ve sütun türü bilgileri, verileri okumak ve yazmak için gerekli seri hale getiriciler ve seri durumdan çıkarıcılar ve verilerin depolandığı ilgili dosyalar dahil olmak üzere veri ambarında çeşitli tabloların ve bölümlerin tüm yapı bilgilerini depolayan bileşen. Bkz. Metastore.

metrik görünümü

Yeniden kullanılabilir iş ölçümlerini tanımlamak ve yönetmek için merkezi bir yol sağlayan Unity Kataloğu nesnesi. Ölçüm görünümleri ölçü tanımlarını boyut gruplandırmalarından ayırarak ölçümleri bir kez tanımlamanıza ve bunları herhangi bir boyutta esnek bir şekilde sorgulamanıza olanak sağlar. Bkz Unity Kataloğu metrik görünümleri.

MLflow

Aracılar, LLM'ler ve ML modelleri için en büyük açık kaynak yapay zeka mühendislik platformu. MLflow, her boyuttan ekibin yapay zeka uygulamalarında hata ayıklamasına, değerlendirmesine, izlemesine ve iyileştirmesine olanak tanırken maliyetleri kontrol eder ve modellere ve verilere erişimi yönetir. Azure Databricks'da MLflow, MLflow'un ölçeklenebilir ve güvenli yönetilen dağıtımını sağlayan, kurumsal müşteriler için ek işlevlere sahip tam olarak yönetilen bir hizmettir. Bkz. Databricks'te MLflow.

MLflow İzleme

Bir aracının veya uygulamanın attığı her adımı günlüğe kaydederek uçtan uca gözlemlenebilirlik sağlayan, GenAI’ye yönelik bir MLflow özelliği. Geliştirme ve üretimde aracı davranışını hata ayıklamak, izlemek ve denetlemek için MLflow İzleme'yi kullanın. Bkz. MLflow İzleme - GenAI gözlemlenebilirliği.

Model Bağlam Protokolü (MCP)

Aracıları standartlaştırılmış bir arabirim aracılığıyla araçlara, kaynaklara, istemlere ve diğer bağlam bilgilerine bağlayan açık kaynak standart. Azure Databricks yönetilen, dış ve özel MCP sunucuları sağlar. MCP'ler ve ajan araçlarına bakınız.

model eğitimi

Azure Databricks üzerinde birçok popüler açık kaynak kitaplığı kullanarak makine öğrenmesi ve derin öğrenme modelleri eğitimi süreci. Bkz Yapay zeka ve ML modellerini eğitme.

Model Sunumu

Gerçek zamanlı ve toplu çıkarım için yapay zeka modellerini dağıtmaya, idare etmeye ve sorgulamaya yönelik birleşik arabirim. Bkz. Model Serving kullanarak model dağıtma.

Databricks Model Eğitimi

Bu özellik, verilerinizi kullanarak bir temel modeli özelleştirerek uygulamanızın performansını iyileştirmenizi sağlar. Tam parametre ince ayarı yaparak veya temel modelin eğitimine devam ederek, modeli sıfırdan eğitmeye kıyasla çok daha az veri, zaman ve işlem kaynağı kullanarak kendi modelinizi eğitebilirsiniz. Bkz . Temel Modelde İnce Ayarlama (kullanım dışı).

N

notebook

Veri bilimcileri ve mühendisleri tarafından aynı belgede birden çok dilde (Python, Scala, SQL gibi) kod yazmak ve yürütmek için kullanılan etkileşimli bir web arabirimi. Bkz. Databricks not defterleri.

O

OAuth

OAuth, internet kullanıcılarının diğer web sitelerindeki bilgilerine erişim izni vermek için, ancak parolalarını paylaşmadan, web sitelerine veya uygulamalara erişim yetkilendirmesi yapmalarını sağlayan açık bir standarttır. Bkz. Azure Databricks kaynaklarına erişimi yetkilendirme.

P

İş Ortağı Bağlantısı

Çoğu kurumsal veri sistemine bağlanmak için bağımsız yazılım satıcıları tarafından sürdürülen tümleştirmeler sağlayan bir Databricks programı. Bkz Databricks İş Ortağı Bağlantısı nedir?.

kişisel erişim belirteci (PAT)

Parola yerine bilgisayar sistemine erişirken kullanıcının kimliğini doğrulamak için kullanılan karakter dizesi. Bkz. Azure Databricks kaynaklarına erişimi yetkilendirme.

Photon

SQL iş yüklerinizi ve DataFrame API'sini daha hızlı çağırarak iş yükü başına toplam maliyetinizi azaltan yüksek performanslı Databricks yerel vektörleştirilmiş sorgu altyapısı. Photon, Apache Spark API'leriyle uyumlu olduğundan mevcut kodunuzla çalışır. Bkz . Photon nedir?.

tahmine dayalı iyileştirme

Sorgu performansını geliştirmek ve depolama maliyetlerini azaltmak için Unity Kataloğu yönetilen tablolarında bakım işlemlerini otomatik olarak tanımlayan ve çalıştıran bir Azure Databricks özelliği. Bkz. Unity Kataloğu tarafından yönetilen tablolar için tahmine dayalı optimizasyon.

pipeline

Sistem tarafından belirlenen bir bağımlılık sırasına göre gevşek olarak güncelleştirilen tablo, görünüm, gerçekleştirilmiş görünüm, akış ve havuz grafiği.

R

geri getirme destekli üretim (RAG)

Büyük bir dil modelinin (LLM) bir kullanıcının istemini dış bilgi kaynağından alınan destekleyici verilerle genişleterek zenginleştirilmiş yanıtlar oluşturmasını sağlayan teknik. RAG, alınan bu bilgileri birleştirerek LLM'nin istemleri ek bağlamla artırmamaya kıyasla daha doğru, daha yüksek kaliteli yanıtlar oluşturmasını sağlar. Azure Databricks üzerinde RAG (Retrieval Augmented Generation) bölümüne bakın.

S

şeması (Unity Kataloğu)

Unity Catalog'da yer alan, tablolar, görünümler, birimler, modeller ve işlevleri içerebilen bir kataloğun çocuğu. Şema, Unity Kataloğu'nun üç düzeyli ad alanının (catalog.schema.table-etc) ikinci düzeyidir. Bkz. Unity Kataloğu nedir?.

sunucusuz işlem

Azure Databricks tarafından yönetilen işlem, yönetim ek yükünü azaltır ve kullanıcı üretkenliğini artırmak için anında işlem sağlar. Bkz Sunucusuz hesaplamaya bağlanma.

hizmet sorumlusu

Otomasyon araçları, iş süreçleri ve uygulamalarla kullanılmak üzere oluşturulmuş bir kimlik. Bir hizmet sorumlusunun kaynaklara erişimini, Azure Databricks kullanıcıyla aynı şekilde izinleri kullanarak kısıtlayabilirsiniz. Azure Databricks kullanıcısının aksine, hizmet sorumlusu yalnızca API'ye yönelik bir kimliktir; Azure Databricks kullanıcı arabirimine veya Databricks CLI'ya doğrudan erişemez. Bkz. Hizmet sorumluları.

havuz (işlem hatları)

Lavabo, dış sisteme (örneğin, Kafka, Kinesis, Delta) yazan bir akışın varış noktasıdır.

SQL ambarı

Azure Databricks verileri sorgulamanıza ve keşfetmenize olanak tanıyan bir işlem kaynağı. Bkz Bir SQL ambarına bağlanma.

akış işleme

İlişkisiz, sürekli büyüyen bir veri kümesine yönelik bir sorgu tanımlamanıza ve ardından küçük, artımlı toplu işlerde verileri işlemenize olanak tanıyan bir veri işleme yöntemi. Azure Databricks'te akış işleme, Yapılandırılmış Akış kullanır. Bkz . Yapılandırılmış Akış kavramları.

streaming

Akış, bilgisayarlara ve mobil cihazlara İnternet üzerinden teslim edilen ve gerçek zamanlı olarak oynatılan tüm medya içeriklerini (canlı veya kaydedilmiş) (yani bir veri akışı) ifade eder. Bkz . Yapılandırılmış Akış kavramları.

akış analizi

Farklı kaynaklar tarafından sürekli oluşturulan verileri analiz etme işlemi. Azure Databricks, Gerçek zamanlı içgörüler için canlı verilerin işlenmesine ve analize olanak tanıyarak Yapılandırılmış Akış aracılığıyla akış analizini destekler.

Yapılandırılmış Akış

Spark SQL altyapısı üzerinde oluşturulmuş ölçeklenebilir ve hataya dayanıklı bir akış işleme altyapısı, akış sorguları olarak karmaşık hesaplamalar sağlar. Bkz . Yapılandırılmış Akış kavramları.

akış tablosu

Üzerine akış yazılan yönetilen tablo. Bkz. Akış tabloları

sistem tabloları

Hesabınızın denetim günlükleri, faturalanabilir kullanım ve köken gibi işletimsel verilerinin analizi için Azure Databricks tarafından barındırılan bir analitik veri deposu. Sistem tabloları, Unity Kataloğu'ndaki system katalogda bulunur. Bkz Sistem tabloları başvurusu.

eşitlenmiş tablo

Senkronize tablo, Unity Catalog tablosundan verileri veritabanı örneğiyle otomatik olarak eşitleyen salt okunur bir Unity Catalog Postgres tablosudur. Bkz Eşzamanlanmış tablolarla lakehouse verilerini sağlama (Lakebase Yapılandırılmış).

T

table

Tablo bir şemada bulunur ve veri satırları içerir. Databricks'te oluşturulan tüm tablolar varsayılan olarak Delta Lake kullanır. Delta Lake tarafından desteklenen tablolara Delta tabloları da denir. Bkz. Azure Databricks tabloları.

tetiklenen işlem hattı

Her tablo için güncelleştirmenin başlangıcında kullanılabilir olan tüm verileri alan, bağımlılık sırasına göre çalışan ve sonra sonlandıran bir işlem hattı. Bkz. Tetiklenen veya sürekli işlem hattı modu.

U

kullanıcı tanımlı işlev (UDF)

Sql veya programlama dilinin yerleşik özelliklerini genişletmek için kullanıcı tarafından oluşturulan özel bir işlev. Azure Databricks'de UDF'ler idare için Unity Kataloğu'nda kaydedilebilir ve çalışma alanları arasında yeniden kullanılabilir. Bkz . Kullanıcı tanımlı işlevler (UDF) nedir?.

Unity Kataloğu

Azure Databricks çalışma alanlarında merkezi erişim denetimi, denetim, köken ve veri bulma özellikleri sağlayan Azure Databricks özelliği. Bkz. Unity Kataloğu nedir?.

V

vektör veritabanı

Eklemeleri depolamak ve almak için iyileştirilmiş bir veritabanı. Eklemeler, genellikle metin veya görüntü verileri olan verilerin anlamsal içeriğinin matematiksel temsilleridir. Databricks, Delta tablolarınızda vektör veritabanı özelliklerini kullanmanıza olanak tanıyan bir Yapay Zeka Arama dizini sağlar. Bkz. Databricks AI Search.

view

SQL sorgusu tarafından tanımlanan sanal tablo. Verileri depolamaz, ancak bir veya daha fazla tablodaki verileri belirli bir biçimde veya soyutlamada sunmanın bir yolunu sağlar. Bkz. Görünüm nedir?.

veri kümeleri (Unity Kataloğu)

Tablosal olmayan veri kümeleri üzerinde idareyi etkinleştiren Unity Kataloğu nesneleri. Birimler, bulut nesnesi depolama konumundaki mantıksal depolama birimini temsil eder. Birimler dosyalara erişme, dosyaları depolama, yönetme ve düzenleme özellikleri sağlar. Bkz. Unity Kataloğu birimleri nelerdir?.

W

Lakeflow İşleri

Azure Databricks üzerinde veri işleme görevlerini zamanlamanıza ve düzenlemenize olanak sağlayan araçlar kümesi. Bakınız Lakeflow İşleri.

workload

Bir görevi veya görev grubunu gerçekleştirmek için gereken işleme yeteneği miktarı. Azure Databricks iki tür iş yükü tanımlar: veri mühendisliği (iş) ve veri analizi (tamamen amaçlı). Bkz. Azure Databricks bileşenleri.

workspace

Databricks kullanıcılarının not defterleri, denemeler, sorgular ve panolar gibi nesneleri geliştirmesine, göz atmasına ve paylaşmasına olanak tanıyan bir kuruluş ortamı. Bkz . Çalışma Alanı Kullanıcı Arabirimi.

Z

Zerobus İçeri Aktarma

Unity Kataloğu'ndaki yönetilen Delta tablolarına doğrudan veri yazan, gönderme tabanlı, sunucusuz alma API'si. Zerobus Alma, gelen bağlantılara göre otomatik olarak ölçeklenir; yönetilmesi gereken bir ileti veri yolu altyapısı, bölüm veya aracı yoktur. Zerobus Ingest genel bakışına bakınız.