Mi az az Azure Databricks?

Az Azure Databricks egy egységes, nyílt elemzési platform nagyvállalati szintű adatok, elemzések és AI-megoldások nagy méretekben történő létrehozásához, üzembe helyezéséhez, megosztásához és karbantartásához. A Databricks Adatintelligencia-platform integrálható a felhőbeli tárhellyel és a felhőbeli biztonsággal, és felügyeli és üzembe helyezi a felhőinfrastruktúra használatát.

Az Azure Databricks generatív AI-t használ a data lakehouse használatával az adatok egyedi szemantikájának megértéséhez. Ezután automatikusan optimalizálja a teljesítményt, és az üzleti igényeknek megfelelően kezeli az infrastruktúrát.

A természetes nyelvi feldolgozás elsajátítja a vállalkozás nyelvét, így az adatok kereséséhez és felderítéséhez kérdéseket tehet fel saját szavaival. A természetes nyelvi segítség segít a kódírásban, a hibák elhárításában és a dokumentációban található válaszok megtalálásában.

Felügyelt nyílt forráskódú integráció

A Databricks elkötelezett a nyílt forráskódú közösség iránt, és kezeli a Databricks Runtime-kiadásokkal való nyílt forráskódú integráció frissítéseit. Az alábbi technológiák nyílt forráskód a Databricks alkalmazottai által eredetileg létrehozott projektek:

• Delta Lake és OpenSharing
• MLflow
• Apache Spark és strukturált streamelés
• Redash
• Unity-katalógus

Gyakori használati esetek

Az alábbi használati esetek kiemelik, hogyan használják az ügyfelek az Azure Databrickset a kritikus üzleti funkciókat és döntéseket meghatározó adatok feldolgozásához, tárolásához és elemzéséhez nélkülözhetetlen feladatok elvégzéséhez.

Vállalati data lakehouse létrehozása

A data lakehouse a vállalati adattárházakat és adattavakat egyesíti, hogy felgyorsítsa, egyszerűsítse és egységesítse a vállalati adatmegoldásokat. Az adatmérnökök, az adattudósok, az elemzők és az éles rendszerek mind használhatják a Data Lakehouse-t az igazság egyetlen forrásaként, hozzáférést biztosítva a konzisztens adatokhoz, és csökkenthetik számos elosztott adatrendszer kiépítésének, karbantartásának és szinkronizálásának összetettségét. Lásd Mi az a data lakehouse?.

ETL és adatelemzés

Akár irányítópultokat hoz létre, akár mesterségesintelligencia-alkalmazásokat használ, az adatfejlesztés biztosítja az adatközpontú vállalatok gerincét azáltal, hogy biztosítja az adatok rendelkezésre állását, tisztítását és tárolását adatmodellekben a hatékony felderítés és használat érdekében. Az Azure Databricks ötvözi az Apache Spark és a Delta erejét és az egyéni eszközöket, hogy páratlan ETL-élményt nyújtson. Az SQL, a Python és a Scala használatával néhány kattintással összeállíthatja az ETL-logikát, és vezényli az ütemezett feladatok üzembe helyezését.

A Lakeflow-folyamatok tovább egyszerűsítik az ETL-t azáltal, hogy intelligensen kezelik az adathalmazok közötti függőségeket, és automatikusan üzembe helyezik és méretezik az éles infrastruktúrát, hogy időben és pontosan teljesíthesse az adatokat a specifikációknak.

Az Azure Databricks olyan eszközöket biztosít az adatbetöltéshez, mint az Auto Loader, amely hatékony és méretezhető eszköz a felhőalapú objektumok tárolóiból és adattóiból származó adatok növekményes és idempotens betöltéséhez a data lakehouse-ba.

Gépi tanulás, AI és adatelemzés

Az Azure Databricks machine learning kibővíti a platform alapvető funkcióit az adattudósok és az ML-mérnökök igényeinek megfelelő eszközökkel, beleértve az MLflow-t és a Databricks Runtime for Machine Learninget.

Nagy nyelvi modellek és generatív AI

A Databricks Runtime for Machine Learning olyan könyvtárakat tartalmaz, mint a Hugging Face Transformers, amelyek lehetővé teszik a meglévő előre betanított modellek vagy más nyílt forráskódú könyvtárak integrálását a munkafolyamatba. A Databricks MLflow integrációja megkönnyíti az MLflow nyomkövetési szolgáltatás használatát transzformátorfolyamatokkal, modellekkel és feldolgozási összetevőkkel. Integrálhatja az OpenAI-modelleket vagy -megoldásokat olyan partnerektől, mint a John Snow Labs a Databricks-munkafolyamatokban.

Az Azure Databricks segítségével testre szabhat egy LLM-et az adatain az adott feladathoz. Az olyan nyílt forráskódú eszközök támogatásával, mint a Hugging Face és a DeepSpeed, hatékonyan használhat egy alap LLM-et, és saját adataival kezdheti meg a tanítást, hogy pontosabb legyen a szakterülete és a munka terheléséhez.

Az Azure Databricks emellett olyan AI-függvényeket is biztosít, amelyekkel az SQL-adatelemzők közvetlenül az adatfolyamaikon és munkafolyamataikon belül hozzáférhetnek az LLM-ekhez, például az OpenAI-ból. Lásd: Adatok bővítése az AI Functions használatával.

Adattárház, elemzés és BI

Az Azure Databricks a felhasználóbarát felhasználói felületeket költséghatékony számítási erőforrásokkal és végtelenül méretezhető, megfizethető tárterülettel kombinálja, így hatékony platformot biztosít az elemzési lekérdezések futtatásához. A rendszergazdák SQL-raktárként konfigurálják a méretezhető számítási fürtöket, így a végfelhasználók a felhőben végzett munka összetettsége nélkül futtathatnak lekérdezéseket. Az SQL-felhasználók az SQL-lekérdezésszerkesztő vagy a jegyzetfüzetek használatával kérdezhetnek le adatokat a lakehouse-ban. A jegyzetfüzetek az SQL mellett támogatják a Python, az R és a Scala alkalmazást, és lehetővé teszik a felhasználók számára, hogy a markdownban írt hivatkozások, képek és kommentárok mellett vizualizációkat ágyaznak be.

Konzisztens elemzések biztosításához definiáljon egy megosztott szemantikai réteget a Unity Catalog üzleti szemantikája segítségével. Az üzleti KPI-ket egyszer metrikanézetekként definiálhatja, és bármely dimenzióban lekérdezheti őket, így a személyek és az AI-eszközök egyetlen, szabályozott forrást kapnak a metrikákhoz. Ezen a rétegen felül AI-/BI-irányítópultokat hozhat létre, amelyek AI-támogatású szerzői műveletet, továbbfejlesztett vizualizációs kódtárat és egyszerűsített konfigurációs felületet biztosítanak. Az üzleti felhasználók természetes nyelven is megismerhetik az adatokat a Genie-ügynökökkel, amelyek a szervezet terminológiájára és adataira szabott generatív AI-t használnak.

Adatszabályozás és biztonságos adatmegosztás

A Unity Catalog egységes adatszabályozási modellt biztosít a data lakehouse-hoz. A felhőgazdák durva hozzáférés-vezérlési engedélyeket konfigurálnak és integrálnak a Unity Cataloghoz, majd az Azure Databricks rendszergazdái kezelhetik a csapatok és az egyének engedélyeit. A jogosultságok hozzáférés-vezérlési listákkal (ACL-ekkel) kezelhetők felhasználóbarát felhasználói felületeken vagy SQL-szintaxison keresztül, így az adatbázisgazdák egyszerűbben férhetnek hozzá az adatokhoz anélkül, hogy skálázniuk kellene a natív felhőbeli identitáshozzáférés-kezelést (IAM) és a hálózatkezelést.

A Unity Catalog egyszerűvé teszi a biztonságos elemzések futtatását a felhőben, és olyan felelősségi felosztást biztosít, amely segít korlátozni a platform rendszergazdái és végfelhasználói számára szükséges újraképezést vagy továbbképzést. Lásd Mi az a Unity Catalog?.

A lakehouse olyan egyszerűvé teszi a szervezeten belüli adatmegosztást, mintha lekérdezési hozzáférést biztosít egy táblához vagy nézethez. A biztonságos környezeten kívüli megosztáshoz a Unity Catalog az OpenSharing felügyelt verzióját tartalmazza.

DevOps, CI/CD és feladat-vezénylés

Az ETL-folyamatok, az ML-modellek és az elemzési irányítópultok fejlesztési életciklusai mindegyike saját egyedi kihívásokat jelent. Az Azure Databricks lehetővé teszi, hogy minden felhasználó egyetlen adatforrást használjon, ami csökkenti az ismétlődő erőfeszítéseket és a szinkronizáláson kívüli jelentéseket. A verziószámozáshoz, automatizáláshoz, ütemezéshez, kód- és éles erőforrások üzembe helyezéséhez szükséges gyakori eszközök csomagjának biztosításával egyszerűbbé teheti a figyeléssel, vezényléssel és üzemeltetéssel kapcsolatos többletterhelést.

A feladatok Azure Databricks-jegyzetfüzeteket, SQL-lekérdezéseket és más tetszőleges kódot ütemeznek. A deklaratív Automation-csomagok lehetővé teszik Databricks-erőforrások, például feladatok és folyamatok programozott definiálását, üzembe helyezését és futtatását. A Git-mappák lehetővé teszik az Azure Databricks-projektek szinkronizálását számos népszerű git-szolgáltatóval.

A CI/CD ajánlott eljárásait és javaslatait a Databricks ci-/CD-munkafolyamatai és a Databricks fejlesztői ajánlott eljárásai című témakörben talál. A fejlesztőknek szánt eszközök teljes áttekintéséért lásd a Fejlesztés a Databricksen című témakört.

Valós idejű és adatfolyam-elemzés

Az Azure Databricks az Apache Spark strukturált streamelést használja a streamelési adatok és a növekményes adatváltozások kezeléséhez. A strukturált stream szorosan integrálható a Delta Lake-zel, és ezek a technológiák biztosítják mind a Lakeflow-folyamatok, mind az automatikus betöltő alapjait. Lásd a strukturált streamelési fogalmakat.

Online tranzakciós feldolgozás

A Lakebase egy online tranzakciófeldolgozási (OLTP) adatbázis, amely teljes mértékben integrálva van a Databricks Adatintelligencia-platformmal. Ez a teljes körűen felügyelt Postgres-adatbázis lehetővé teszi az Azure Databricks által felügyelt tárolóban tárolt OLTP-adatbázisok létrehozását és kezelését. Lásd: Lakebase Postgres.