Mi az az 1. generációs Azure Data Lake Storage?
Feljegyzés
Az Azure Data Lake Storage Gen1 ki lett állítva. A nyugdíjazási bejelentést itt találja. A Data Lake Storage Gen1-erőforrások már nem érhetők el.
Az Azure Data Lake Storage Gen1 egy nagyvállalati szintű hiperskálázási adattár big data elemzési számítási feladatokhoz. Az Azure Data Lake lehetővé teszi mindenféle méretű, típusú és feldolgozási sebességű adatok egy helyen történő műveleti és felderítési jellegű feldolgozását.
Az 1. generációs Data Lake Storage a Hadoopból érhető el (a HDInsight-fürttel érhető el) a WebHDFS-kompatibilis REST API-k használatával. Úgy tervezték, hogy engedélyezze a tárolt adatok elemzését, és az adatelemzési forgatókönyvek teljesítményére van hangolva. Az 1. generációs Data Lake Storage minden nagyvállalati szintű képességet tartalmaz: biztonságot, kezelhetőséget, méretezhetőséget, megbízhatóságot és rendelkezésre állást.
Főbb funkciók
A Data Lake Storage Gen1 fő képességei közé tartoznak a következők.
Hadoop-kompatibilis
A Data Lake Storage Gen1 egy Apache Hadoop fájlrendszer, amely kompatibilis a Hadoop Elosztott fájlrendszerrel (HDFS), és együttműködik a Hadoop-ökoszisztémával. A WebHDFS API-t használó meglévő HDInsight-alkalmazások vagy -szolgáltatások könnyen integrálhatók a Data Lake Storage Gen1 szolgáltatással. A Data Lake Storage Gen1 egy WebHDFS-kompatibilis REST-felületet is elérhetővé tesz az alkalmazások számára.
A Data Lake Storage Gen1-ben tárolt adatok egyszerűen elemezhetők a Hadoop elemzési keretrendszerek, például a MapReduce vagy a Hive használatával. Kiépítheti az Azure HDInsight-fürtöket, és konfigurálhatja őket az 1. generációs Data Lake Storage-ban tárolt adatok közvetlen elérésére.
Korlátlan tárterület, petabájtnyi fájlok
A Data Lake Storage Gen1 korlátlan tárterületet biztosít, és számos adatot tárolhat elemzés céljából. Nem korlátozza a fiókméreteket, a fájlméreteket és a data lake-ben tárolható adatok mennyiségét. Az egyes fájlok mérete kilobájttól petabájtig terjedhet. Az adatok tárolása tartósan történik több másolat készítésével. Az adatok a data lake-ben való tárolásának időtartamára nincs korlátozva.
A teljesítmény a big data koncepción alapuló adatelemzéshez lett igazítva
A Data Lake Storage Gen1 nagy méretű elemzési rendszerek futtatására készült, amelyek nagy átviteli sebességet igényelnek a nagy mennyiségű adat lekérdezéséhez és elemzéséhez. A data lake több egyéni tárolókiszolgáló között osztja el egy fájl részeit. Ez javítja az olvasás átviteli sebességét a fájl adatelemzés céljából történő párhuzamos beolvasásakor.
Vállalati használatra kész: Magas rendelkezésre állású és biztonságos
A Data Lake Storage Gen1 iparági szabványnak megfelelő rendelkezésre állást és megbízhatóságot biztosít. Adatvagyonának tartós tárolását a redundáns másolatok teszik lehetővé, amelyek védelmet biztosítanak a váratlan meghibásodások esetén.
A Data Lake Storage Gen1 nagyvállalati szintű biztonságot is biztosít a tárolt adatokhoz. További információ: Adatok védelme az Azure Data Lake Storage Gen1-ben.
Minden adat
A Data Lake Storage Gen1 bármilyen adatot tárolhat natív formátumban, előzetes átalakítások nélkül. Az 1. generációs Data Lake Storage nem követeli meg a sémák definiálását az adatok betöltése előtt, így azokat az egyes elemzési keretrendszerek határozzák meg az adatok értelmezéséhez és a séma meghatározásához az elemzés során. Az tetszőleges méretű és formátumú fájlok tárolásának lehetősége lehetővé teszi a Data Lake Storage Gen1 számára a strukturált, részben strukturált és strukturálatlan adatok kezelését.
Az adatokhoz készült Data Lake Storage Gen1-tárolók lényegében mappák és fájlok. A tárolt adatokon SDK-k, az Azure Portal és az Azure PowerShell használatával kell dolgoznia. Ha ezeket a felületeket és a megfelelő tárolókat használva helyezi el az adatokat az adattárban, bármilyen típusú adatot tárolhat. A Data Lake Storage Gen1 nem végez különleges adatkezelést az általa tárolt adatok típusától függően.
Adatok védelme
A Data Lake Storage Gen1 a Microsoft Entra-azonosítót használja a hitelesítéshez, valamint a hozzáférés-vezérlési listákat (ACL-eket) az adatokhoz való hozzáférés kezeléséhez.
| Szolgáltatás | Leírás |
|---|---|
| Hitelesítés | A Data Lake Storage Gen1 integrálva van a Microsoft Entra-azonosítóval az identitás- és hozzáférés-kezeléshez az 1. generációs Data Lake Storage-ban tárolt összes adathoz. Az integrációnak köszönhetően a Data Lake Storage Gen1 minden Microsoft Entra-funkció előnyeit élvezheti, például a többtényezős hitelesítést, a feltételes hozzáférést, az Azure szerepköralapú hozzáférés-vezérlését, az alkalmazáshasználat monitorozását, a biztonsági monitorozást és riasztást stb. A Data Lake Storage Gen1 támogatja az OAuth 2.0 protokollt a REST-felületen belüli hitelesítéshez. Lásd: Data Lake Storage Gen1-hitelesítés. |
| Hozzáférés-vezérlés | A Data Lake Storage Gen1 a WebHDFS protokoll által közzétett POSIX-stílusú engedélyek támogatásával biztosítja a hozzáférés-vezérlést. Engedélyezheti az ACL-eket a gyökérmappában, az almappákban és az egyes fájlokon. A Data Lake Storage Gen1 környezetében az ACL-ek működésével kapcsolatos további információkért lásd : Hozzáférés-vezérlés a Data Lake Storage Gen1-ben. |
| Titkosítás | A Data Lake Storage Gen1 a fiókban tárolt adatok titkosítását is biztosítja. A Data Lake Storage Gen1-fiók létrehozásakor adja meg a titkosítási beállításokat. Dönthet úgy, hogy titkosítja az adatokat, vagy nem használ titkosítást. További információ: Titkosítás a Data Lake Storage Gen1-ben. A titkosítással kapcsolatos konfiguráció biztosításával kapcsolatos utasításokért tekintse meg a Data Lake Storage Gen1 használatának első lépéseit az Azure Portalon. |
Az adatoknak az 1. generációs Data Lake Storage-ban való védelmére vonatkozó utasításokért lásd : Adatok védelme az Azure Data Lake Storage Gen1-ben.
Alkalmazáskompatibilitás
A Data Lake Storage Gen1 kompatibilis a Hadoop-ökoszisztéma legtöbb nyílt forráskódú összetevőjével. Emellett jól integrálható más Azure-szolgáltatásokkal is. Ha többet szeretne megtudni arról, hogyan használhatja a Data Lake Storage Gen1-et nyílt forráskódú összetevőkkel és más Azure-szolgáltatásokkal, használja az alábbi hivatkozásokat:
- Az 1. generációs Azure Data Lake Storage-tal kompatibilis alkalmazások és szolgáltatások a Data Lake Storage Gen1 szolgáltatással együttműködve használható nyílt forráskódú alkalmazások listáját tekintheti meg.
- A Data Lake Storage Gen1 más Azure-szolgáltatásokkal való használatának megismeréséhez tekintse meg az Integrálás más Azure-szolgáltatásokkal való használatát a forgatókönyvek szélesebb körének engedélyezéséhez.
- A Data Lake Storage Gen1 használatával kapcsolatos forgatókönyvekben megtudhatja, hogyan használhatja a Data Lake Storage Gen1-et olyan helyzetekben, mint az adatok betöltése, az adatok feldolgozása, az adatok letöltése és az adatok vizualizációja.
Data Lake Storage Gen1 fájlrendszer
Az 1. generációs Data Lake Storage az AzureDataLakeFilesystem (adl://) fájlrendszeren keresztül érhető el Hadoop-környezetekben (HDInsight-fürttel érhető el). Az adl:// használó alkalmazások és szolgáltatások kihasználhatják a WebHDFS-ben jelenleg nem elérhető további teljesítményoptimalizálásokat. Ennek eredményeképpen a Data Lake Storage Gen1 rugalmasan kihasználhatja a legjobb teljesítményt a adl:// ajánlott használatával, vagy a meglévő kód fenntartásával, ha továbbra is közvetlenül használja a WebHDFS API-t. Az Azure HDInsight teljes mértékben kihasználja az AzureDataLakeFilesystem-t, hogy a lehető legjobb teljesítményt nyújtsa a Data Lake Storage Gen1-ben.
Az adatokat a Data Lake Storage Gen1 használatával adl://<data_lake_storage_gen1_name>.azuredatalakestore.netérheti el. Az 1. generációs Data Lake Storage-adatok eléréséről további információt a tárolt adatok tulajdonságainak megtekintése című témakörben talál.