Azure HDInsight ID Broker (HIB)
Ez a cikk az Azure HDInsight ID Broker szolgáltatás beállítását és használatát ismerteti. Ezzel a funkcióval modern OAuth-hitelesítést kaphat az Apache Ambarihoz, miközben többtényezős hitelesítést kényszeríthet ki anélkül, hogy a Microsoft Entra Domain Servicesben örökölt jelszókivonatokat kellene használnia.
Áttekintés
A HDInsight ID Broker leegyszerűsíti az összetett hitelesítési beállításokat a következő esetekben:
- A szervezet összevonásra támaszkodik, hogy hitelesítse a felhasználókat a felhőbeli erőforrások eléréséhez. Korábban a HDInsight Enterprise Security Package-fürtök használatához engedélyeznie kellett a jelszókivonat-szinkronizálást a helyszíni környezetből a Microsoft Entra ID-ba. Ez a követelmény egyes szervezetek számára nehéz vagy nem kívánatos lehet.
- A szervezet többtényezős hitelesítést szeretne kikényszeríteni az Apache Ambarihoz és más fürterőforrásokhoz való webes vagy HTTP-alapú hozzáféréshez.
A HDInsight ID Broker biztosítja a hitelesítési infrastruktúrát, amely lehetővé teszi az OAuth (modern) és a Kerberos (örökölt) közötti protokollváltást anélkül, hogy szinkronizálnia kellene a jelszókivonatokat a Microsoft Entra Domain Services szolgáltatással. Ez az infrastruktúra olyan összetevőkből áll, amelyek Windows Server rendszerű virtuális gépen (VM-en) futnak, és engedélyezve van a HDInsight ID Broker csomópont, valamint a fürtátjáró csomópontjai.
Az alábbi táblázat segítségével meghatározhatja a szervezet igényeinek megfelelő legjobb hitelesítési lehetőséget.
| Hitelesítési lehetőségek | HDInsight-konfiguráció | Megfontolandó tényezők |
|---|---|---|
| Teljes OAuth | Enterprise Security Package + HDInsight ID Broker | A legbiztonságosabb beállítás. (A többtényezős hitelesítés támogatott.) A kivonat-szinkronizálás nem szükséges. Nincs ssh/kinit/keytab-hozzáférés a helyszíni fiókokhoz, amelyek nem rendelkeznek jelszókivonattal a Microsoft Entra Domain Servicesben. A csak felhőalapú fiókok továbbra is képesek az ssh/kinit/keytab használatára. Webes hozzáférés az Ambarihoz az OAuthon keresztül. Az OAuth támogatásához régi alkalmazások (például JDBC/ODBC) frissítésére van szükség. |
| OAuth + Alapszintű hitelesítés | Enterprise Security Package + HDInsight ID Broker | Webes hozzáférés az Ambarihoz az OAuthon keresztül. Az örökölt alkalmazások továbbra is alapszintű hitelesítést használnak. A többtényezős hitelesítést le kell tiltani az alapszintű hitelesítéshez. A kivonat-szinkronizálás nem szükséges. Nincs ssh/kinit/keytab-hozzáférés a helyszíni fiókokhoz, amelyek nem rendelkeznek jelszókivonattal a Microsoft Entra Domain Servicesben. A csak felhőalapú fiókok továbbra is képesek az ssh/kinit használatára. |
| Teljesen alapszintű hitelesítés | Enterprise Security Package | Leginkább a helyszíni beállításokhoz hasonlít. Jelszókivonat-szinkronizálás szükséges a Microsoft Entra Domain Services szolgáltatással. A helyszíni fiókok ssh/kinit vagy keytab használatával is használhatók. A többtényezős hitelesítést le kell tiltani, ha a háttértár az Azure Data Lake Storage Gen2. |
Az alábbi ábra a HDInsight ID Broker engedélyezése után az összes felhasználó , köztük az összevont felhasználók modern OAuth-alapú hitelesítési folyamatát mutatja be:
Ebben a diagramban az ügyfélnek (vagyis egy böngészőnek vagy alkalmazásnak) először be kell szereznie az OAuth-jogkivonatot. Ezután egy HTTP-kérésben bemutatja a jogkivonatot az átjárónak. Ha már bejelentkezett más Azure-szolgáltatásokba, például az Azure Portalra, egyetlen bejelentkezési felülettel bejelentkezhet a HDInsight-fürtbe.
Továbbra is sok régi alkalmazás lehet, amely csak az alapszintű hitelesítést támogatja (azaz a felhasználónevet és a jelszót). Ezekben a forgatókönyvekben továbbra is használhatja a HTTP alapszintű hitelesítést a fürtátjárókhoz való csatlakozáshoz. Ebben a beállításban biztosítania kell az átjárócsomópontok és az Active Directory összevonási szolgáltatások (AD FS) (AD FS) végpont közötti hálózati kapcsolatot, hogy az átjárócsomópontokról közvetlen látóvonalat biztosítson.
Az alábbi ábra az összevont felhasználók alapszintű hitelesítési folyamatát mutatja be. Az átjáró először a ROPC-folyamattal próbálja meg befejezni a hitelesítést. Ha nincs szinkronizálva jelszókivonat a Microsoft Entra-azonosítóval, az visszaesik az AD FS-végpont felderítéséhez, és az AD FS-végpont eléréséhez befejezi a hitelesítést.
A HDInsight ID Broker engedélyezése
Vállalati biztonságicsomag-fürt létrehozása a HDInsight ID Broker engedélyezésével:
- Jelentkezzen be az Azure Portalra.
- Kövesse az Enterprise Security Package-fürt alapvető létrehozási lépéseit. További információ: HDInsight-fürt létrehozása Enterprise Security Package csomaggal.
- Válassza a HDInsight ID Broker engedélyezése lehetőséget.
A HDInsight ID Broker funkció egy további virtuális gépet ad hozzá a fürthöz. Ez a virtuális gép a HDInsight ID Broker csomópont, és a hitelesítést támogató kiszolgáló-összetevőket is tartalmaz. A HDInsight ID Broker csomópont a Microsoft Entra Domain Services tartományhoz csatlakoztatott tartomány.
Használjon Azure Resource Manager-sablonokat
Ha a sablon számítási profiljához a következő attribútumokkal rendelkező idbrokernode új szerepkört ad hozzá, a fürt a HDInsight ID Broker csomópont engedélyezésével jön létre:
.
.
.
"computeProfile": {
"roles": [
{
"autoscale": null,
"name": "headnode",
....
},
{
"autoscale": null,
"name": "workernode",
....
},
{
"autoscale": null,
"name": "idbrokernode",
"targetInstanceCount": 2,
"hardwareProfile": {
"vmSize": "Standard_A2_V2"
},
"virtualNetworkProfile": {
"id": "string",
"subnet": "string"
},
"scriptActions": [],
"dataDisksGroups": null
}
]
}
.
.
.
Az ARM-sablon teljes mintájának megtekintéséhez tekintse meg az itt közzétett sablont.
Eszközintegráció
A HDInsight-eszközök natív módon támogatják az OAuthot. Ezekkel az eszközökkel modern OAuth-alapú hozzáférést érhet el a fürtökhöz. A HDInsight IntelliJ beépülő modul Java-alapú alkalmazásokhoz, például a Scalához használható. A Spark és a Hive Tools for Visual Studio Code PySpark- és Hive-feladatokhoz használható. Az eszközök mind a kötegelt, mind az interaktív feladatokat támogatják.
SSH-hozzáférés jelszókivonat nélkül a Microsoft Entra Domain Servicesben
| SSH-beállítások | Megfontolandó tényezők |
|---|---|
| Helyi virtuálisgép-fiók (például sshuser) | Ezt a fiókot a fürt létrehozásakor adta meg. Ehhez a fiókhoz nincs Kerberos-hitelesítés. |
| Csak felhőalapú fiók (például alice@contoso.onmicrosoft.com) | A jelszókivonat a Microsoft Entra Domain Servicesben érhető el. A Kerberos-hitelesítés SSH Kerberoson keresztül lehetséges. |
| Helyszíni fiók (például alice@contoso.com) | Az SSH Kerberos-hitelesítés csak akkor lehetséges, ha jelszókivonat érhető el a Microsoft Entra Domain Servicesben. Ellenkező esetben ez a felhasználó nem tud SSH-t adni a fürtnek. |
Ha tartományhoz csatlakoztatott virtuális gépre szeretne SSH-t létrehozni, vagy futtatni szeretné a kinit parancsot, meg kell adnia egy jelszót. Az SSH Kerberos-hitelesítéshez a kivonatnak elérhetőnek kell lennie a Microsoft Entra Domain Servicesben. Ha csak rendszergazdai forgatókönyvekhez szeretné használni az SSH-t, létrehozhat egy csak felhőalapú fiókot, és használhatja az SSH-hoz a fürthöz. Más helyszíni felhasználók továbbra is használhatják az Ambari- vagy HDInsight-eszközöket vagy a HTTP alapszintű hitelesítést anélkül, hogy a Microsoft Entra Domain Servicesben rendelkezésre áll a jelszókivonat.
Ha szervezete nem szinkronizálja a jelszókivonatokat a Microsoft Entra Domain Services szolgáltatással, ajánlott eljárásként hozzon létre egy csak felhőalapú felhasználót a Microsoft Entra-azonosítóban. Ezután rendelje hozzá fürtadminisztrátorként a fürt létrehozásakor, és ezt adminisztrációs célokra használja. Ezzel az SSH-val gyökérszintű hozzáférést kaphat a virtuális gépekhez.
A hitelesítési problémák elhárításához tekintse meg ezt az útmutatót.
Az OAuthot használó ügyfelek a HDInsight-átjáróhoz való csatlakozáshoz a HDInsight ID Broker használatával
A HDInsight ID Broker beállításakor az átjáróhoz csatlakozó egyéni alkalmazások és ügyfelek frissíthetők a szükséges OAuth-jogkivonat beszerzéséhez. További információ: .NET-alkalmazások hitelesítése az Azure-szolgáltatásokkal. A HDInsight-átjárókhoz való hozzáférés engedélyezéséhez szükséges fő értékek a következők:
- OAuth-erőforrás uri:
https://hib.azurehdinsight.net - AppId: 00001111-aaaa-2222-bbbb-3333cccc4444
- Engedély: (név: Cluster.ReadWrite, azonosító: 8f89faa0-ffef-4007-974d-4989b39ad77d)
Az OAuth-jogkivonat beszerzése után használja azt a fürtátjáróhoz irányuló HTTP-kérés engedélyezési fejlécében (például https://< clustername-int.azurehdinsight.net>). Az Apache Livy API-hoz való curl-mintaparancs az alábbi példához hasonlóan nézhet ki:
curl -k -v -H "Authorization: Bearer Access_TOKEN" -H "Content-Type: application/json" -X POST -d '{ "file":"wasbs://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://<clustername>-int.azurehdinsight.net/livy/batches" -H "X-Requested-By:<username@domain.com>"
A Beeline és a Livy használatához az itt megadott mintakódokat követve beállíthatja az ügyfelet az OAuth használatára és a fürthöz való csatlakozásra.
GYIK
Milyen alkalmazást hoz létre a HDInsight a Microsoft Entra ID-ban?
Minden fürt esetében egy harmadik féltől származó alkalmazás regisztrálva van a Microsoft Entra-azonosítóban, a fürt uri-ja pedig az identifierUri (például https://clustername.azurehdinsight.net).
Miért kérik a felhasználók hozzájárulását a HIB-kompatibilis fürtök használata előtt?
A Microsoft Entra-azonosítóban a felhasználók hitelesítéséhez vagy az adatokhoz való hozzáféréshez minden harmadik féltől származó alkalmazáshoz hozzájárulás szükséges.
Lehet-e a hozzájárulást programozott módon jóváhagyni?
A Microsoft Graph API lehetővé teszi a hozzájárulás automatizálását, lásd az API dokumentációját A hozzájárulás automatizálásának sorrendje a következő:
- Alkalmazás regisztrálása és Application.ReadWrite.Minden engedély megadása az alkalmazáshoz a Microsoft Graph eléréséhez
- A fürt létrehozása után a fürtalkalmazás lekérdezése az azonosító uri-ja alapján
- Hozzájárulás regisztrálása az alkalmazáshoz
A fürt törlésekor a HDInsight törli az alkalmazást, és nincs szükség a hozzájárulások törlésére.