Konfigurera ett labb för stordataanalys i Azure Lab Services med Docker-distribution av HortonWorks Data Platform
Kommentar
Den här artikeln refererar till funktioner som är tillgängliga i labbplaner, som ersatte labbkonton.
Den här artikeln visar hur du konfigurerar ett labb för att undervisa i en stordataanalysklass. En stordataanalysklass lär användarna att hantera stora mängder data. Det lär dem också att använda maskin- och statistiska inlärningsalgoritmer för att härleda datainsikter. Ett viktigt mål är att lära dig hur du använder dataanalysverktyg, till exempel Apache Hadoops programvarupaket med öppen källkod. Programvarupaketet innehåller verktyg för att lagra, hantera och bearbeta stordata.
I det här labbet arbetar labbanvändare med en populär kommersiell version av Hadoop som tillhandahålls av Cloudera, kallad Hortonworks Data Platform (HDP). Mer specifikt använder labbanvändare HDP Sandbox 3.0.1 som är en förenklad och lättanvänd version av plattformen. HDP Sandbox 3.0.1 är också kostnadsfritt och är avsett för inlärning och experimentering. Även om den här klassen kan använda antingen virtuella Windows- eller Linux-datorer (VM) med HDP Sandbox distribuerad. Den här artikeln visar hur du använder Windows.
En annan intressant aspekt är att du distribuerar HDP Sandbox på de virtuella labbdatorerna med Docker-containrar. Varje Docker-container tillhandahåller en egen isolerad miljö där program kan köras inuti. Konceptuellt är Docker-containrar som kapslade virtuella datorer och kan användas för att enkelt distribuera och köra en mängd olika program baserat på containeravbildningar som tillhandahålls på Docker Hub. Clouderas distributionsskript för HDP Sandbox hämtar automatiskt HDP Sandbox 3.0.1 Docker-avbildningen från Docker Hub och kör två Docker-containrar:
- sandbox-hdp
- sandbox-proxy
Förutsättningar
Om du vill konfigurera den här labbuppgiften behöver du åtkomst till en Azure-prenumeration. Diskutera med organisationens administratör för att se om du kan få åtkomst till en befintlig Azure-prenumeration. Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.
Labbkonfiguration
Inställningar för labbplan
När du har en Azure-prenumeration kan du skapa en labbplan i Azure Lab Services. Mer information om hur du skapar en ny labbplan finns i Snabbstart: Konfigurera resurser för att skapa labb. Du kan också använda en befintlig labbplan.
Det här labbet använder en Windows 10 Pro Azure Marketplace-avbildning som basavbildning för virtuella datorer. Du måste först aktivera den här avbildningen i din labbplan. På så sätt kan labbskapare sedan välja avbildningen som basavbildning för sitt labb.
Följ de här stegen för att aktivera dessa Azure Marketplace-avbildningar som är tillgängliga för labbskapare. Välj en av Windows 10 Azure Marketplace-avbildningarna.
Labbinställningar
Skapa ett labb för din labbplan. Anvisningar om hur du skapar ett labb finns i Självstudie: Konfigurera ett labb. Använd följande inställningar när du skapar labbet.
| Labbinställningar | Värde/instruktioner |
|---|---|
| Storlek för virtuell dator | Medel (kapslad virtualisering). Den här VM-storleken passar bäst för relationsdatabaser, minnesintern cachelagring och analys. Storleken stöder också kapslad virtualisering. |
| Avbildning av virtuell dator | Windows 10 Pro |
Kommentar
Använd vm-storleken Medel (kapslad virtualisering) eftersom HDP-sandbox-miljön med Docker kräver Windows Hyper-V med kapslad virtualisering och minst 10 GB RAM-minne.
Konfiguration av malldator
Så här konfigurerar du malldatorn:
- Installera Docker
- Distribuera HDP-sandbox-miljö
- Använd PowerShell och Windows Task Scheduler för att starta Docker-containrarna automatiskt
Installera Docker
Stegen i det här avsnittet baseras på Clouderas instruktioner för distribution med Docker-containrar.
Om du vill använda Docker-containrar måste du först installera Docker Desktop på den virtuella malldatorn:
Följ stegen i avsnittet Krav för att installera Docker för Windows.
Viktigt!
Kontrollera att konfigurationsalternativet Använd Windows-containrar i stället för Linux-containrar är avmarkerat.
Kontrollera att Windows-containrar och Hyper-V-funktioner är aktiverade.
Följ stegen i avsnittet Minne för Windows för att konfigurera Docker minneskonfiguration.
Varning
Om du oavsiktligt kontrollerar alternativet Använd Windows-containrar i stället för Linux-containrar när du installerar Docker visas inte minneskonfigurationsinställningarna. Du kan åtgärda detta genom att växla till att använda Linux-containrar genom att klicka på Docker-ikonen i Windows System-facket. När Docker Desktop-menyn öppnas väljer du Växla till Linux-containrar.
Distribuera HDP-sandbox-miljö
Distribuera sedan HDP Sandbox och få sedan åtkomst till HDP Sandbox med hjälp av webbläsaren.
Kontrollera att du har installerat Git Bash enligt beskrivningen i avsnittet Krav i guiden. Vi rekommenderar att du slutför nästa steg.
Slutför stegen i följande avsnitt med hjälp av Clouderas distributions- och installationsguide för Docker:
- Distribuera HDP-sandbox-miljö
- Verifiera HDP-sandbox-miljön
Varning
När du laddar ned den senaste .zip-filen för HDP ska du se till att du inte sparar .zip-filen i en katalogsökväg som innehåller blanksteg.
Kommentar
Om du får ett undantag under distributionen om att enheten inte har delats måste du dela C-enheten med Docker så att HDP:s Linux-containrar kan komma åt lokala Windows-filer. Åtgärda detta genom att klicka på Docker-ikonen i Windows System-facket för att öppna Docker Desktop-menyn och välja Inställningar. När dialogrutan Inställningar för Docker öppnas väljer du Resursfildelning > och kontrollerar C-enheten. Du kan sedan upprepa stegen för att distribuera HDP Sandbox.
När Docker-containrarna för HDP Sandbox distribueras och körs kan du komma åt miljön genom att starta webbläsaren. Följ Clouderas instruktioner för att öppna sandbox-välkomstsidan och starta HDP-instrumentpanelen.
Kommentar
Dessa instruktioner förutsätter att du först har mappat den lokala IP-adressen för sandbox-miljön till sandbox-hdp.hortonworks.com i värdfilen på den virtuella malldatorn. Om du inte gör den här mappningen kan du komma åt sandbox-välkomstsidan genom att gå till
http://localhost:8080.
Starta Docker-containrar automatiskt när labbanvändare loggar in
Skapa ett PowerShell-skript som automatiskt skapar en lätthanterad upplevelse för labbanvändare:
- Startar HDP Sandbox Docker-containrar när en labbanvändare startar och ansluter till sin virtuella labbdator.
- Startar webbläsaren och navigerar till sandbox-välkomstsidan.
Använd Windows Task Scheduler för att automatiskt köra det här skriptet när en labbanvändare loggar in på sin virtuella dator. Om du vill konfigurera en schemaläggare följer du dessa steg: Big Data Analytics-skript.
Kostnadsuppskattning
Det här avsnittet innehåller en kostnadsuppskattning för att köra den här klassen för 25 labbanvändare. Det finns 20 timmars schemalagd klasstid. Dessutom får varje användare 10 timmars kvot för läxor eller tilldelningar utanför schemalagd klasstid. Den virtuella datorstorlek som vi valde var Medel (kapslad virtualisering), vilket är 55 labbenheter.
- 25 labbanvändare × (20 schemalagda timmar + 10 kvottimmar) × 55 labbenheter
Viktigt!
Kostnadsuppskattningen är endast i exempelsyfte. Aktuell prisinformation finns i Prissättning för Azure Lab Services.
Slutsats
Den här artikeln beskriver de steg som krävs för att skapa ett labb för en stordataanalysklass. Stordataanalysklassen använder Hortonworks Data Platform som distribuerats med Docker. Konfigurationen för den här klasstypen kan användas för liknande dataanalysklasser. Den här konfigurationen kan också gälla för andra typer av klasser som använder Docker för distribution.
Nästa steg
Mallbilden kan nu publiceras i labbet. Mer information finns i Publicera den virtuella malldatorn.
När du konfigurerar labbuppgiften kan du läsa följande artiklar: