Redigera

Digital bildbaserad modellering på Azure

Azure Blob Storage
Azure Key Vault
Azure Virtual Machines

Varning

Den här artikeln refererar till CentOS, en Linux-distribution som närmar sig EOL-status (End Of Life). Överväg att använda och planera i enlighet med detta. Mer information finns i CentOS End Of Life-vägledningen.

Det här exempelscenariot innehåller arkitektur- och designvägledning för alla organisationer som vill utföra bildbaserad modellering på Azure Infrastructure-as-a-Service (IaaS). Scenariot är utformat för att köra programvara för fotogrammetri på virtuella Azure-datorer (VM) med hjälp av lagring med höga prestanda som påskyndar bearbetningstiden. Miljön kan skalas upp och ned efter behov och stöder terabyte lagring utan att offra prestanda.

Arkitektur

Diagram som visar en arkitektur för att utföra bildbaserad modellering på Azure IaaS.

Ladda ned en Visio-fil med den här arkitekturen.

Arbetsflöde

  1. Användaren skickar ett antal bilder till PhotoScan.
  2. PhotoScan Scheduler körs på en virtuell Windows-dator som fungerar som huvudnod och dirigerar bearbetning av användarens avbildningar.
  3. PhotoScan söker efter vanliga punkter på fotografierna och konstruerar geometrin (mesh) med hjälp av PhotoScan-bearbetningsnoderna som körs på virtuella datorer med grafikprocessorer (GPU:er).
  4. Avere vFXT för Azure tillhandahåller en lagringslösning med höga prestanda i Azure baserat på NFSv3 (Network File System version 3) och består av minst fyra virtuella datorer.
  5. PhotoScan renderar modellen.

Komponenter

  • Agisoft PhotoScan: PhotoScan Scheduler körs på en virtuell Windows 2016 Server-dator och bearbetningsnoderna använder fem virtuella datorer med GPU:er som kör CentOS Linux 7.5.
  • Avere vFXT för Azure är en filcachelagringslösning som använder objektlagring och traditionell nätverksansluten lagring (NAS) för att optimera lagringen av stora datamängder. Den innehåller:
    • Avere Controller. Den här virtuella datorn kör skriptet som installerar Avere vFXT-klustret och kör Ubuntu 18.04 LTS. Den virtuella datorn kan användas senare för att lägga till eller ta bort klusternoder och även för att förstöra klustret.
    • vFXT-kluster. Minst tre virtuella datorer används, en för var och en av Avere vFXT-noderna baserat på Avere OS 5.0.2.1. Dessa virtuella datorer utgör vFXT-klustret, som är kopplat till Azure Blob Storage.
  • Microsoft Active Directory-domänkontrollanter tillåter värdåtkomst till domänresurser och ger DNS-namnmatchning. Avere vFXT lägger till ett antal A-poster, till exempel pekar varje A-post i ett vFXT-kluster på IP-adressen för varje Avere vFXT-nod. I den här konfigurationen använder alla virtuella datorer resursallokeringsmönstret för att få åtkomst till vFXT-exporter.
  • Andra virtuella datorer fungerar som hopprutor som används av administratören för att komma åt schemaläggaren och bearbeta noder. Windows-jumpboxen är obligatorisk för att administratören ska få åtkomst till huvudnoden via fjärrskrivbordsprotokollet. Den andra jumpboxen är valfri och kör Linux för administration av arbetsnoderna.
  • Nätverkssäkerhetsgrupper begränsar åtkomsten till den offentliga IP-adressen (PIP) och tillåter portarna 3389 och 22 för åtkomst till de virtuella datorer som är anslutna till Jumpbox-undernätet.
  • Peering för virtuella nätverk ansluter ett virtuellt PhotoScan-nätverk till ett virtuellt Avere-nätverk.
  • Azure Blob Storage fungerar med Avere vFXT som kärnfiler för att lagra de incheckade data som bearbetas. Avere vFXT identifierar aktiva data som lagras i Azure Blob och nivåindelar dem i SSD-enheter (Solid State Drives) som används för cachelagring i beräkningsnoderna medan ett PhotoScan-jobb körs. Om ändringar görs checkas data asynkront tillbaka till kärnfilerna.
  • Azure Key Vault används för att lagra administratörslösenorden och PhotoScan-aktiveringskoden.

Alternativ

  • Om du vill dra nytta av Azure-tjänster för att hantera ett HPC-kluster använder du verktyg som Azure CycleCloud eller Azure Batch i stället för att hantera resurserna via mallar eller skript.
  • Distribuera det parallella virtuella Filsystemet BeeGFS som serverdelslagring i Azure i stället för Avere vFXT. Använd BeeGFS-mallen för att distribuera den här lösningen från slutpunkt till slutpunkt i Azure.
  • Distribuera valfri lagringslösning, till exempel GlusterFS, Lustre eller Windows Lagringsdirigering. Det gör du genom att redigera PhotoScan-mallen så att den fungerar med den lagringslösning du vill använda.
  • Distribuera arbetsnoderna med Windows-operativsystemet i stället för Linux, standardalternativet. När du använder Windows-noder körs inte lagringsintegreringsalternativen av distributionsmallarna. Du måste integrera miljön manuellt med en befintlig lagringslösning eller anpassa PhotoScan-mallen för att tillhandahålla sådan automatisering, enligt beskrivningen i lagringsplatsen.

Information om scenario

I det här exemplet beskrivs användningen av Agisoft PhotoScan-fotogrammetriprogramvara som backas upp av Avere vFXT-lagring. PhotoScan valdes för sin popularitet i geografiska informationssystemprogram (GIS), kulturarvsdokumentation, spelutveckling och produktion av visuella effekter. Den är lämplig för både närdistansfotogrammetri och flygfotogrammetri.

Begreppen i den här artikeln gäller för alla HPC-arbetsbelastningar (databehandling med höga prestanda) baserat på en schemaläggare och arbetsnoder som hanteras som infrastruktur. För den här arbetsbelastningen valdes Avere vFXT för sin överlägsna prestanda under benchmark-tester. Scenariot frikopplar dock lagringen från bearbetningen så att andra lagringslösningar kan användas (se alternativ senare i det här dokumentet).

Den här arkitekturen innehåller även Active Directory-domänkontrollanter för att styra åtkomsten till Azure-resurser och tillhandahålla intern namnmatchning via DNS (Domain Name System). Hopprutor ger administratörsåtkomst till de virtuella Windows- och Linux-datorer som kör lösningen.

Potentiella användningsfall

Relevanta användningsfall är:

  • Modellering och mätning av byggnader, tekniska strukturer och kriminaltekniska olycksscener.
  • Skapa visuella effekter för datorspel och filmer.
  • Använda digitala bilder för att indirekt generera mätningar av objekt av olika skalor som i stadsplanering och andra program.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Det här scenariot är specifikt utformat för att tillhandahålla lagring med höga prestanda för en HPC-arbetsbelastning, oavsett om den distribueras i Windows eller Linux. I allmänhet bör lagringskonfigurationen för HPC-arbetsbelastningen matcha lämpliga metodtips som används för lokala distributioner.

Distributionsöverväganden beror på vilka program och tjänster som används, men några anmärkningar gäller:

  • När du skapar högpresterande program använder du Azure Premium Storage och optimerar programlagret. Optimera lagringen för frekvent åtkomst med åtkomst på frekvent Azure Blob-nivå.
  • Använd ett alternativ för lagringsreplikering som uppfyller dina tillgänglighets- och prestandakrav. I det här exemplet konfigureras Avere vFXT för hög tillgänglighet som standard, med lokalt redundant lagring (LRS). För belastningsutjämning använder alla virtuella datorer i den här installationen resursallokeringsmönstret för att få åtkomst till vFXT-exporter.
  • Om serverdelslagringen används av både Windows-klienter och Linux-klienter använder du Samba-servrar för att stödja Windows-noderna. En version av det här exempelscenariot som baseras på BeeGFS använder Samba för att stödja scheduler-noden för HPC-arbetsbelastningen (PhotoScan) som körs i Windows. En lastbalanserare distribueras för att fungera som en smart ersättning för DNS-resursallokering.
  • Kör HPC-program med den vm-typ som passar bäst för din Windows- eller Linux-arbetsbelastning.
  • Om du vill isolera HPC-arbetsbelastningen från lagringsresurserna distribuerar du var och en i ett eget virtuellt nätverk och använder sedan peering för virtuella nätverk för att ansluta de två. Peering skapar en anslutning med låg latens och hög bandbredd mellan resurser i olika virtuella nätverk och dirigerar trafik genom Microsofts staminfrastruktur endast via privata IP-adresser.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.

Det här exemplet fokuserar på att distribuera en lagringslösning med höga prestanda för en HPC-arbetsbelastning och är inte en säkerhetslösning. Se till att involvera säkerhetsteamet för eventuella ändringar.

För ökad säkerhet gör den här exempelinfrastrukturen att alla virtuella Windows-datorer kan vara domänanslutna och använder Active Directory för central autentisering. Den tillhandahåller även anpassade DNS-tjänster för alla virtuella datorer. För att skydda miljön förlitar sig den här mallen på nätverkssäkerhetsgrupper. Nätverkssäkerhetsgruppen erbjuder grundläggande trafikfilter och säkerhetsregler.

Överväg följande alternativ för att ytterligare förbättra säkerheten i det här scenariot:

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

Kostnaden för att köra det här scenariot kan variera kraftigt beroende på flera faktorer. Antalet och storleken på virtuella datorer, hur mycket lagringsutrymme som krävs och hur lång tid det tar att slutföra ett jobb avgör kostnaden.

Följande exempelkostnadsprofil i Priskalkylatorn för Azure baseras på en typisk konfiguration för Avere vFXT och PhotoScan:

  • 1 A1_v2 virtuell Ubuntu-dator för att köra Avere-styrenheten.
  • 3 D16s_v3 virtuella Avere OS-datorer, en för var och en av de Avere vFXT-noder som utgör vFXT-klustret.
  • 5 NC24_v2 virtuella Linux-datorer för att tillhandahålla de GPU:er som behövs av Noderna för PhotoScan-bearbetning.
  • 1 D8s_v3 virtuell CentOS-dator för noden PhotoScan-schemaläggaren.
  • 1 DS2_v2 CentOS används som administratörshoppbox.
  • 2 DS2_v2 virtuella datorer för Active Directory-domänkontrollanterna.
  • Premium-hanterade diskar.
  • GPv2-bloblagring (Generell användning v2) med LRS och åtkomst på frekvent nivå (endast GPv2-lagringskonton exponerar attributet Åtkomstnivå).
  • Virtuellt nätverk med stöd för dataöverföring på 10 TB.

Nästa steg

Följande resurser ger mer information om de komponenter som används i det här scenariot, tillsammans med alternativa metoder för batchbaserad databehandling i Azure.