Labelprojecten beheren
Meer informatie over het beheren van een labelproject in Azure Machine Learning. Dit artikel is bedoeld voor projectmanagers die verantwoordelijk zijn voor het beheren van tekst- of afbeeldingslabelprojecten. Zie Een tekstlabelproject instellen of een afbeeldingslabelproject instellen voor informatie over het maken van het project.
Belangrijk
Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. De preview-versie wordt aangeboden zonder Service Level Agreement en wordt niet aanbevolen voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Het project uitvoeren en bewaken
Nadat u het project hebt geïnitialiseerd, begint Azure het uit te voeren. Als u een project wilt beheren, selecteert u het project op de hoofdpagina gegevenslabeling .
Als u het project wilt onderbreken of opnieuw wilt starten, schakelt u op de opdrachtbalk van het project de status Actief in. U kunt alleen gegevens labelen wanneer het project wordt uitgevoerd.
Voortgang bijhouden
Op het tabblad Dashboard wordt de voortgang van de labeltaak weergegeven.
In de voortgangsdiagrammen ziet u hoeveel items zijn gelabeld, overgeslagen, revisie nodig zijn of nog niet zijn voltooid. Beweeg de muisaanwijzer over de grafiek om het aantal items in elke sectie weer te geven.
Onder de grafiek ziet u een distributie van de labels voor voltooide taken. In sommige projecttypen kan een item meerdere labels hebben. Het totale aantal etiketten kan het totale aantal items overschrijden.
Een distributie van labelers en het aantal items dat ze hebben gelabeld, worden ook weergegeven.
In de middelste sectie ziet u een tabel met een wachtrij met niet-toegewezen taken. Wanneer met ML ondersteund labelen is uitgeschakeld, wordt in deze sectie het aantal handmatige taken weergegeven dat wacht op de toewijzing.
Wanneer labelen met ONDERSTEUNING voor ML is ingeschakeld, wordt in deze sectie ook het volgende weergegeven:
- Taken die geclusterde items in de wachtrij bevatten.
- Taken die vooraf gelabelde items in de wachtrij bevatten.
Als labelen met ML is ingeschakeld, kunt u ook omlaag schuiven om de status van door ML ondersteund labelen weer te geven. De secties Taken bevatten koppelingen voor elk van de machine learning-uitvoeringen.
- Training: Traint een model om de labels te voorspellen.
- Validatie: bepaalt of itemvoorlabeling gebruikmaakt van de voorspelling van dit model.
- Deductie: Voorspellingsuitvoering voor nieuwe items.
- Featurization: Clusters items (alleen voor afbeeldingsclassificatieprojecten).
Gegevens en labels controleren
Bekijk op het tabblad Gegevens een voorbeeld van de gegevensset en controleer de gelabelde gegevens.
Tip
Voordat u dit bekijkt, moet u afstemmen met andere mogelijke revisoren. Anders probeert u mogelijk hetzelfde label tegelijkertijd goed te keuren, waardoor een van u het niet bijwerkt.
Blader door de gelabelde gegevens om de labels te zien. Als u gegevens ziet die onjuist zijn gelabeld, selecteert u deze en kiest u Weigeren om de labels te verwijderen en de gegevens terug te keren naar de niet-gelabelde wachtrij.
Overgeslagen items
Een set filters is van toepassing op de items die u bekijkt. Standaard controleert u gelabelde gegevens. Selecteer het filter Assettype om het type over te schakelen naar *Overgeslagen om items te controleren die zijn overgeslagen.
Als u denkt dat de overgeslagen gegevens moeten worden gelabeld, selecteert u Weigeren om terug te zetten in de niet-gelabelde wachtrij. Als u denkt dat de overgeslagen gegevens niet relevant zijn voor uw project, selecteert u Accepteren om deze uit het project te verwijderen.
Consensuslabeling
Als uw project consensuslabels gebruikt, bekijkt u afbeeldingen die geen consensus hebben:
Selecteer het tabblad Gegevens.
Selecteer Labels controleren in het linkermenu.
Selecteer alle filters op de opdrachtbalk boven Labels controleren.
Selecteer onder Gelabelde gegevenspunten consensuslabels die nodig zijn om alleen afbeeldingen weer te geven waarvoor de labelers geen consensus bereikten.
Selecteer voor elke afbeelding die u wilt bekijken de vervolgkeuzelijst Consensuslabel om de conflicterende labels weer te geven.
Hoewel u een afzonderlijke labelaar kunt selecteren om hun labels te zien, om de labels bij te werken of af te wijzen, moet u de beste keuze, consensuslabel (preview)gebruiken.
Projectdetails wijzigen
Details van uw project weergeven en wijzigen op het tabblad Details . Op dit tabblad kunt u het volgende doen:
- Projectdetails en invoergegevenssets weergeven.
- Stel de optie Incrementeel vernieuwen met regelmatige tussenpozen in of schakel deze uit of vraag een onmiddellijke vernieuwing aan.
- Bekijk details van de opslagcontainer die wordt gebruikt voor het opslaan van gelabelde uitvoer in uw project.
- Voeg labels toe aan uw project.
- Bewerk de instructies die u aan uw etiketten geeft.
- Wijzig de instellingen voor door ML ondersteund labelen en start een labeltaak.
Projecten die zijn gemaakt in Azure AI-services
Als uw labelproject is gemaakt vanuit Vision Studio of Language Studio, ziet u een extra tabblad op de pagina Details . Op het tabblad kunt u schakelen tussen labelen in Azure Machine Learning en labelen in Vision Studio of Language Studio.
Als uw project is gemaakt vanuit Vision Studio, ziet u ook het tabblad Vision Studio . Selecteer Ga naar Vision Studio om terug te keren naar Vision Studio. Zodra u terugkeert naar Vision Studio, kunt u uw gelabelde gegevens importeren.
Nieuwe labels toevoegen aan een project
Tijdens het labelen van gegevens wilt u mogelijk meer labels toevoegen om uw items te classificeren. U kunt bijvoorbeeld een onbekend of ander label toevoegen om verwarring aan te geven.
Een of meer labels toevoegen aan een project:
Selecteer het project op de hoofdpagina gegevenslabels .
Schakel op de opdrachtbalk van het project de status van Actief naar Onderbroken in om de labelactiviteit te stoppen.
Klik op het tabblad Details.
Selecteer labelcategorieën in de lijst aan de linkerkant.
Pas uw labels aan.
Voeg in het formulier het nieuwe label toe. Kies vervolgens hoe u het project wilt voortzetten. Omdat u de beschikbare labels hebt gewijzigd, kiest u hoe u gegevens wilt behandelen die al zijn gelabeld:
- Begin opnieuw en verwijder alle bestaande labels. Kies deze optie als u vanaf het begin wilt beginnen met labelen met behulp van de nieuwe volledige set labels.
- Begin opnieuw en bewaar alle bestaande labels. Kies deze optie om alle gegevens te markeren als niet-gelabeld, maar de bestaande labels te behouden als standaardtag voor afbeeldingen die eerder zijn gelabeld.
- Doorgaan en alle bestaande labels behouden. Kies deze optie om alle gegevens die al zijn gelabeld, te behouden en het nieuwe label te gebruiken voor gegevens die nog niet zijn gelabeld.
Pas de instructiespagina zo nodig aan voor nieuwe labels.
Nadat u alle nieuwe labels hebt toegevoegd, schakelt u Onderbroken in Uitvoeren om het project opnieuw op te starten.
Een door ML ondersteunde labeltaak starten
Met ML ondersteund labelen wordt automatisch gestart nadat sommige items zijn gelabeld. Deze automatische drempelwaarde verschilt per project. U kunt handmatig een door ML ondersteunde trainingsuitvoering starten als uw project ten minste enkele gelabelde gegevens bevat.
Notitie
Training op aanvraag is niet beschikbaar voor projecten die vóór december 2022 zijn gemaakt. Als u deze functie wilt gebruiken, maakt u een nieuw project.
Ga als volgt te werk om een nieuwe ml-begeleide training te starten:
- Selecteer Details boven aan het project.
- Selecteer in het menu aan de linkerkant de optie Voor ML ondersteund labelen.
- Selecteer Start onder aan de pagina voor training op aanvraag.
De labels exporteren
Als u de labels wilt exporteren, selecteert u op de opdrachtbalk van het project de knop Exporteren . U kunt de labelgegevens voor Machine Learning-experimenten op elk gewenst moment exporteren.
Als uw projecttype Semantische segmentatie (preview) is, wordt er een Azure MLTable-gegevensasset gemaakt.
Voor alle andere projecttypen kunt u een afbeeldingslabel exporteren als:
- Een CSV-bestand. Azure Machine Learning maakt het CSV-bestand in een map in Labeling/export/CSV.
- Een COCO-indelingsbestand . Azure Machine Learning maakt het COCO-bestand in een map in Labeling/export/coco.
- Een Azure Machine Learning-gegevensset met labels.
- Een CSV-bestand. Azure Machine Learning maakt het CSV-bestand in een map in Labeling/export/CSV.
- Een COCO-indelingsbestand . Azure Machine Learning maakt het COCO-bestand in een map in Labeling/export/coco.
- Een Azure MLTable-gegevensasset.
Wanneer u een CSV- of COCO-bestand exporteert, wordt er kort een melding weergegeven wanneer het bestand klaar is om te downloaden. Selecteer de koppeling Bestand downloaden om uw resultaten te downloaden. U kunt de melding ook vinden in de sectie Melding op de bovenste balk:
Open geëxporteerde Azure Machine Learning-gegevenssets en -gegevensassets in de sectie Gegevens van Machine Learning. De pagina met gegevensdetails bevat ook voorbeeldcode die u kunt gebruiken voor toegang tot uw labels met behulp van Python.
Nadat u uw gelabelde gegevens naar een Azure Machine Learning-gegevensset hebt geëxporteerd, kunt u AutoML gebruiken om computer Vision-modellen te maken die zijn getraind op uw gelabelde gegevens. Meer informatie vindt u in AutoML instellen voor het trainen van Computer Vision-modellen met behulp van Python.
Labels importeren (preview)
Als u een Azure MLTable-gegevensasset of COCO-bestand hebt dat labels voor uw huidige gegevens bevat, kunt u deze labels importeren in uw project. U hebt bijvoorbeeld labels die zijn geëxporteerd uit een eerder labelproject met dezelfde gegevens. De functie importlabels is alleen beschikbaar voor afbeeldingsprojecten.
Als u labels wilt importeren, selecteert u op de opdrachtbalk van het project de knop Importeren . U kunt gelabelde gegevens op elk gewenst moment importeren voor Machine Learning-experimenten.
Importeer vanuit een COCO-bestand of een Azure MLTable-gegevensasset.
Gegevenstoewijzing
U moet een kolom opgeven die is toegewezen aan het veld Afbeelding . U kunt eventueel ook andere kolommen toewijzen die aanwezig zijn in de gegevens. Als uw gegevens bijvoorbeeld een kolom Label bevatten, kunt u deze toewijzen aan het veld Categorie . Als uw gegevens een kolom Betrouwbaarheid bevatten, kunt u deze toewijzen aan het veld Betrouwbaarheid .
Als u labels uit een vorig project importeert, moeten de labels dezelfde indeling hebben als de labels die u maakt. Als u bijvoorbeeld begrenzingsvaklabels maakt, moeten de labels die u importeert ook begrenzingsvaklabels zijn.
Opties voor importeren
Kies hoe u de geïmporteerde etiketten wilt behandelen:
- Als vooraf gelabelde gegevens: kies deze optie om de geïmporteerde labels als vooraf gelabelde gegevens te gebruiken. De labeler kan vervolgens de vooraf gelabelde gegevens controleren en eventuele fouten corrigeren voordat de labels worden verzonden.
- Als definitieve labels: kies deze optie om de labels als definitieve labels te importeren. Alleen gegevens die nog geen label bevatten, worden weergegeven als taken voor uw labelaars.
Toegang voor labelaars
Iedereen met inzender- of eigenaartoegang tot uw werkruimte kan gegevens in uw project labelen.
U kunt ook gebruikers toevoegen en de machtigingen aanpassen, zodat ze toegang hebben tot labelen, maar niet tot andere onderdelen van de werkruimte of uw labelproject. Zie Gebruikers toevoegen aan uw gegevenslabelproject voor meer informatie.
Problemen oplossen
Gebruik deze tips als u een van de volgende problemen ziet tijdens het beheren van uw project:
| Verzenden | Oplossing |
|---|---|
| Er kunnen alleen gegevenssets worden gebruikt die zijn gemaakt in blobgegevensopslag. | Dit probleem is een bekende beperking van de huidige versie. |
| Als u gegevens verwijdert uit de gegevensset die uw project gebruikt, wordt er een fout in het project veroorzaakt. | Verwijder geen gegevens uit de versie van de gegevensset die u hebt gebruikt in een labelproject. Maak een nieuwe versie van de gegevensset die moet worden gebruikt om gegevens te verwijderen. |
| Nadat een project is gemaakt, wordt de projectstatus voor een langere tijd geïnitialiseerd . | Vernieuw de pagina handmatig. De initialisatie zou ongeveer 20 gegevenspunten per seconde moeten voltooien. Er is geen bekend probleem met automatisch vernieuwen. |
| Nieuw gelabelde items zijn niet zichtbaar in het gegevensoverzicht. | Als u alle gelabelde items wilt laden, selecteert u de knop Eerste . Met de knop Eerste gaat u terug naar de voorzijde van de lijst en worden alle gelabelde gegevens geladen. |
| U kunt geen set taken toewijzen aan een specifieke labelaar. | Dit probleem is een bekende beperking van de huidige versie. |
Problemen met objectdetectie oplossen
| Verzenden | Oplossing |
|---|---|
| Als u de Esc-toets selecteert wanneer u labelt voor objectdetectie, wordt er een label met nulgrootte gemaakt en mislukt het verzenden van labels. | Als u het label wilt verwijderen, selecteert u het pictogram X verwijderen naast het label. |
Als u problemen ondervindt bij het maken van het project, raadpleegt u Problemen oplossen tijdens het maken van een project voor gegevenslabels