Computervisie in AI: de gegevens die nodig zijn om te slagen

Geleverd door Allegion

Het ontwikkelen van de capaciteit om enorme hoeveelheden gegevens te annoteren met behoud van kwaliteit is een functie van de levenscyclus van modelontwikkeling die ondernemingen vaak onderschatten. Het is arbeidsintensief en vereist gespecialiseerde expertise.

De kern van elk succesvol initiatief voor machine learning/kunstmatige intelligentie (ML/AI) is een toewijding aan hoogwaardige trainingsgegevens en een pad naar kwaliteitsgegevens die bewezen en goed gedefinieerd zijn. Zonder deze kwalitatieve datapijplijn is het initiatief gedoemd te mislukken.

Computervisie- of datawetenschapsteams wenden zich vaak tot externe partners om hun pijplijn voor datatraining te ontwikkelen, en deze partnerschappen stimuleren de modelprestaties.

Er is niet één definitie van kwaliteit: kwaliteitsgegevens zijn volledig afhankelijk van het specifieke computervisie- of machine learning-project. Er is echter een algemeen proces dat alle teams kunnen volgen wanneer ze samenwerken met een externe partner, en dit pad naar kwaliteitsgegevens kan worden onderverdeeld in vier geprioriteerde fasen.

Annotatiecriteria en kwaliteitseisen

De kwaliteit van trainingsgegevens is een evaluatie van de geschiktheid van een dataset om zijn doel te dienen in een bepaalde ML/AI-use case.

Het computer vision-team moet een ondubbelzinnige set regels opstellen die beschrijven wat kwaliteit betekent in de context van hun project. Annotatiecriteria zijn de verzameling regels die bepalen welke objecten moeten worden geannoteerd, hoe ze correct moeten worden geannoteerd en wat de kwaliteitsdoelen zijn.

Nauwkeurigheids- of kwaliteitsdoelen definiëren het laagst acceptabele resultaat voor evaluatiestatistieken zoals nauwkeurigheid, terugroepactie, precisie, F1-score, enzovoort. Doorgaans heeft een computervisieteam kwaliteitsdoelen voor hoe nauwkeurig objecten van belang zijn geclassificeerd, hoe nauwkeurig objecten zijn gelokaliseerd en hoe nauwkeurig relaties tussen objecten zijn geïdentificeerd.

Training van personeel en platformconfiguratie N

Platformconfiguratie. Taakontwerp en workflowconfiguratie vereisen tijd en expertise, en nauwkeurige annotaties vereisen taakspecifieke tools. In dit stadium hebben datawetenschapsteams een partner nodig met expertise om hen te helpen bepalen hoe labeltools, classificatietaxonomieën en annotatie-interfaces het beste kunnen worden geconfigureerd voor nauwkeurigheid en doorvoer.

Werknemer testen en scoren. Om gegevens nauwkeurig te labelen, hebben annotators een goed ontworpen trainingscurriculum nodig, zodat ze de annotatiecriteria en domeincontext volledig begrijpen. Het annotatieplatform of de externe partner moet nauwkeurigheid garanderen door de vaardigheid van de annotator actief te volgen op basis van gouden gegevenstaken of wanneer een oordeel wordt gewijzigd door een hoger opgeleide werknemer of beheerder.

Grondwaarheid of gouden gegevens. Grondwaarheidsgegevens zijn cruciaal in deze fase van het proces als basis om werknemers te scoren en de outputkwaliteit te meten. Veel computer vision-teams werken al met een grondwaarheidsdataset.

Bronnen van autoriteit en kwaliteitsborging

Er is geen one-size-fits-all-aanpak voor kwaliteitsborging (QA) die voldoet aan de kwaliteitsnormen van alle ML-gebruiksscenario's. Specifieke bedrijfsdoelstellingen, evenals het risico dat gepaard gaat met een ondermaats presterend model, zullen de kwaliteitseisen bepalen. Sommige projecten bereiken de doelkwaliteit met behulp van meerdere annotators. Anderen vereisen complexe beoordelingen aan de hand van grondwaarheidsgegevens of escalatieworkflows met verificatie door een materiedeskundige.

Er zijn twee primaire bronnen van autoriteit die kunnen worden gebruikt om de kwaliteit van annotaties te meten en die worden gebruikt om werknemers te scoren: gouden gegevens en expertbeoordeling.

• Gouden gegevens: de gouden gegevens of de set met grondwaarheden kunnen zowel worden gebruikt als een kwalificatietool voor het testen en scoren van werknemers aan het begin van het proces, en ook als maatstaf voor de outputkwaliteit. Wanneer u gouden gegevens gebruikt om de kwaliteit te meten, vergelijkt u de annotaties van werknemers met uw deskundige annotaties voor dezelfde gegevensset, en het verschil tussen deze twee onafhankelijke, blinde antwoorden kan worden gebruikt om kwantitatieve metingen te produceren, zoals nauwkeurigheid, herinnering, precisie en F1-scores .

• Beoordeling door experts: deze methode van kwaliteitsborging is afhankelijk van beoordeling door een zeer bekwame werknemer, een beheerder of van een expert aan de kant van de klant, soms alle drie. Het kan worden gebruikt in combinatie met goudgegevens QA. De deskundige beoordelaar kijkt naar het antwoord van de gekwalificeerde medewerker en keurt het goed of corrigeert zo nodig, wat een nieuw correct antwoord oplevert. In eerste instantie kan een expertbeoordeling plaatsvinden voor elk afzonderlijk exemplaar van gelabelde gegevens, maar na verloop van tijd, naarmate de kwaliteit van de werknemer verbetert, kan een expertbeoordeling gebruik maken van willekeurige steekproeven voor voortdurende kwaliteitscontrole.

Itereren op gegevenssucces

Zodra een computervisieteam met succes een pijplijn met trainingsgegevens van hoge kwaliteit heeft gelanceerd, kan het de voortgang naar een productieklaar model versnellen. Door voortdurende ondersteuning, optimalisatie en kwaliteitscontrole kan een externe partner hen helpen:

• Tracksnelheid: om effectief te schalen, is het goed om de annotatiedoorvoer te meten. Hoe lang duurt het voordat gegevens door het proces zijn gegaan? Gaat het proces sneller?
• Stem de opleiding van werknemers af: Naarmate het project groter wordt, kunnen de etikettering en kwaliteitsvereisten evolueren. Dit vereist voortdurende training en score van het personeel.
• Train op edge-cases: in de loop van de tijd moeten trainingsgegevens steeds meer edge-cases bevatten om uw model zo nauwkeurig en robuust mogelijk te maken.

Zonder hoogwaardige trainingsgegevens kunnen zelfs de best gefinancierde, meest ambitieuze ML/AI-projecten niet slagen. Computervisieteams hebben partners en platforms nodig waarop ze kunnen vertrouwen om de gegevenskwaliteit te leveren die ze nodig hebben en om levensveranderende ML/AI-modellen voor de wereld aan te sturen.

Alegion is de bewezen partner om de pijplijn met trainingsgegevens op te bouwen die uw model gedurende de hele levenscyclus van brandstof zal voorzien. Neem contact op met Alegion via [email protected] .

Deze inhoud is geproduceerd door Alegion. Het is niet geschreven door de redactie van MIT Technology Review.

zich verstoppen