211service.com
Datasets boordevol fouten vervormen ons gevoel van hoe goed AI werkelijk is
Jeremy Lwanga/Unsplash
De 10 meest geciteerde AI-datasets zitten vol met labelfouten, volgens een nieuwe studie van MIT , en het vervormt ons begrip van de voortgang van het veld.
Gegevensruggengraat: Datasets vormen de ruggengraat van AI-onderzoek, maar sommige zijn kritischer dan andere. Er is een kernset die onderzoekers gebruiken om modellen voor machine learning te evalueren als een manier om bij te houden hoe AI-mogelijkheden in de loop van de tijd vorderen. Een van de bekendste is de canonieke beeldherkenningsdataset ImageNet, die het begin was van de moderne AI-revolutie. Er is ook MNIST, dat afbeeldingen van handgeschreven getallen tussen 0 en 9 compileert. Andere datasets testmodellen die zijn getraind om audio, tekst en handtekeningen te herkennen.
Ja maar: In de afgelopen jaren is uit onderzoeken gebleken dat deze datasets ernstige gebreken kunnen bevatten. ImageNet bevat bijvoorbeeld: racistische en seksistische labels evenals foto's van gezichten van mensen verkregen zonder toestemming . De laatste studie kijkt nu naar een ander probleem: veel van de labels zijn gewoon ronduit verkeerd. Een paddenstoel heet een lepel, een kikker wordt een kat genoemd en een hoge noot van Ariana Grande wordt een fluitje genoemd. De ImageNet-testset heeft een geschat labelfoutpercentage van 5,8%. Ondertussen heeft de testset voor QuickDraw, een compilatie van handgemaakte tekeningen, een geschat foutenpercentage van 10,1%.
Hoe werd er gemeten? Elk van de 10 datasets die worden gebruikt voor het evalueren van modellen heeft een bijbehorende dataset die wordt gebruikt om ze te trainen. De onderzoekers, MIT-afgestudeerde studenten Curtis G. Northcutt en Anish Athalye en alum Jonas Mueller, gebruikten de trainingsdatasets om een machine learning-model te ontwikkelen en gebruikten het vervolgens om de labels in de testgegevens te voorspellen. Als het model het niet eens was met het oorspronkelijke label, werd het gegevenspunt gemarkeerd voor handmatige beoordeling. Vijf menselijke recensenten van Amazon Mechanical Turk werden gevraagd om te stemmen op welk label – het model of het origineel – ze dachten dat het juiste was. Als de meerderheid van de menselijke recensenten het met het model eens was, werd het oorspronkelijke label als een fout geteld en vervolgens gecorrigeerd.
Maakt dit uit? Ja. De onderzoekers keken naar 34 modellen waarvan de prestaties eerder waren afgemeten aan de ImageNet-testset. Vervolgens hebben ze elk model opnieuw gemeten aan de hand van de ongeveer 1.500 voorbeelden waarbij de gegevenslabels onjuist bleken te zijn. Ze ontdekten dat de modellen die niet zo goed presteerden op het origineel niet correct labels waren enkele van de beste presteerders nadat de labels waren gecorrigeerd. Met name de eenvoudigere modellen leken het beter te doen op de gecorrigeerde gegevens dan de meer gecompliceerde modellen die door techgiganten als Google worden gebruikt voor beeldherkenning en waarvan wordt aangenomen dat ze de beste in het veld zijn. Met andere woorden, we hebben misschien een opgeblazen gevoel van hoe geweldig deze gecompliceerde modellen zijn vanwege gebrekkige testgegevens.
Wat nu? Northcutt moedigt het AI-veld aan om schonere datasets te maken voor het evalueren van modellen en het volgen van de voortgang van het veld. Ook beveelt hij onderzoekers aan om hun datahygiëne te verbeteren bij het werken met hun eigen data. Anders, zegt hij, als je een lawaaierige dataset hebt en een heleboel modellen die je uitprobeert, en je gaat ze in de echte wereld inzetten, zou je uiteindelijk het verkeerde model kunnen selecteren. Daartoe heeft hij open source de code hij gebruikte in zijn onderzoek voor het corrigeren van labelfouten, die naar eigen zeggen al in gebruik zijn bij een paar grote technologiebedrijven.