AI verslaat de Hivemind

Mechancial Turk van Amazon is het ultieme in bijna anonieme outsourcing: elke taak die online kan worden voltooid, kan worden bereikt door de combinatie van geautomatiseerde marktplaats en menselijke arbeid. Degenen die zich aanmelden om taken te voltooien - Turken - krijgen een loon zo laag als centen per karwei om alles te doen, van gegevensinvoer tot volkskunst .

(gelijkstroom) Jim Linwood

Mechanical Turk is ontworpen om taken uit te voeren die gemakkelijk zijn voor mensen en moeilijk voor machines, zoals het categoriseren of identificeren van de inhoud van afbeeldingen. Het probleem voor Amazon en al zijn navolgers is echter dat machines beter worden in veel taken, terwijl de mensen op Mechanical Turk, om redenen die ik in de post van morgen zal onderzoeken, slechter worden.

Onlangs hebben onderzoekers van de online beoordelingssite Yelp bijvoorbeeld een papier (pdf) over hun ervaring met het matchen van duizenden mechanische Turkers tegen a algoritme voor begeleid leren .

De resultaten waren niet mooi: om een ​​populatie Turkers te vinden wiens werk redelijk was, gebruikten de onderzoekers eerst Mechanical Turk om een ​​test af te nemen bij 4.660 sollicitanten. Het was een meerkeuzetest om te bepalen of een Turker de juiste categorie voor een bedrijf (Restaurant, Winkelen, enz.) kon identificeren en, via zijn officiële website of per telefoon, het juiste telefoonnummer en adres kon verifiëren.

79 geslaagd. Dit was een extreem basaal meerkeuzetoets. Je kunt je afvragen hoe de andere 4.581 slim genoeg waren om in de eerste plaats een webbrowser te bedienen.

Deze 79 hoogwaardige werknemers werden vervolgens voor het probleem geworpen om bedrijfsinformatie met drie tegelijk te verifiëren. Hierdoor konden de onderzoekers alleen de resultaten nemen waarvan een gewone meerderheid van de Turkers het erover eens was dat ze correct waren, of in sommige gevallen het resultaat kiezen dat was gekozen door de Turker, die historisch gezien het meest nauwkeurig was.

Onderzoekers gooiden een Naive Bayes-classifier naar dezelfde reeks problemen. Dit is een soort begeleid leeralgoritme; een Dat, volgens een vergelijking van deze systemen uit 2006 , is niet eens de beste soort die er is.

De Bayes-classifier won handig.

In bijna alle gevallen identificeerde het algoritme, dat was getraind op een pool van 12 miljoen door gebruikers ingediende Yelp-reviews, de categorie van een bedrijf een derde vaker dan de mensen. In de automobielcategorie had de computer twee keer zoveel kans als de verzamelde massa om een ​​bedrijf correct te identificeren.

Deze resultaten suggereren niet noodzakelijk dat bedrijfscategorisatie een probleem is zoals schaken, waar de menselijke computer eindelijk is overtroffen door zijn mechanische tegenhanger. Integendeel, ze suggereren dat er iets aan Mechanical Turk zelf kapot is - ofwel het stimuleringssysteem of de mechanismen voor de kwaliteit van de politie. Het is al lang bekend dat de lonen op Mechanical Turk vrij laag zijn - arbeiders verdienen gemiddeld tussen de twee en drie dollar per uur voor hun werk, en het is waarschijnlijk dat dit een deel van het probleem is. Economen zijn nog maar net begonnen met het aanpakken van de vraag; daar morgen meer over.

Volg Mims op Twitter of neem contact met hem op via e-mail .

zich verstoppen