Waarom en hoe Baidu een kunstmatige-intelligentietest heeft bedrogen?

De sport van het trainen van software om intelligent te handelen heeft net zijn eerste cheat-schandaal gekregen. Vorige maand kondigde het Chinese zoekbedrijf Baidu aan dat zijn software voor beeldherkenning een centimeter voor was op die van Google bij een gestandaardiseerde nauwkeurigheidstest. Dinsdag gaf het bedrijf toe dat het die resultaten had behaald door de regels van die test te overtreden.

De academische experts die die test handhaven, zeggen dat: maakt Baidu's beweringen over het verslaan van Google zinloos . Ren Wu, de Baidu-onderzoeker die het werk aan de software in kwestie leidde, heeft zijn excuses aangeboden en zei dat het bedrijf de resultaten aan het herzien is. Het bedrijf heeft een technisch document gewijzigd het vrijgegeven op zijn software.

We weten niet of dit de actie van één persoon was of een strategie van het team als geheel. Maar waarom een ​​miljardenbedrijf de moeite zou kunnen nemen om vals te spelen bij een obscure test die op vrijwillige basis door academici wordt uitgevoerd, is eigenlijk heel duidelijk.

Baidu, Google, Facebook en andere grote computerbedrijven hebben de afgelopen jaren veel geld uitgegeven aan het opzetten van onderzoeksgroepen die zich toeleggen op deep learning, een benadering voor het bouwen van machine learning-software die grote vooruitgang heeft geboekt op het gebied van spraak- en beeldherkenning. Deze bedrijven hebben hard gewerkt om toonaangevende experts in het kleine veld in dienst te nemen, vaak van elkaar (zie Is Google de markt in de greep van Deep Learning). Een handvol gestandaardiseerde tests die in de academische wereld zijn ontwikkeld, zijn de valuta waarmee deze onderzoeksgroepen elkaars voortgang vergelijken en hun prestaties aan het publiek promoten.

Baidu kreeg een oneerlijk voordeel door gebruik te maken van het ontwerp van de test. Om uw software te laten scoren tegen de ImageNet Challenge, traint u deze eerst met een gestandaardiseerde set van 1,5 miljoen afbeeldingen. Vervolgens verzendt u de code naar de ImageNet Challenge-server, zodat de nauwkeurigheid kan worden getest op een verzameling van 100.000 validatiebeelden die de software nog nooit eerder heeft gezien.

In de Challenge-regels staat dat je je code maar twee keer per week mag testen, omdat er een kans zit in de resultaten.

Baidu heeft toegegeven dat het meerdere e-mailaccounts heeft gebruikt om zijn code in iets minder dan zes maanden ongeveer 200 keer te testen - meer dan vier keer zoveel als de regels toestaan.

Oren Etzioni, CEO van de Allen Instituut voor Kunstmatige Intelligentie , vergelijkt wat Baidu deed met het kopen van meerdere loten. Als je twee kaartjes per week mag kopen, heb je een zekere kans, als je er 200 per week koopt, heb je meer kans, zegt hij. Bovendien kan het testen van iets andere code over veel tests een onderzoeksteam helpen zijn software te optimaliseren voor eigenaardigheden van de verzameling validatieafbeeldingen die niet worden weerspiegeld in foto's uit de echte wereld.

Het succes van deep learning op deze specifieke test is zo groot dat zelfs een klein voordeel een verschil kan maken. Baidu had gemeld dat het een foutenpercentage van slechts 4,58 procent had behaald en daarmee het vorige record van 4,82 procent versloeg. gerapporteerd door Google in maart. Sommige experts hebben zelfs opgemerkt dat de kleine overwinningsmarges in de race om beter te worden in deze specifieke test het steeds zinlozer maken. Dat Baidu en anderen hun resultaten toch blijven verkondigen - en misschien zelfs bereid zijn de regels te overtreden - suggereert dat de beste zijn in machine learning voor hen heel belangrijk is.

zich verstoppen