211service.com
Facebook wil AI beter maken door mensen te vragen het te breken
Yatheesh Gowda / Pixabay
De explosieve successen van AI in de afgelopen tien jaar worden meestal toegeschreven aan veel gegevens en veel rekenkracht. Maar benchmarks spelen ook een cruciale rol bij het stimuleren van vooruitgang: tests waarmee onderzoekers hun AI kunnen vergelijken om te zien hoe geavanceerd het is. ImageNet, een openbare dataset van 14 miljoen afbeeldingen, stelt bijvoorbeeld een doel voor beeldherkenning. MNIST deed hetzelfde voor handschriftherkenning en GLUE (General Language Understanding Evaluation) voor natuurlijke taalverwerking, wat leidde tot een doorbraak taalmodellen zoals GPT-3 .
Een vast doel wordt al snel ingehaald. ImageNet wordt bijgewerkt en GLUE is vervangen door SuperGLUE, een reeks moeilijkere taalkundige taken. Toch zullen onderzoekers vroeg of laat melden dat hun AI bovenmenselijke niveaus heeft bereikt en beter presteert dan mensen in deze of gene uitdaging. En dat is een probleem als we willen dat benchmarks de vooruitgang blijven stimuleren.
Dus Facebook brengt een nieuw soort test uit waarin AI's het opnemen tegen mensen die hun best doen om ze te laten struikelen. Genaamd Dynabank , zal de test net zo moeilijk zijn als mensen ervoor kiezen om hem te maken.
Benchmarks kunnen erg misleidend zijn, zegt Douwe Kiela van Facebook AI Research, die het team achter de tool leidde. Te veel focussen op benchmarks kan betekenen dat we bredere doelen uit het oog verliezen. De test kan de taak worden.
Je krijgt een systeem dat beter is in de test dan mensen, maar niet beter in de algehele taak, zegt hij. Het is erg bedrieglijk, omdat het lijkt alsof we veel verder zijn dan we in werkelijkheid zijn.
Kiela denkt dat dat op dit moment een bijzonder probleem is met NLP. Een taalmodel als GPT-3 lijkt intelligent omdat het zo goed is in het nabootsen van taal. Maar het is moeilijk te zeggen hoeveel deze systemen daadwerkelijk begrijpen.
Denk erover na om menselijke intelligentie te meten, zegt hij. Je kunt mensen IQ-tests geven, maar dat zegt niet of ze een onderwerp echt begrijpen. Om dat te doen, moet je met ze praten, vragen stellen.
Dynabench doet iets soortgelijks, mensen gebruiken om AI's te ondervragen. Het is vandaag online uitgebracht en nodigt mensen uit om naar de website te gaan en de modellen erachter te testen. U kunt bijvoorbeeld een taalmodel een Wikipedia-pagina geven en het vervolgens vragen stellen en de antwoorden scoren.
In sommige opzichten is het idee vergelijkbaar met de manier waarop mensen al met GPT-3 spelen, de grenzen ervan testen, of de manier waarop chatbots worden beoordeeld voor de Loebner Prize, een wedstrijd waarbij bots proberen door te gaan als mens. Maar met Dynabench worden fouten die tijdens het testen aan het licht komen automatisch teruggekoppeld naar toekomstige modellen, waardoor ze steeds beter worden.
Voor nu zal Dynabench zich concentreren op taalmodellen omdat ze een van de gemakkelijkste soorten AI zijn waarmee mensen kunnen communiceren. Iedereen spreekt een taal, zegt Kiela. Je hebt geen echte kennis nodig om deze modellen te doorbreken.
Maar de aanpak zou ook moeten werken voor andere soorten neuraal netwerk, zoals spraak- of beeldherkenningssystemen. Je hebt alleen een manier nodig waarop mensen hun eigen afbeeldingen kunnen uploaden - of ze dingen kunnen laten tekenen - om het te testen, zegt Kiela: De langetermijnvisie hiervoor is om het te openen zodat iedereen zijn eigen model kan draaien en beginnen met het verzamelen van hun eigen gegevens.
We willen de AI-gemeenschap ervan overtuigen dat er een betere manier is om vooruitgang te meten, voegt hij eraan toe. Hopelijk resulteert dit in snellere vooruitgang en een beter begrip van waarom machine learning-modellen nog steeds falen.