211service.com
Watson on Jeopardy, deel 2
Kijken naar de eerste nacht van de Gevaar wedstrijd het opzetten van het IBM Watson-programma tegen menselijke deelnemers was erg leuk. Een leuk detail was het backstage-display met drie antwoorden die Watson voor elke vraag in overweging nam en het vertrouwen van de machine daarin. Dat is interessant, omdat het je enig inzicht geeft in de reeks dingen die het in overweging nam.
Sommige categorieën waren duidelijk softballs voor Watson. Eén categorie, Beatles People, was gemakkelijk, omdat het programma een heel eind (maar niet helemaal) het antwoord zou vinden door simpelweg de songteksten te matchen. De spelregels verboden de computer om op het web te gaan om antwoorden te vinden. Watson is aangewezen op zijn eigen middelen, die vooraf zijn opgeslagen. Maar in zijn 15 petabyte aan opslagruimte heeft Watson in feite min of meer een kopie van een flink stuk internet.
Het was duidelijk dat het een kopie van de Beatles-teksten had die het zocht. Anders zou het geen gebed hebben gehad over die vragen.
Watson eindigde de eerste ronde als eerste met $ 5.000; Ken Jennings werd derde met $ 2.000. Maar om een idee te krijgen van hoe goed Watson het echt deed, kun je thuis je eigen wedstrijd houden, tegen wat de echte concurrent van Watson is. Niet Brad Rutter of Ken Jennings, maar een zoekmachine als Google. Typ gewoon de aanwijzing in Google en kijk wat je krijgt. Net als Watson analyseert Google enorme hoeveelheden tekst, telt het woorden en houdt het bij hoe vaak woorden samen voorkomen. Net als Watson gebruikt Google meerdere benaderingen om tekst te analyseren en heeft vervolgens een soort stemschema om erachter te komen hoe zeker het is van het antwoord.
Er zijn veel verschillen tussen Watson en Google, maar als je dat doet, krijg je een goed gevoel voor het probleem. Vaak krijg je webpagina's die het antwoord ergens in zich hebben, maar het antwoord kiezen uit wat er op de pagina staat, advertenties en zo, is geen sinecure. Begrijpen wat een antwoord is, is het centrale probleem.
Interessant is dat waar Watson faalde soms leerzamer was dan wanneer het wel lukte.
Aanwijzing: Het was deze anatomische eigenaardigheid van de Amerikaanse turnster George Eyser….
Het antwoord van Ken Jennings: Een hand missen (fout)
Watsons antwoord: been (fout)
Correct antwoord: ik mis een been
Wat Watson zich niet realiseerde, was dat het woord been op zichzelf eigenlijk geen antwoord op de vraag was. Dit is gezond verstand voor mensen, omdat het been een anatomisch onderdeel is, geen anatomische eigenaardigheid, hoewel Watson zich wel realiseerde dat benen op de een of andere manier betrokken waren. Wat hier gebeurde, zou iets diepers kunnen zijn dan een simpele bug. David Ferrucci, de projectleider van Watson, schreef het falen toe aan de moeilijkheid van het woord rariteit in de vraag. Om te begrijpen wat misschien vreemd is, moet je het vergelijken met wat niet vreemd is, dat wil zeggen, wat gezond verstand is. Een probleem met de benadering van Watson is dat als een zin in zijn database verschijnt, hij niet kan zien of iemand die daar heeft gezet omdat het waar is, of omdat iemand het zo ongewoon vond dat het moest worden gezegd.
Een computer die geen gezond verstand heeft, is helaas geen eigenaardigheid. Misschien zou het zo moeten zijn.
Henry Lieberman is een onderzoekwetenschapper die werkt aan kunstmatige intelligentie bij het Media Laboratory van MIT.