211service.com
Taalmodellen zoals GPT-3 kunnen een nieuw type zoekmachine inluiden
Pixabay
In 1998 publiceerden een paar afgestudeerde studenten van Stanford een paper waarin ze een nieuw soort zoekmachine : In dit artikel presenteren we Google, een prototype van een grootschalige zoekmachine die intensief gebruik maakt van de structuur die aanwezig is in hypertekst. Google is ontworpen om het web efficiënt te crawlen en te indexeren en veel bevredigendere zoekresultaten te produceren dan bestaande systemen.
Verwant verhaal
Deze betweterige AI leert door non-stop het hele web te lezen Diffbot bouwt de grootste kennisgrafiek ooit door beeldherkenning en natuurlijke taalverwerking toe te passen op miljarden webpagina's.De belangrijkste innovatie was een algoritme genaamd PageRank, dat zoekresultaten rangschikte door te berekenen hoe relevant ze waren voor de zoekopdracht van een gebruiker op basis van hun links naar andere pagina's op internet. Dankzij PageRank werd Google de toegangspoort tot internet en bouwden Sergey Brin en Larry Page een van de grootste bedrijven ter wereld.
Nu heeft een team van Google-onderzoekers gepubliceerd een voorstel voor een radicaal herontwerp die de rangordebenadering weggooit en vervangt door een enkel groot AI-taalmodel - een toekomstige versie van BERT of GPT-3 . Het idee is dat gebruikers, in plaats van te zoeken naar informatie in een enorme lijst met webpagina's, vragen zouden stellen en dat een op die pagina's getraind taalmodel ze direct zou beantwoorden. De aanpak kan niet alleen veranderen hoe zoekmachines werken, maar ook hoe we ermee omgaan.
Veel problemen met bestaande taalmodellen moeten eerst worden opgelost. Om te beginnen kunnen deze AI's soms vooringenomen en giftige reacties op vragen genereren - een probleem dat onderzoekers bij Google en elders hebben heb erop gewezen .
PageRank heroverwegen
Zoekmachines zijn sneller en nauwkeuriger geworden, ook al is het web enorm gegroeid. AI wordt nu gebruikt om resultaten te rangschikken, en Google gebruikt BERT om zoekopdrachten te begrijpen beter. Maar ondanks deze aanpassingen werken alle reguliere zoekmachines nog steeds op dezelfde manier als 20 jaar geleden: webpagina's worden geïndexeerd door crawlers (software die het web non-stop leest en een lijst bijhoudt van alles wat het vindt), resultaten die overeenkomen met de zoekopdracht van een gebruiker worden verzameld uit deze index, en de resultaten worden gerangschikt.
Deze blauwdruk voor het indexeren en vervolgens rangschikken heeft de tand des tijds doorstaan en is zelden ter discussie gesteld of serieus heroverwogen, schrijven Donald Metzler en zijn collega's bij Google Research. (Metzler heeft een verzoek om commentaar afgewezen.)
Het probleem is dat zelfs de beste zoekmachines vandaag de dag nog steeds reageren met een lijst van documenten die de gevraagde informatie bevatten, niet met de informatie zelf. Zoekmachines zijn ook niet goed in het reageren op vragen waarvoor antwoorden uit meerdere bronnen nodig zijn. Het is alsof je je arts om advies hebt gevraagd en een lijst met te lezen artikelen hebt gekregen in plaats van een duidelijk antwoord.
Metzler en zijn collega's zijn geïnteresseerd in een zoekmachine die zich gedraagt als een menselijke expert. Het moet antwoorden produceren in natuurlijke taal, gesynthetiseerd uit meer dan één document, en zijn antwoorden ondersteunen met verwijzingen naar ondersteunend bewijs, zoals Wikipedia-artikelen willen doen.
Verwant verhaal
Waarom GPT-3 op dit moment de beste en slechtste van AI is Open AI's taal AI imponeerde het publiek met zijn schijnbare beheersing van het Engels - maar is het allemaal een illusie?
Grote taalmodellen helpen ons daarbij. GPT-3 is getraind op het grootste deel van internet en honderden boeken en haalt informatie uit meerdere bronnen om vragen in natuurlijke taal te beantwoorden. Het probleem is dat het die bronnen niet bijhoudt en geen bewijs kan leveren voor zijn antwoorden. Er is geen manier om te zeggen of GPT-3 betrouwbare informatie of desinformatie naprat - of gewoon onzin van eigen makelij spuwt.
Metzler en zijn collega's noemen taalmodellen dilettanten: men denkt dat ze veel weten, maar hun kennis zit diep. De oplossing, beweren ze, is om toekomstige BERT's en GPT-3's te bouwen en te trainen om vast te leggen waar hun woorden vandaan komen. Dergelijke modellen kunnen dit nog niet, maar het is in principe mogelijk en er wordt al vroeg in die richting gewerkt.
Er is tientallen jaren vooruitgang geboekt op verschillende zoekgebieden, van het beantwoorden van vragen tot het samenvatten van documenten tot het structureren van informatie, zegt Ziqi Zhang van de Universiteit van Sheffield, VK, die onderzoek doet naar het ophalen van informatie op internet. Maar geen van deze technologieën heeft het zoeken gereviseerd omdat ze elk specifieke problemen aanpakken en niet generaliseerbaar zijn. Het opwindende uitgangspunt van dit artikel is dat grote taalmodellen al deze dingen tegelijkertijd kunnen doen, zegt hij.
Toch merkt Zhang op dat taalmodellen niet goed presteren bij technische of specialistische onderwerpen, omdat er minder voorbeelden zijn in de tekst waarin ze zijn getraind. Er zijn waarschijnlijk honderden keren meer gegevens over e-commerce op het web dan gegevens over kwantummechanica, zegt hij. Taalmodellen zijn tegenwoordig ook scheef in de richting van het Engels, waardoor niet-Engelse delen van het web onvoldoende worden bediend.
Hanna Hajishirzi, die natuurlijke taalverwerking studeert aan de Universiteit van Washington, juicht het idee toe, maar waarschuwt dat er in de praktijk problemen zullen ontstaan. 'Ik geloof dat grote taalmodellen erg belangrijk zijn en mogelijk de toekomst van zoekmachines, maar ze vereisen veel geheugen en rekenkracht', zegt ze. 'Ik denk niet dat ze indexering zouden vervangen.'
Toch is Zhang enthousiast over de mogelijkheden. Dat was in het verleden niet mogelijk, omdat grote taalmodellen pas recent van de grond kwamen, zegt hij. Als het werkt, zou het onze zoekervaring veranderen.
Update: we hebben de tekst gewijzigd om de problemen met bestaande grote taalmodellen duidelijker weer te geven.