Deze betweterige AI leert door non-stop het hele web te lezen

mevrouw Tech

Terug in juli, OpenAI's nieuwste taalmodel, GPT-3 , verbluft door zijn vermogen om alinea's te maken die eruitzien alsof ze door een mens zouden kunnen zijn geschreven. Mensen begonnen te laten zien hoe GPT-3 ook code automatisch kon aanvullen of spaties in spreadsheets kon invullen.

In een voorbeeld tweette Twitter-medewerker Paul Katsen de spreadsheetfunctie om ze allemaal te bepalen, waarin: GPT-3 vult kolommen in op zichzelf, het verzamelen van gegevens voor Amerikaanse staten: de bevolking van Michigan is 10,3 miljoen, Alaska werd een staat in 1906, enzovoort.

Behalve dat GPT-3 een beetje een bullshitter kan zijn. De bevolking van Michigan is nooit 10,3 miljoen geweest en Alaska werd in 1959 een staat.

Taalmodellen zoals GPT-3 zijn: geweldige nabootsers , maar ze hebben weinig besef van wat ze eigenlijk zeggen. Ze zijn erg goed in het genereren van verhalen over eenhoorns, zegt Mike Tung, CEO van Stanford startup Diffbot. Maar ze zijn niet getraind om feitelijk te zijn.

Dit is een probleem als we willen dat AI's betrouwbaar zijn. Daarom kiest Diffbot voor een andere aanpak. Het bouwt een AI die elke pagina op het hele openbare web leest, in meerdere talen, en zoveel mogelijk feiten uit die pagina's haalt als het kan.

Net als GPT-3 leert het systeem van Diffbot door enorme hoeveelheden door mensen geschreven tekst op te zuigen die online zijn gevonden. Maar in plaats van die gegevens te gebruiken om een ​​taalmodel te trainen, verandert Diffbot wat het leest in een reeks driedelige feiten die het ene met het andere relateren: onderwerp, werkwoord, object.

Verwijzend naar mijn bio, leert Diffbot bijvoorbeeld dat Will Douglas Heaven een journalist is; Will Douglas Heaven werkt bij MIT Technology Review; MIT Technology Review is een mediabedrijf; enzovoorts. Elk van deze factoids wordt samengevoegd met miljarden anderen in een uitgestrekt, onderling verbonden netwerk van feiten. Dit staat bekend als een kennisgrafiek.

Kennisgrafieken zijn niet nieuw. Ze bestaan ​​al tientallen jaren en waren een fundamenteel concept in het vroege AI-onderzoek. Maar het bouwen en onderhouden van kennisgrafieken gebeurde meestal met de hand, wat moeilijk is. Dit weerhield Tim Berners-Lee er ook van om te beseffen wat hij het semantische web noemde, dat informatie zou bevatten voor zowel machines als mensen, zodat bots onze vluchten konden boeken, onze boodschappen konden doen of slimmere antwoorden op vragen konden geven dan zoekmachines.

Een paar jaar geleden begon Google ook kennisgrafieken te gebruiken. Zoek naar Katy Perry en je krijgt een vak naast de belangrijkste zoekresultaten waarin staat dat Katy Perry een Amerikaanse singer-songwriter is met muziek die beschikbaar is op YouTube, Spotify en Deezer. Je kunt in één oogopslag zien dat ze getrouwd is met Orlando Bloom, 35 is en 125 miljoen dollar waard is, enzovoort. In plaats van u een lijst met links naar pagina's over Katy Perry te geven, geeft Google u een reeks feiten over haar uit de kennisgrafiek.

Maar Google doet dit alleen voor de meest populaire zoektermen. Diffbot wil het voor alles doen. Door het bouwproces volledig te automatiseren, heeft Diffbot de grootste kennisgrafiek ooit kunnen bouwen.

Naast Google en Microsoft is het een van de slechts drie Amerikaanse bedrijven die het hele openbare web doorzoeken. Het is absoluut logisch om het web te doorzoeken, zegt Victoria Lin, een onderzoekswetenschapper bij Salesforce die werkt aan natuurlijke taalverwerking en kennisrepresentatie. Anders kan veel menselijke inspanning worden gestoken in het maken van een grote kennisbasis. Heiko Paulheim van de Universiteit van Mannheim in Duitsland is het ermee eens: automatisering is de enige manier om grootschalige kennisgrafieken te bouwen.

Supersurfer

Om de feiten te verzamelen, leest de AI van Diffbot het web zoals een mens zou doen, maar veel sneller. Met behulp van een supercharged versie van de Chrome-browser, bekijkt de AI de onbewerkte pixels van een webpagina en gebruikt beeldherkenningsalgoritmen om de pagina te categoriseren in een van de 20 verschillende typen, waaronder video, afbeelding, artikel, evenement en discussiethread . Vervolgens identificeert het belangrijke elementen op de pagina, zoals kop, auteur, productbeschrijving of prijs, en gebruikt NLP om feiten uit elke tekst te extraheren.

Elke driedelige factoid wordt toegevoegd aan de kennisgrafiek. Diffbot haalt feiten uit pagina's die in elke taal zijn geschreven, wat betekent dat het vragen over Katy Perry kan beantwoorden, bijvoorbeeld door gebruik te maken van feiten uit artikelen in het Chinees of Arabisch, zelfs als ze de term Katy Perry niet bevatten.

Surfen op het web als een mens laat de AI dezelfde feiten zien als wij. Het betekent ook dat het heeft moeten leren navigeren op het web zoals wij. De AI moet naar beneden scrollen, schakelen tussen tabbladen en pop-ups wegklikken. De AI moet het web als een videogame spelen om de pagina's te ervaren, zegt Tung.

Diffbot doorzoekt het web non-stop en herbouwt zijn kennisgrafiek elke vier tot vijf dagen. Volgens Tung voegt de AI elke maand 100 miljoen tot 150 miljoen entiteiten toe naarmate nieuwe mensen online verschijnen, bedrijven worden opgericht en producten worden gelanceerd. Het gebruikt meer algoritmen voor machine learning om nieuwe feiten met oude te versmelten, nieuwe verbanden te creëren of verouderde te overschrijven. Diffbot moet nieuwe hardware aan zijn datacenter toevoegen naarmate de kennisgrafiek groeit.

Onderzoekers hebben gratis toegang tot de kennisgrafiek van Diffbot. Maar Diffbot heeft ook zo'n 400 betalende klanten. De zoekmachine DuckDuckGo gebruikt het om zijn eigen Google-achtige dozen te genereren. Snapchat gebruikt het om hoogtepunten van nieuwspagina's te extraheren. De populaire weddingplanner-app Zola gebruikt het om mensen te helpen trouwlijsten te maken, afbeeldingen en prijzen binnen te halen. NASDAQ, dat informatie geeft over de aandelenmarkt, gebruikt het voor financieel onderzoek.

nep schoenen

Adidas en Nike gebruiken het zelfs om op internet naar namaakschoenen te zoeken. Een zoekmachine retourneert een lange lijst met sites die Nike trainers noemen. Maar Diffbot laat deze bedrijven zoeken naar sites die hun schoenen daadwerkelijk verkopen, in plaats van er alleen maar over te praten.

Voorlopig moeten deze bedrijven met Diffbot communiceren via code. Maar Tung is van plan een interface in natuurlijke taal toe te voegen. Uiteindelijk wil hij bouwen wat hij een universeel factoid-systeem voor het beantwoorden van vragen noemt: een AI die bijna alles kan beantwoorden wat je hem vraagt, met bronnen om zijn antwoord te staven.

Tung en Lin zijn het erover eens dat dit soort AI niet alleen met taalmodellen kan worden gebouwd. Maar het zou nog beter zijn om de technologieën te combineren en een taalmodel als GPT-3 te gebruiken om een ​​mensachtige front-end te maken voor een betweterige bot.

Toch is zelfs een AI die de feiten op een rij heeft niet per se slim. We proberen niet te definiëren wat intelligentie is, of iets dergelijks, zegt Tung. We proberen gewoon iets nuttigs te bouwen.

zich verstoppen