AI denkt dat deze overstromingsfoto een toilet is. Door dit op te lossen, kan de respons op rampen worden verbeterd.

Ernstige overstromingen in het middenwesten. Met dank aan MIT Lincoln Laboratory

Andrew Weinert en zijn collega's waren diep gefrustreerd. Nadat orkaan Maria Puerto Rico trof, waren de onderzoekers van het Lincoln Laboratory van MIT hard aan het werk om de Federal Emergency Management Agency (FEMA) te helpen de schade te beoordelen. In de hand hadden ze de perfecte dataset: 80.000 luchtfoto's van de regio gemaakt door de Civil Air Patrol direct na de ramp.

Maar er was een probleem: er waren te veel afbeeldingen om handmatig te sorteren en commerciële beeldherkenningssystemen konden niets zinnigs identificeren. In een bijzonder flagrant voorbeeld raadde ImageNet, de gouden standaard voor beeldclassificatie, aan om een ​​beeld van een grote overstromingszone als toilet te bestempelen.

Er was een verbazingwekkende informatie-inhoud, maar het was niet toegankelijk, zegt Weinert.

Ze realiseerden zich al snel dat dit probleem niet uniek is. In elk grootschalig rampscenario kunnen teams van noodhulpverleners zoals FEMA aanzienlijke tijd en middelen besparen door de details van de omstandigheden op de grond te beoordelen voordat ze arriveren. Maar de meeste computervisiesystemen zijn getraind op normale dagelijkse beelden, dus ze kunnen geen betrouwbare relevante details in rampgebieden uitkiezen.

De realisatie dwong het team om een ​​nieuwe reeks foto's en beelden samen te stellen en te annoteren die specifiek zijn voor noodscenario's. Ze hebben de dataset vrijgegeven samen met een papier deze week in de hoop dat het in de toekomst zal worden gebruikt om computervisiesystemen te trainen.

De dataset omvat meer dan 620.000 afbeeldingen en 96,5 uur aan video met beelden uit alle 50 staten van de VS. De meeste media waren afkomstig uit overheidsdatabases of Creative Commons-video's op YouTube; een klein deel werd ook gefilmd door het personeel van Lincoln Lab zelf.

Beelden uit de dataset. Met dank aan MIT Lincoln Laboratory

Om het echt nuttig te maken voor hulpdiensten, hebben de onderzoekers rekening gehouden met verschillende noodscenario's die veelvoorkomende beeldclassificatiesystemen zouden kunnen verstoren. Ze verzamelden bijvoorbeeld beelden van auto's in overstroomd water; de meeste systemen zouden het water zien en het voertuig onmiddellijk als een boot bestempelen - gewoon als een symptoom van hun trainingsgegevens.

Ze besteedden ook veel tijd aan het uitzoeken van de beste manier om de afbeeldingen te annoteren. Ze wilden dat de annotaties de hulpdiensten een nuttige context zouden bieden voor hun missies, en ze wilden ook dat het annotatieschema eenvoudig genoeg was om datalabels snel te laten werken met minimale fouten. Dus bootsten ze de organisatiestructuur van ImageNet na, die foto's groepeert in steeds specifiekere categorieën van objecten, zoals dieren, honden en vervolgens de labrador retriever. In plaats van objectcategorieën clusterden de onderzoekers foto's op basis van steeds specifiekere kenmerken van rampen: is er schade? Ja of nee? Is er water? Ja of nee? Moet het water er zijn? Ja of nee?

Met dergelijke kwalificaties kunnen onderzoekers op het gebied van computervisie gemakkelijk de dataset doorzoeken en relevante segmenten kiezen om rampgerelateerde beeldherkenningssystemen te trainen. Die systemen zouden een hulpverlener vervolgens helpen snel beelden van nieuwe rampscenario's te verwerken om een ​​idee te krijgen van de ergste impactgebieden, de aard van de omstandigheden die ze kunnen verwachten en welke voorraden ze moeten voorbereiden op hun missie.

Weinert zegt dat het nog steeds een werk in uitvoering is, maar hij is enthousiast over het potentieel ervan. Als we een manier zouden kunnen bedenken om te zeggen: 'Dit is hoe je beeldmateriaal voor rampenbestrijding moet kwalificeren', zouden Amazon, Task Rabbit en alle andere cloudbron-entiteiten het als een industriestandaard kunnen gaan gebruiken, zegt hij, en meer gaan ontwikkelen rampbewuste herkenningssystemen.

De onderzoekers stellen de dataset nu beschikbaar aan het National Institute of Standards and Technology en zijn begonnen samen te werken met andere organisaties om competities voor beeldherkenning op te zetten rond het gebruik ervan. We zoeken naar manieren om dit in handen te krijgen van computer vision-onderzoekers, zegt Weinert.

Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.

zich verstoppen