Krachtige, goedkope machine learning-infrastructuur versnelt innovatie in de cloud

Geleverd door Amazon-webservices

Kunstmatige intelligentie en machine learning (AI en ML) zijn sleuteltechnologieën die organisaties helpen nieuwe manieren te ontwikkelen om de verkoop te verhogen, kosten te verlagen, bedrijfsprocessen te stroomlijnen en hun klanten beter te begrijpen. AWS helpt klanten hun AI/ML-adoptie te versnellen door op aanvraag krachtige rekenkracht, snelle netwerken en schaalbare, hoogwaardige opslagopties te leveren voor elk machine learning-project. Dit verlaagt de toegangsdrempel voor organisaties die de cloud willen gebruiken om hun ML-applicaties te schalen.

Ontwikkelaars en datawetenschappers verleggen de grenzen van technologie en passen steeds vaker deep learning toe, een soort machine learning op basis van neurale netwerkalgoritmen. Deze deep learning-modellen zijn groter en geavanceerder, wat resulteert in stijgende kosten voor het uitvoeren van de onderliggende infrastructuur om deze modellen te trainen en in te zetten.

Om klanten in staat te stellen hun AI/ML-transformatie te versnellen, bouwt AWS hoogwaardige en goedkope machine learning-chips. AWS Inferentia is de eerste machine learning-chip die door AWS van de grond af is gebouwd voor de goedkoopste machine learning-inferentie in de cloud. Amazon EC2 Inf1-instanties aangedreven door Inferentia leveren zelfs 2,3x hogere prestaties en tot 70% lagere kosten voor machine learning-inferentie dan de huidige generatie GPU-gebaseerde EC2-instanties. AWS Trainium is de tweede machine learning-chip van AWS die speciaal is gebouwd voor het trainen van deep learning-modellen en eind 2021 beschikbaar zal zijn.

Klanten in verschillende sectoren hebben hun ML-applicaties in productie op Inferentia geïmplementeerd en hebben aanzienlijke prestatieverbeteringen en kostenbesparingen gezien. Het klantenondersteuningsplatform van AirBnB maakt bijvoorbeeld intelligente, schaalbare en uitzonderlijke service-ervaringen mogelijk voor de gemeenschap van miljoenen hosts en gasten over de hele wereld. Het gebruikte op Inferentia gebaseerde EC2 Inf1-instanties om NLP-modellen (Natural Language Processing) te implementeren die de chatbots ondersteunden. Dit leidde tot een 2x verbetering van de prestaties uit de doos ten opzichte van GPU-gebaseerde instanties.

Met deze innovaties in silicium stelt AWS klanten in staat om hun deep learning-modellen gemakkelijk in productie te trainen en uit te voeren met hoge prestaties en doorvoer tegen aanzienlijk lagere kosten.

Machine learning daagt snelheidsverschuiving naar cloudgebaseerde infrastructuur uit

Machine learning is een iteratief proces waarbij teams snel applicaties moeten bouwen, trainen en implementeren, en vaak moeten trainen, bijscholen en experimenteren om de voorspellingsnauwkeurigheid van de modellen te vergroten. Bij het implementeren van getrainde modellen in hun bedrijfsapplicaties, moeten organisaties hun applicaties ook schalen om nieuwe gebruikers over de hele wereld te bedienen. Ze moeten in staat zijn om meerdere verzoeken die tegelijkertijd binnenkomen te behandelen met een bijna realtime latentie om een ​​superieure gebruikerservaring te garanderen.

Opkomende use-cases zoals objectdetectie, natuurlijke taalverwerking (NLP), beeldclassificatie, conversatie-AI en tijdreeksgegevens zijn afhankelijk van deep learning-technologie. Deep learning-modellen nemen exponentieel toe in omvang en complexiteit, en gaan van miljoenen parameters naar miljarden in een kwestie van een paar jaar.

Het trainen en inzetten van deze complexe en geavanceerde modellen vertaalt zich in aanzienlijke infrastructuurkosten. De kosten kunnen snel oplopen tot onbetaalbaar hoog als organisaties hun applicaties opschalen om bijna realtime ervaringen te leveren aan hun gebruikers en klanten.

Dit is waar cloudgebaseerde machine learning-infrastructuurservices kunnen helpen. De cloud biedt on-demand toegang tot rekenkracht, krachtige netwerken en grote gegevensopslag, naadloos gecombineerd met ML-bewerkingen en AI-services van een hoger niveau, zodat organisaties onmiddellijk aan de slag kunnen en hun AI/ML-initiatieven kunnen schalen.

Hoe AWS klanten helpt hun AI/ML-transformatie te versnellen

AWS Inferentia en AWS Trainium hebben tot doel machine learning te democratiseren en toegankelijk te maken voor ontwikkelaars, ongeacht ervaring en organisatiegrootte. Het ontwerp van Inferentia is geoptimaliseerd voor hoge prestaties, doorvoer en lage latentie, waardoor het ideaal is voor het op grote schaal implementeren van ML-inferentie.

Elke AWS Inferentia-chip bevat vier NeuronCores die een krachtige systolische matrix-matrix-multi-engine implementeren, die typische deep learning-bewerkingen, zoals convolutie en transformatoren, enorm versnelt. NeuronCores zijn ook uitgerust met een grote on-chip cache, die helpt om toegang tot extern geheugen te verminderen, latentie te verminderen en de doorvoer te vergroten.

AWS Neuron, de softwareontwikkelingskit voor Inferentia, ondersteunt native toonaangevende ML-frameworks, zoals TensorFlow en PyTorch. Ontwikkelaars kunnen dezelfde frameworks en tools voor levenscyclusontwikkeling blijven gebruiken die ze kennen en waar ze van houden. Voor veel van hun getrainde modellen kunnen ze deze compileren en implementeren op Inferentia door slechts een enkele regel code te wijzigen, zonder extra wijzigingen in de toepassingscode.

Het resultaat is een krachtige inferentie-implementatie, die gemakkelijk kan worden geschaald terwijl de kosten onder controle blijven.

Sprinklr, een software-as-a-service-bedrijf, heeft een AI-gedreven uniform beheerplatform voor klantervaringen waarmee bedrijven realtime klantfeedback via meerdere kanalen kunnen verzamelen en vertalen in bruikbare inzichten. Dit resulteert in proactieve probleemoplossing, verbeterde productontwikkeling, verbeterde contentmarketing en betere klantenservice. Sprinklr gebruikte Inferentia om zijn NLP en sommige van zijn computer vision-modellen in te zetten en zag aanzienlijke prestatieverbeteringen.

Verschillende Amazon-services zetten hun machine learning-modellen ook in op Inferentia.

Amazon Prime Video gebruikt computer vision ML-modellen om de videokwaliteit van live-evenementen te analyseren om een ​​optimale kijkervaring voor Prime Video-leden te garanderen. Het implementeerde zijn ML-modellen voor beeldclassificatie op EC2 Inf1-instanties en zag een 4x verbetering van de prestaties en tot 40% kostenbesparingen in vergelijking met GPU-gebaseerde instanties.

Een ander voorbeeld is de op AI en ML gebaseerde intelligentie van Amazon Alexa, mogelijk gemaakt door Amazon Web Services, die momenteel beschikbaar is op meer dan 100 miljoen apparaten. Alexa's belofte aan klanten is dat het altijd slimmer, gemoedelijker, proactiever en zelfs leuker wordt. Om die belofte waar te maken, zijn continue verbeteringen in reactietijden en infrastructuurkosten voor machine learning nodig. Door Alexa's tekst-naar-spraak ML-modellen op Inf1-instanties in te zetten, kon het de inferentielatentie met 25% en de kosten per gevolgtrekking met 30% verlagen om de service-ervaring te verbeteren voor tientallen miljoenen klanten die Alexa elke maand gebruiken.

Ontketenen van nieuwe machine learning-mogelijkheden in de cloud

Terwijl bedrijven zich haasten om hun bedrijf toekomstbestendig te maken door de beste digitale producten en diensten mogelijk te maken, kan geen enkele organisatie achterblijven bij het inzetten van geavanceerde machine learning-modellen om hun klantervaringen te helpen innoveren. De afgelopen jaren is de toepasbaarheid van machine learning enorm toegenomen voor verschillende gebruikssituaties, van personalisatie en churn-voorspelling tot fraudedetectie en supply chain-prognoses.

Gelukkig ontketent de machine learning-infrastructuur in de cloud nieuwe mogelijkheden die voorheen niet mogelijk waren, waardoor deze veel toegankelijker wordt voor niet-deskundige beoefenaars. Daarom gebruiken AWS-klanten al Inferentia-aangedreven Amazon EC2 Inf1-instanties om de intelligentie achter hun aanbevelingsengines en chatbots te leveren en om bruikbare inzichten te verkrijgen uit feedback van klanten.

Met AWS cloudgebaseerde machine learning-infrastructuuropties die geschikt zijn voor verschillende vaardigheidsniveaus, is het duidelijk dat elke organisatie innovatie kan versnellen en de volledige levenscyclus van machine learning op schaal kan omarmen. Naarmate machine learning steeds meer alomtegenwoordig wordt, zijn organisaties nu in staat om de klantervaring - en de manier waarop ze zaken doen - fundamenteel te transformeren met een kosteneffectieve, hoogwaardige cloudgebaseerde machine learning-infrastructuur.

Lees meer over hoe het machine learning-platform van AWS uw bedrijf kan helpen innoveren hier .

Deze inhoud is geproduceerd door AWS. Het is niet geschreven door de redactie van MIT Technology Review.

zich verstoppen