Van GPT naar multimodale AI: inzicht in de mogelijkheden van moderne AI

Toen OpenAI in 2018 GPT (Generative Pre-trained Transformer) introduceerde, hadden weinigen buiten de AI-onderzoeksgemeenschap kunnen voorspellen hoe dramatisch het onze relatie met technologie zou veranderen. Het oorspronkelijke GPT-model, getraind op een divers corpus van internettekst, toonde verrassende mogelijkheden om coherente, contextueel relevante tekst te genereren uit eenvoudige prompts.
Wat GPT revolutionair maakte, was niet alleen de omvang (hoewel de 117 miljoen parameters destijds enorm leken), maar ook de onderliggende architectuur. Het transformermodel, geïntroduceerd door Google-onderzoekers in hun paper "Attention is All You Need", bleek opmerkelijk efficiënt in het verwerken van sequentiële data zoals tekst. In tegenstelling tot eerdere recurrente neurale netwerken die tokens één voor één verwerkten, konden transformers volledige sequenties gelijktijdig analyseren via hun zelf-aandachtsmechanisme.
Deze parallelle verwerking versnelde niet alleen de trainingstijden, maar stelde het model ook in staat om langetermijnafhankelijkheden in tekst beter vast te leggen. Plotseling kon AI "onthouden" wat alinea's geleden was genoemd en thematische consistentie behouden in langere outputs. Voor het eerst voelde door machines gegenereerde tekst echt menselijk aan.

Als GPT een proof of concept was, was GPT-2 het moment waarop het publiek het potentieel van AI begon te begrijpen. GPT-2, uitgebracht in 2019 met 1,5 miljard parameters, genereerde tekst die zo overtuigend was dat OpenAI de volledige release aanvankelijk uitstelde uit bezorgdheid over mogelijk misbruik. Het model kon coherente nieuwsartikelen schrijven, overtuigende argumenten formuleren en zelfs fictieve verhalen genereren met consistente personages en verhaallijnen.
Maar het echte keerpunt kwam met GPT-3 in 2020. Met 175 miljard parameters – meer dan 100 keer groter dan GPT-2 – vertegenwoordigde het een enorme sprong voorwaarts in mogelijkheden. Het model vertoonde wat onderzoekers "emergente vaardigheden" noemen – vaardigheden waarvoor het niet expliciet was getraind, maar die ontwikkeld waren door schaal en blootstelling aan diverse data.
Het meest opmerkelijke was misschien wel dat GPT-3 rudimentaire vaardigheden vertoonde in de vorm van "enkele pogingen om te leren". Met slechts een paar voorbeelden in de opdracht kon het zich aanpassen aan nieuwe taken zoals vertalen, samenvatten of zelfs eenvoudig coderen. De AI-sector begon te beseffen dat schaal niet alleen de prestaties stapsgewijs verbeterde, maar dat het ook fundamenteel veranderde wat deze systemen konden doen.

Hoe indrukwekkend GPT-3 ook was, het produceerde nog steeds tekst die feitelijk onjuist, bevooroordeeld of ongepast kon zijn. De volgende doorbraak ging niet over het groter maken van modellen, maar over het beter afstemmen ervan op menselijke waarden en intenties.
Daar komt Reinforcement Learning from Human Feedback (RLHF) om de hoek kijken. Deze trainingsmethode introduceert menselijke evaluatoren die de modelresultaten beoordelen, waardoor een feedbacklus ontstaat die de AI helpt te begrijpen welke reacties nuttig, waarheidsgetrouw en onschadelijk zijn. Modellen die met RLHF werden getraind, zoals ChatGPT en Claude, bleken aanzienlijk nuttiger voor alledaagse taken en verminderden tegelijkertijd de schadelijke resultaten.
RLHF markeerde een cruciale verschuiving in de AI-ontwikkelingsfilosofie. Pure voorspellingskracht was niet langer voldoende; systemen waren nodig om de nuances van menselijke waarden te begrijpen. Deze trainingsaanpak hielp modellen om adequaat te reageren op gevoelige onderwerpen, ongepaste verzoeken af te wijzen en onzekerheid te uiten in plaats van vol vertrouwen onwaarheden te verkondigen.

Terwijl tekstmodellen zich snel ontwikkelden, onderzochten onderzoekers tegelijkertijd hoe AI andere modaliteiten kon begrijpen: afbeeldingen, audio en video. Computer vision-modellen zoals DALL-E, Midjourney en Stable Diffusion ontstonden, die in staat waren om verbluffende beelden te genereren uit tekstbeschrijvingen.
Deze systemen werkten door diffusiemodellen te trainen op enorme datasets van afbeelding-tekstparen. Door de relatie tussen visuele concepten en hun tekstbeschrijvingen te leren, konden ze prompts zoals "een surrealistisch schilderij van een kat die schaakt in de stijl van Salvador Dali" omzetten in corresponderende afbeeldingen.
Op dezelfde manier werden spraakherkenningsmodellen steeds nauwkeuriger en werden tekst-naar-spraaksystemen bijna niet meer te onderscheiden van menselijke stemmen. Videogeneratie, hoewel nog in een vroeg stadium, begon veelbelovende resultaten te laten zien met systemen zoals Runway ML's Gen-2 en Google's Lumiere.
Elke modaliteit evolueerde snel, maar het bleven grotendeels afzonderlijke systemen. De volgende revolutie zou voortkomen uit het verenigen van deze mogelijkheden.

De overgang naar echte multimodale AI begon toen onderzoekers systemen ontwikkelden die meerdere soorten invoer tegelijkertijd konden verwerken en over modaliteiten heen konden redeneren. Modellen zoals GPT-4 Vision, Claude Sonnet en Gemini kunnen nu afbeeldingen naast tekst analyseren, wat een veel natuurlijker interactieparadigma creëert.
Deze systemen kunnen beschrijven wat ze in afbeeldingen zien, tekst uit documenten halen, diagrammen en grafieken analyseren en zelfs visuele puzzels oplossen. Een gebruiker kan een foto uploaden van ingrediënten in zijn koelkast en vragen: "Wat kan ik hiermee koken?" De AI identificeert vervolgens de ingrediënten en stelt passende recepten voor.
Wat echte multimodale systemen onderscheidt van het simpelweg verbinden van afzonderlijke modellen, is hun uniforme begrip. Wanneer je naar een element in een afbeelding vraagt, voert het systeem niet alleen aparte beeldherkenning en vervolgens tekstgeneratie uit – het ontwikkelt een geïntegreerd begrip over modaliteiten heen. Dit maakt geavanceerdere redeneringen mogelijk, zoals uitleggen waarom een meme grappig is of inconsistenties tussen tekst en afbeeldingen identificeren.

Het creëren van effectieve multimodale AI vereist het oplossen van complexe technische uitdagingen. Verschillende datatypen hebben fundamenteel verschillende structuren: afbeeldingen zijn ruimtelijke rasters van pixels, audio bestaat uit golfvormen en tekst bestaat uit sequentiële tokens. Hoe creëer je een uniforme representatie die de betekenis van deze uiteenlopende formaten vastlegt?
Moderne multimodale architecturen gebruiken gespecialiseerde encoders voor elke modaliteit die de ruwe data transformeren naar een gedeelde representatieve ruimte. Een afbeelding kan bijvoorbeeld worden verwerkt door een vision transformer (ViT) die deze opsplitst in patches en deze omzet in embeddings, terwijl tekst afzonderlijk wordt getokeniseerd en ingebed. Deze verschillende embeddings worden vervolgens geprojecteerd in een gemeenschappelijke ruimte waar het kernmodel ze samen kan verwerken.
Deze "toren-en-brug"-architectuur stelt modellen in staat om cross-modale relaties te leren - door te begrijpen hoe concepten in taal corresponderen met visuele kenmerken of audiopatronen. Wanneer GPT-4 Vision een herkenningspunt op een foto herkent, kan het die visuele representatie koppelen aan zijn tekstuele kennis over de geschiedenis, betekenis en context van de locatie.

Het trainingsproces omvat doorgaans enorme datasets met gepaarde content: afbeeldingen met bijschriften, video's met transcripties en andere afgestemde multimodale data. Door van deze afstemmingen te leren, bouwt het model een interne representatie op waarin gerelateerde concepten over modaliteiten heen dicht bij elkaar in de vectorruimte worden afgebeeld.

De praktische toepassingen van multimodale AI transformeren sectoren over de hele linie:
In de gezondheidszorg kunnen systemen medische beelden analyseren naast patiëntendossiers en symptomen ter ondersteuning van de diagnose. Een arts kan een röntgenfoto uploaden en specifieke vragen stellen over mogelijke problemen, en zo inzichten verkrijgen die visuele analyse combineren met medische kennis.
Wat betreft toegankelijkheid helpt multimodale AI blinde gebruikers visuele content te begrijpen door middel van gedetailleerde beschrijvingen, en ondersteunt het dove gebruikers door realtime transcriptie en vertaling van gesproken content te bieden.
In het onderwijs creëren deze systemen interactieve leerervaringen waarbij studenten vragen kunnen stellen over diagrammen, historische foto's of wiskundige vergelijkingen, en uitleg krijgen die is afgestemd op hun leerstijl.
Contentmakers gebruiken multimodale AI om aanvullende middelen te genereren – door artikelen te schrijven en bijpassende illustraties te maken, of educatieve video's te produceren met gesynchroniseerde beelden en gesproken tekst.
E-commerceplatforms implementeren visuele zoekfunctie waarbij klanten een afbeelding kunnen uploaden van een product dat ze leuk vinden en vergelijkbare items kunnen vinden, terwijl de AI de belangrijkste kenmerken beschrijft die ermee worden vergeleken.
Misschien wel het belangrijkste is dat multimodale systemen natuurlijkere paradigma's voor mens-computerinteractie creëren. In plaats van onze communicatie aan te passen aan rigide computerinterfaces, kunnen we steeds meer op dezelfde manier met technologie omgaan als waarop we van nature met elkaar communiceren: via een vloeiende combinatie van woorden, beelden, geluiden en gebaren.

Ondanks hun indrukwekkende mogelijkheden hebben de huidige multimodale AI-systemen aanzienlijke beperkingen en roepen ze belangrijke ethische vragen op.

Visueel begrip blijft oppervlakkig in vergelijking met menselijke waarneming. Hoewel AI objecten kan identificeren en scènes kan beschrijven, mist het vaak subtiele visuele aanwijzingen, ruimtelijke relaties en culturele context die mensen direct herkennen. Vraag een multimodale AI om een complex technisch diagram uit te leggen of lichaamstaal in een foto te interpreteren, en de beperkingen worden al snel duidelijk.
Deze systemen erven ook de vooroordelen in hun trainingsdata en versterken deze soms zelfs. Gezichtsherkenningscomponenten presteren mogelijk slechter bij bepaalde demografische groepen, of visueel redeneren kan culturele vooroordelen weerspiegelen in de manier waarop afbeeldingen worden geïnterpreteerd.
De privacyproblemen nemen toe bij multimodale systemen, omdat ze mogelijk gevoelige visuele en audiogegevens verwerken. Een gebruiker kan een afbeelding delen zonder te beseffen dat deze persoonlijke informatie op de achtergrond bevat die de AI kan herkennen en mogelijk in zijn reacties kan verwerken.
Het meest urgente probleem is misschien wel de mogelijkheid van multimodale AI om overtuigende synthetische media te creëren – deepfakes die realistische afbeeldingen, video en audio combineren om overtuigende maar gefabriceerde content te creëren. Naarmate deze technologieën toegankelijker worden, wordt de maatschappij geconfronteerd met dringende vragen over de authenticiteit van media en digitale geletterdheid.

Vooruitkijkend vertoont de evolutie van AI-mogelijkheden geen tekenen van vertraging. De volgende stap zou wel eens echt multisensorische systemen kunnen zijn die niet alleen zicht en geluid integreren, maar ook aanraking, geur en smaak door middel van sensorintegratie en geavanceerde simulatie.
Opkomend onderzoek richt zich op belichaamde AI – systemen verbonden met robotplatforms die fysiek met de wereld kunnen interacteren en perceptie met actie kunnen combineren. Een robot uitgerust met multimodale AI zou objecten visueel kunnen herkennen, verbale instructies kunnen begrijpen en zijn omgeving dienovereenkomstig kunnen manipuleren.
We zien ook vroege studies naar AI-systemen die een permanent geheugen kunnen behouden en contextueel begrip kunnen opbouwen gedurende langdurige interacties. In plaats van elk gesprek als geïsoleerd te beschouwen, zouden deze systemen een continue relatie met gebruikers kunnen ontwikkelen, eerdere interacties kunnen onthouden en in de loop van de tijd voorkeuren kunnen leren.
De meest transformerende ontwikkeling zullen misschien wel AI-systemen zijn die complexe redeneerketens over modaliteiten heen kunnen uitvoeren – een mechanisch probleem kunnen zien, kunnen redeneren over natuurkundige principes en oplossingen kunnen voorstellen die visueel, tekstueel en ruimtelijk inzicht integreren.
Naarmate deze technologieën zich verder ontwikkelen, vervagen de grenzen tussen gespecialiseerde hulpmiddelen en algemene assistenten steeds meer. Dit kan leiden tot AI-systemen die op flexibele wijze vrijwel elke informatieverwerkingstaak kunnen uitvoeren die een mens maar kan beschrijven.

De overgang van tekst-only GPT-modellen naar de geavanceerde multimodale systemen van vandaag de dag vertegenwoordigt een van de snelste technologische evoluties in de menselijke geschiedenis. In slechts vijf jaar tijd heeft AI zich getransformeerd van gespecialiseerde onderzoekstools naar breed toegankelijke systemen waarmee miljoenen mensen dagelijks communiceren.
Deze versnelling vertoont geen tekenen van vertraging en we bevinden ons waarschijnlijk nog in de beginfase van het AI-verhaal. Naarmate deze systemen zich verder ontwikkelen, zullen ze de manier waarop we werken, leren, creëren en communiceren veranderen.
Voor ontwikkelaars opent het multimodale paradigma nieuwe mogelijkheden voor het creëren van intuïtievere en toegankelijkere interfaces. Voor bedrijven bieden deze technologieën mogelijkheden om complexe workflows te automatiseren en de klantervaring te verbeteren. Voor individuen biedt multimodale AI krachtige tools voor creativiteit, productiviteit en toegang tot informatie.
Toch vereist het navigeren door deze toekomst een zorgvuldige afweging van zowel mogelijkheden als beperkingen. De meest effectieve toepassingen zullen die zijn die de sterke punten van AI benutten en tegelijkertijd rekening houden met de zwakke punten, waardoor samenwerking tussen mens en AI ontstaat die onze collectieve mogelijkheden versterkt.

De evolutie van GPT naar multimodale AI is niet alleen een technische prestatie – het is een fundamentele verandering in onze relatie met technologie. We gaan van computers die opdrachten uitvoeren naar assistenten die context begrijpen, betekenis interpreteren over modaliteiten heen en omgaan met de rijkdom en ambiguïteit van menselijke communicatie. Deze transitie zal zich de komende jaren op verrassende en transformerende wijze blijven ontvouwen.