Wist je dat als je een fan bent van Star Wars, er in je hersenen neuronen kunnen zijn die alleen reageren op personages uit die films? Ook interessant is dat sommige soorten “kunstmatige hersenen” die wetenschappers met computers maken (zogenaamde “artificiële neurale netwerken”) ook spontaan dergelijke neuronen ontwikkelen. Wat vertelt dit ons (en wat niet) over de werking van het echte brein? En wat heeft het met taal te maken?
Menselijke taal wordt mogelijk gemaakt door ons vermogen om concepten te creëren – dat wil zeggen, het vastleggen van betekenisvolle momentopnamen die ons helpen de wereld om ons heen te structureren. Pas als we een bepaald concept kunnen isoleren, kunnen we het een naam geven. In het begin kan het je bijvoorbeeld verbazen als de ene bestuurder zó boos wordt op de andere dat hij plots roekeloos en agressief begint te rijden. Nadat je je realiseert dat het eigenlijk veel voorkomend gedrag is, kun je erover na gaan denken als een ‘ding’ – dit is dus het “concept”. Dan kun je het dus ook een naam geven, zoals bijvoorbeeld verkeerswoede (“road rage” in het Engels). Het geven van het label helpt je het concept te behouden en later te verrijken met nieuwe ervaringen. Vanaf nu kun je ernaar verwijzen als je met je vrienden praat, zonder dat je alle voorbeelden hoeft aan te halen die nodig zijn om het te begrijpen. Het nieuwe concept wordt dan ook je eigen steunpilaar bij het denken: je hoeft je geest niet bezig te houden met het “bedenken van verkeerswoede” om je af te vragen waarom mensen soms zo boos worden in de auto. Je hoeft niet eens zelf een auto te kunnen besturen om dit concept van anderen te leren (en alle informatie die ermee samenhangt). Zonder concepten zouden wij, homo (mens) zijn, maar niet sapiens (denkend). Wetenschappers zijn van mening dat het vermogen om nieuwe namen te creëren het belangrijkste ingrediënt is dat onze taalvaardigheid onderscheidt van die van andere soorten (apen kunnen bijvoorbeeld worden geleerd gebarentaal te gebruiken, maar in tegenstelling tot kinderen creëren ze nooit spontaan nieuwe tekens en zijn ze beperkt tot het repertoire van tekens dat hen door mensen is aangeleerd). Maar het is heel goed mogelijk dat niet alleen het vermogen om nieuwe namen te geven, maar ook het vermogen om te conceptualiseren (met andere woorden, concepten te isoleren), aan de basis ligt voor de menselijke taalvaardigheid.
Omdat concepten zo cruciaal zijn, was het opwindend nieuws toen wetenschappers (in het begin van het millennium) neuronen in het menselijk brein ontdekten die alleen werden geactiveerd door specifieke mensen, plaatsen en objecten. Deze neuronen werden “Jennifer Aniston” neuronen genoemd, genoemd naar een specifiek neuron dat een merkwaardige affiniteit toonde met de Amerikaanse actrice en alleen vuurde wanneer het haar foto vertoond kreeg. Belangrijk is dat dergelijke “concept-neuronen” (zoals ze nu worden genoemd) niet alleen bij bepaalde foto’s consequent vuren. Een ander neuron vuurde bijvoorbeeld toen het werd gepresenteerd met de Amerikaanse actrice Halle Berry. Het neuron reageerde ook op haar foto’s toen ze verkleed was als “Catwoman” (echter niet op een andere actrice die ook verkleed was als Catwoman). Het neuron reageerde ook op potloodschetsen en karikaturen van haar, en zelfs als HALLE BERRY gewoon in letters uitgeschreven was. Een dergelijke gevoeligheid die zich uitstrekt over verschillende modaliteiten, zoals tekst en afbeeldingen, laat zien dat deze neuronen echt abstract lijken te zijn – ze reageren dus op het concept, ongeacht hoe het wordt gepresenteerd. Ze negeren alle details (bijvoorbeeld de actrice zelf) en focussen op het deel dat invariant is, het kernconcept van de persoon. Een andere interessante eigenschap van deze neuronen is dat ze pas heel laat “vuren”, ongeveer 300 ms nadat een foto wordt gepresenteerd en dat is best lang op de “neurale tijdschaal”. Dit suggereert dat de visuele informatie een behoorlijk uitgebreide verwerking in de hersenen moet ondergaan voordat deze kan worden gedestilleerd tot het kale concept.
More recently it was found that an artificial neural network architecture—called CLIP—also seems to produce concept neurons. Given a large database of pictures (a cat on a sofa) and short descriptions (e.g. “kitty is sleepy OMG SO SWEET!”), these networks were trained to match the two. Thus, the network had to learn both about language and about recognizing pictures. At each iteration of learning, these networks were modified a tiny bit to learn from their mistakes and produce better responses next time. When a team of computer scientists gathered to test the artificial network after it was fully trained, it turned out that one of the highest layers of the network consists of neurons that resemble concept neurons in the human brain. For example, one neuron seemed specialized in lemons. It reacted to the pictures of lemons, word LEMON, and more weakly to its perceptual properties, such as yellow colour. Another one was a Spider-Man neuron. Much like the “Jennifer Aniston” neuron, it reacted to Spider-Man depictions both from the comic books and from the movies, to photos of spiders, and to the text SPIDER.
Artificiële neurale netwerken hebben verder nóg een hele fijne eigenschap: we kunnen ze in hun geheel bestuderen, neuron na neuron. Dit is dus heel anders dan het testen van neuronen in echte hersenen, waarvoor/waarbij we diepte-elektroden moeten implanteren. Hoe kunnen we neuronen in kunstmatige netwerken bestuderen? We kunnen bijvoorbeeld testen welke plaatjes of teksten een bepaald neuron het meest activeren. We kunnen het netwerk ook vragen om te ‘hallucineren’, dat wil zeggen dat ze teksten van afbeeldingen genereren zodat ze de activering van een bepaald neuron maximaliseren. Toen een team van computerwetenschappers al deze conceptneuronen in meer detail ging bestuderen, ontstond er een vreemde en mooie wereld van conceptuele representaties (zie voor meer info het “verder lezen” gedeelte aan het eind van deze blog).
Net als conceptneuronen in het menselijk brein, had het ‘kunstmatige brein’ ook neuronen voor beroemde mensen, zoals bijvoorbeeld Donald Trump. Dit neuron was ook gevoelig voor MAGA-petten, ‘The Wall’-slogans, of voor mensen die geassocieerd werden met de ex-president, zoals Mike Pence of Steve Bannon. Dit neuron werd ook sterk gedeactiveerd toen het netwerk werd blootgesteld aan een afbeelding van Martin Luther King Jr. of aan de symbolen van de LGBT-beweging, of, merkwaardig genoeg, aan afbeeldingen en teksten geassocieerd met het computerspel Fortnite (kunstmatige netwerken pikken helaas soms associaties op die niet voor de hand liggend zijn, of zelfs toevallig zijn, en dus nergens op hoeven te slaan).
Er waren ook tal van neuronen geassocieerd met specifieke geografische regio’s, bijvoorbeeld plaatsen in Europa of Afrika. Deze neuronen waren gevoelig voor afbeeldingen met kaarten waarop de locatie van de regio was gemarkeerd, evenals voor herkenningspunten, architectuur, eten, logo’s, vlaggen, gezichten, kledingstijlen, namen, taal en alfabet die typisch zijn voor een gegeven regio – of zelfs tv-programma’s die populair zijn in de regio. Sommigen van hen werden ook geassocieerd met andere stereotiepe eigenschappen die verband houden met de regio. Zo reageerde een “Californië”-neuron ook op het woord “ondernemer”.
Andere neuronen waren abstracter. Het kunstmatige neurale netwerk was bijvoorbeeld in staat kernconcepten te isoleren die verband hielden met emoties of psychologische eigenschappen: shock, verdriet, geluk, slaperigheid of “slecht zijn”. Ze reageerden op gezichtsuitdrukkingen (soms zelfs tussen soorten), lichaamstaal, tekeningen en gerelateerde teksten (ook slangwoorden, zoals OMG! of WTF voor geschokt zijn).
Interessant is dat, net zoals ook wordt verondersteld in de menselijke psychologie, basisemoties en toestanden (die toevallig ook worden erkend in alle culturen), via eenvoudige rekenkundige relaties gecombineerd kunnen worden tot representaties van complexere emotionele toestanden. Het “intiem”-concept wordt bijvoorbeeld gecodeerd door activeringen van “zachte glimlach”- en “hart”-neuronen, en geremd door de activering van het “zieke” neuron. Een ander voorbeeld van een dergelijke “conceptuele algebra” is het concept van “vertrouwen”, dat sterk wordt vertegenwoordigd door een “overgewicht”-neuron, en zwakker door “zachte glimlach” en “gelukkige” neuronen, terwijl het werd geremd door een “slapend” neuron. Als voorbeeld werd naast de emotie-neuronen het neuron voor “spaarvarken” vooral voorgesteld als een combinatie van “financiën” en “poppen en speelgoed”. Dit toont aan dat concepten die waarschijnlijk minder vaak werden waargenomen door het model, vertegenwoordigd werden door een groter aantal neuronen (iets dat neurowetenschappers “schaarse representaties” noemen). Ook dit lijkt sterk op conceptneuronen in het menselijk brein, die soms ook reageren op een grotere reeks verwante concepten, zoals een neuron dat in reactie op slangen en spinnen vuurt, maar niet in reactie op andere dieren, of een neuron dat in reactie op zowel Yoda als Luke Skywalker (beide karakters uit Star Wars) vuurt.
Betekent dit dat de onderzoekers nu een neuraal netwerk hebben gebouwd dat precies zoals het menselijk brein functioneert, zoals de vele overeenkomsten tussen conceptneuronen in het menselijk brein en hun tegenhangers in het kunstmatige netwerk je misschien laten denken? Zeker niet! Neurale netwerken worden geconstrueerd met behulp van verschillende principes. Het is ook niet zo dat het netwerk alle concepten vanuit zichzelf heeft gecreëerd zoals mensen dat doen. Als onderdeel van de training ontving het netwerk taalinvoer waarin elk woord al een concept weerspiegelde dat in het verleden door mensen werd geïsoleerd en nu in taal functioneert als onderdeel van onze culturele erfenis.
Aan de andere kant voerde het neurale netwerk wél zijn eigen deel van de abstractie uit: het was in staat om relaties tussen woorden te destilleren (dat wil zeggen, om semantisch verwante concepten te herkennen), om objecten in afbeeldingen te herkennen (ondanks de vele verschillen in visuele details), en om de twee te relateren, waardoor het bijvoorbeeld kon herkennen dat de foto’s van Donald Trump en een “MAGA”-pet aan elkaar verwant zijn. Echter, het lijkt meer aan te tonen dat abstractie (over vele modaliteiten) “gratis” kan worden verkregen door simpelweg de verschillende modaliteiten te kruisen en te mengen en deze te presenteren aan “leermachines met voldoende capaciteit” (zoals dit neurale netwerk of de hippocampus in het menselijk brein). Bovendien bevond een groot deel van de machinerie van het kunstmatige netwerk zich in specifieke “modules” – voor beeldherkenning en taalbegrip – waarbij relatief weinig kunstmatige neuronen werden besteed aan het integreren van de modaliteiten. Dit lijkt ook weer sterk op ons echte (biologische) brein, dat lijkt te bestaan uit modules die voornamelijk interageren via top-down verbindingen, met slechts een handvol regio’s die deze informatie integreren. Op deze manier kunnen kunstmatige neurale netwerken ons toch indirect iets over de hersenen leren, door te laten zien wat voor soort informatie en structuur nodig is om conceptachtige representaties te verkrijgen.
Deze blogpost is geschreven door Jakub Szewczyk
Ter verdieping kun je dit nog verder lezen:
- Een uitstekend artikel dat de multimodale neuronen in het CLIP neurale netwerk beschrijft: https://distill.pub/2021/multimodal-neurons. Deze blogpost is hierdoor geïnspireerd en heeft er veel informatie uit gebruikt.
- Een artikel uit Scientific American dat wat nuance toevoegt aan deze blogpost met betrekking tot conceptcellen in het menselijk brein: http://itzhakfried.com/WP/wp-content/uploads/2020/03/Brain-cells-for-grandmother-pdf.pdf
Omslagafbeelding
met dank aan VQGAN+CLIP
Het Talige Brein 
Geef een reactie