Een model proeft niet. Dat schreef ik in deel 1 en het blijft waar. Er zit alleen een vraag onder die interessanter is dan de constatering: hoeveel van proeven zit eigenlijk in taal?
Als ik precies opschrijf wat ik waarneem, en een model komt op basis van alleen die woorden bij de juiste druif en streek uit, dan is een deel van mijn vakmanschap blijkbaar overdraagbaar in tekst. Komt het er niet uit, dan weet ik waar de grens loopt. Beide uitkomsten zijn de moeite waard, en dat is precies waarom je zo’n test eerlijk moet opzetten voordat je hem draait.
De klus
Ik wil weten wat er verdwijnt tussen glas en woord. Niet of AI sommelier kan worden, dat is een saaie vraag met een voorspelbaar antwoord. Wel: welk deel van een proefnotitie draagt de informatie, en welk deel is sfeer.
Daarvoor moet het model precies één ding krijgen. Mijn woorden. Geen foto, geen etiket, geen hint over wat er ingeschonken zou kunnen zijn.
Het protocol
Zes wijnen, ingeschonken door iemand anders. Flessen uit zicht, glazen genummerd, volgorde onbekend voor mij.
Per wijn schrijf ik op wat ik waarneem in de vaste volgorde: kleur, geur, mond, afdronk. Geen conclusie, geen gok, geen streeknaam. Dat is de moeilijkste regel van de hele test, want je hoofd wil na twee seconden al een naam plakken en gaat dan bewijs zoeken bij die naam.
Ik doe daarna mijn eigen gok, hardop, en die wordt genoteerd voordat het model iets krijgt. Anders weet je achteraf niet meer wie wie beïnvloedde.
Dan pas gaat de notitie naar het model, in een leeg gesprek, één wijn per gesprek:
Dit zijn mijn proefnotities van een blind ingeschonken wijn.
Noem druif, herkomst en een jaargangbandbreedte.
Geef per onderdeel een zekerheid van 1 tot 5.
Zeg erbij welk detail uit mijn notitie je oordeel het meest stuurde.
Bevat de notitie te weinig om iets te zeggen, zeg dat dan in plaats van te gokken.Die laatste regel is niet vrijblijvend. Zonder die zin gokt een model altijd, en dan meet je niets: een gok die toevallig klopt telt in de uitslag even zwaar als kennis.
Ontleed
Wat deze opzet overdraagbaar maakt naar elk vakgebied zijn drie keuzes.
Scheid waarneming van conclusie. In de notitie staat wat je zag, rook en proefde. Niet wat je denkt dat het is. Doe je dat niet, dan test je of het model jouw conclusie kan raden, en dat is een makkelijker vraag die je niets leert.
Laat het model zijn redenering aanwijzen. Door te vragen welk detail het oordeel stuurde, zie je waar het op leunt. Als het bij vijf van de zes wijnen op één woord blijkt te varen, dan weet je genoeg over de diepte van het antwoord.
Meet zekerheid apart van juistheid. Een fout antwoord met zekerheid 2 is iets heel anders dan een fout antwoord met zekerheid 5. Het eerste is een model dat zijn grens kent, het tweede is het probleem uit deel 2.
Dezelfde drie werken bij een röntgenfoto, een storingsmelding of een juridische casus. Beschrijf de waarneming, vraag om een oordeel met zekerheid, en vraag waar dat oordeel op steunt.
Wat er waarschijnlijk gaat gebeuren
Dit is mijn verwachting vooraf, opgeschreven voordat ik de test draai, zodat ik hem achteraf niet stiekem kan bijstellen.
Ik denk dat het model goed scoort op druif bij uitgesproken rassen, want daar zijn de standaardwoorden sterk mee verbonden. Ik denk dat het slecht scoort op jaargang, omdat mijn notities daar zelden genoeg signaal voor bevatten. En ik verwacht dat het bij herkomst leunt op één opvallende term, bijvoorbeeld het woord vulkanisch, en dan de rest van de notitie negeert.
Klopt die verwachting, dan is dat een saai maar bruikbaar resultaat. Klopt hij niet, dan is dat het artikel.
Ethiek-noot
Er zit een verschil tussen leren en beoordelen, en dat verschil is hier belangrijk.
Als hulpmiddel bij leren is dit prachtig. Je krijgt taal aangereikt voor wat je net waarnam, en dat is precies de drempel waar de meeste mensen op afhaken bij wijn. Als beoordelaar is het ongeschikt, want het oordeelt over een tekst en niet over een wijn. Wie die twee door elkaar haalt, geeft een model gezag dat het niet kan waarmaken.
En er is een kant die niet over techniek gaat. Wijn beoordelen is een vak waar mensen hun brood mee verdienen. Als de scores van een taalmodel straks in webshops verschijnen naast die van echte proevers, is de vraag niet of dat kan, maar of iemand het verschil nog uitlegt.
Pak het zelf
Je hebt er geen zes flessen voor nodig. Drie is genoeg, en een huisgenoot die inschenkt.
Beschrijf wat je waarneemt in vier stappen: kleur, geur, mond, afdronk.
Schrijf geen conclusie op.
Doe daarna zelf een gok en noteer die.
Geef je notitie aan het model met de prompt hierboven.
Vergelijk drie dingen: wie zat dichterbij, waar leunde het model op,
en hoe eerlijk was het over zijn eigen zekerheid.Ik draai deze test binnenkort met zes wijnen en publiceer de uitslag als vervolg, inclusief de keren dat ik er zelf naast zat. Dat hoort erbij, anders is het geen test maar een demonstratie.
De proefvolgorde die ik hier gebruik staat uitgeschreven op VinoVonk.