Je AI-niveau en je wijnniveau zijn twee losse dingen

Op het stuk over het wijnprofiel in een Claude-project kwamen twee reacties binnen die elkaar tegenspraken. De eerste was van iemand die al dertig jaar wijn koopt en het interview met de tien vragen te omslachtig vond: “dit weet ik allemaal al van mezelf.” De tweede kwam van een ontwikkelaar die het idee meteen snapte en toen vastliep op vraag acht, over hout. Hij had geen idee of hij dat lekker vindt.

Beiden hadden gelijk. Ze zaten alleen niet op dezelfde plek.

Twee assen, geen ladder

Ik schrijf de laatste maanden veel over AI en wijn tegelijk, en ik betrapte mezelf erop dat ik één publiek in mijn hoofd had: iemand die van allebei een beetje weet. Dat publiek bestaat nauwelijks. Wat je met AI kunt en wat je van wijn weet, staan volledig los van elkaar.

Vier vakjes, vier verschillende beginpunten. Hieronder staat per vakje waar je begint, één prompt die daarbij hoort, en de fout die ik daar het vaakst zie.

Links boven: één vraag, één fles

Je hebt AI nog nauwelijks gebruikt en je koopt wijn op etiket of op prijs. Begin niet met een profiel, begin met vanavond.

Ik zoek één fles voor vanavond. Ik eet [gerecht], ik geef maximaal [bedrag] uit
en ik koop bij [winkel] in [land]. Geef één fles, geen lijstje.
Zeg erbij op welke temperatuur ik hem schenk en waarom die past.
Weet je het niet zeker, zeg dat dan.

Het hele werk zit in die twee laatste regels. “Geen lijstje” dwingt een keuze af, en zonder die instructie krijg je er vijf met elk een enthousiast alinea eronder, waarna je alsnog op prijs kiest en niets geleerd hebt. “Weet je het niet zeker, zeg dat dan” is er omdat een model over een fles die jij niet kent net zo overtuigd klinkt als over een fles die het wel kent.

De valkuil hier is de lijst. Vijf opties voelen als een beter antwoord dan één, en het is precies andersom.

Rechts boven: het model als notulist

Je weet veel van wijn en je hebt met AI nog weinig gedaan. Vraag dan geen advies, want dat is het kwadrant waar het model minder weet dan jij. Laat het opschrijven.

Ik dicteer proefnotities. Schrijf niets mooier op dan ik het zeg.
Zet mijn woorden in een vaste vorm: kleur, neus, mond, afdronk, oordeel.
Vraag door als ik een term gebruik zonder hem in te vullen.
Voeg geen enkele smaakterm toe die ik zelf niet genoemd heb.

Die laatste regel schreef ik pas na een week. Het model vulde mijn korte notities aan met descriptoren die ik nooit had geproefd, en die stonden er zo overtuigend dat ik ze bij het teruglezen voor de mijne aanzag. Dat is erger dan een fout advies, want het besmet je eigen geheugen.

Pas dus op dat je opgepoetst wordt. Je notitie leest beter en betekent minder.

Links onder: wijn als dataset

Je bouwt van alles, maar je kelder is een plank met flessen waar je niets van weet. Wijn is dan een prettige oefendataset: klein, rommelig, en je hebt er een echt belang bij.

Hier is mijn voorraad als CSV: [plak].
Schrijf een script dat per fles het drinkvenster schat en sorteert op wat
als eerste open moet. Laat het script benoemen welke aannames het doet
en luid falen bij een lege kolom, in plaats van iets te verzinnen.

De verleiding in dit kwadrant is bouwen in plaats van drinken. Ik heb ooit een avond aan een dashboard besteed voor een kelder van veertien flessen. Het platte tekstbestand deed hetzelfde in twaalf regels.

Je bouwt hier al snel infrastructuur voor een probleem dat in een notitie past.

Rechts onder: eigen data, eigen test

Je weet veel van wijn en je bouwt zelf. Dit is het enige kwadrant waar je het model kunt controleren op iets waar jij het antwoord van weet, en dat is de waardevolste positie die er is.

Ik geef je twintig vragen uit mijn vakgebied met een antwoordsleutel.
Beantwoord ze zonder te zoeken. Geef per antwoord je zekerheid in procenten
en markeer waar je gokt. Vergelijk daarna met de sleutel en tel apart hoe vaak
je fout zat terwijl je zekerheid boven de tachtig procent lag.

Dat laatste getal is het enige dat telt. Een model dat fout zit en twijfelt is bruikbaar. Een model dat fout zit en zeker klinkt is gevaarlijk, en dat is precies wat de hallucinatie-audit meet.

Het risico is dat je je eigen test opbouwt uit wat je al weet, waardoor hij precies de fouten vindt die je toch al zag aankomen. Laat iemand anders vijf van de twintig vragen aanleveren.

Kanttekening

Het kwadrant is een hulpmiddel om te kiezen waar je begint, geen etiket dat je op jezelf plakt. Ik zie mensen zichzelf in het beginnershokje zetten en daar blijven, terwijl ze op één as al lang zijn opgeschoven.

Belangrijker is wat het kwadrant verzwijgt. Op alle vier de plekken geldt dat het model niet proeft. Het herkent patronen in taal over wijn, en taal over wijn is niet hetzelfde als wijn. Wie helemaal rechts staat weet dat en gebruikt het model als bibliotheek. Wie helemaal links begint loopt het risico de omschrijving voor de smaak aan te zien, en dat is een gewoonte die je later moet afleren.

En let op wat je weggeeft. Je smaakprofiel is onschuldig, je budget al minder, en zodra je een voorraadbestand deelt geef je ook prijs wat er bij je thuis staat.

Zelf beginnen

Bepaal je kwadrant met twee vragen. Heb je ooit een prompt geschreven die langer was dan twee zinnen? En kun je opnoemen welke wijn je dit jaar hebt weggegooid en waarom?

Twee keer nee is links boven, en dan is de prompt hierboven genoeg voor vanavond. Twee keer ja is rechts onder, en dan is de eerlijkste test die je kunt doen jouw eigen twintig vragen, met de antwoordsleutel die je al in je hoofd hebt.