Terug naar Growth Notes

Een system prompt met veertig instructies is niet grondig. Het is een kerkhof. Tijd om de prompt te vereenvoudigen voordat het model de helft ervan gaat negeren. Vijf om morgen te schrappen.

De meeste AI-systemen dragen meer prompt met zich mee dan ze ooit gebruiken. Tijd om te vereenvoudigen voordat het model stilletjes de helft van wat je hebt geschreven gaat negeren, want dat is wat er gebeurt zodra een instructieset lang genoeg wordt: het model faalt niet luidruchtig, het stopt gewoon met het wegen van de begraven onderdelen.

Elk kwartaal voegt iemand een nieuwe instructie toe. Handel deze uitzondering af. Zeg dat woord nooit. Vermeld altijd de bron. Match deze toon. Drie maanden later spreekt de helft van die instructies elkaar tegen, niemand herinnert zich meer waarom de derde er staat, en de prompt is een archief geworden van elk incident waar iemand ooit zorgen over had, in plaats van een helder brief voor de taak die voorligt.

Herhaal dat patroon over een jaar en drie mensen die de prompt hebben aangeraakt, en je komt uit waar de meeste AI-systemen staan: een muur van instructies die niemand durft in te korten, waarvan de helft dood gewicht is, en output die stilletjes slechter wordt elke keer dat er nog een regel bijkomt.

Waarom prompt bloat ontstaat

Prompts groeien zoals zolders groeien. Er is nooit één moment dat de trigger vormt voor een volledige herschrijving, dus instructies stapelen zich op via kleine, redelijk ogende toevoegingen. Er gaat één keer iets mis met de output, dus wordt er een regel toegevoegd om precies dat te voorkomen, in plaats van de onderliggende dubbelzinnigheid op te lossen. Niemand verwijdert de regel later, want niemand kan bewijzen dat het veilig is om te verwijderen, en iets weghalen dat misschien relevant is voelt riskanter dan het laten staan.

Dus de prompt groeit alleen maar. En een model dat veertig instructies krijgt, weegt geen veertig instructies zorgvuldig af. Het herkent patronen op basis van de instructies die het duidelijkst, meest recent of vaakst herhaald zijn, en geeft de rest stilletjes minder prioriteit. Een lange prompt maakt een model niet zorgvuldiger. Voorbij een bepaald punt maakt het model juist minder voorspelbaar, omdat je niet meer weet welke instructies het daadwerkelijk gebruikt.

Vijf promptpatronen om morgen te schrappen

1. De instructie voor een uitzondering die zich nooit meer voordeed. Er ging één keer iets mis, er werd een regel toegevoegd om precies dat scenario te voorkomen, en het heeft zich sindsdien niet herhaald. Als niemand een tweede keer kan aanwijzen, is de regel geen vangnet. Het is een monument voor één slechte dag.

2. De toon-instructie die op drie verschillende manieren herhaald wordt. "Wees bondig." "Houd antwoorden kort." "Vermijd onnodige lengte." Drie regels die hetzelfde zeggen, verdrievoudigen het effect niet. Ze nemen alleen ruimte in die anders plek zou bieden aan een instructie die iets nieuws zegt.

3. De verwijzing naar een tool of API die maanden geleden vervangen is. Het systeem is overgestapt naar een nieuwe provider, een nieuw endpoint, een nieuwe interne tool, en de oude naam staat nog steeds in de prompt omdat het herschrijven van die paragraaf meer moeite leek dan het waard was. Het model weet niet dat het verouderd is. Het probeert gewoon iets te gebruiken dat niet meer bestaat.

4. Het few-shot-voorbeeld dat niemand meer checkt. Er werd een voorbeeld toegevoegd om het juiste format te demonstreren, geschreven voor een versie van de taak die inmiddels een andere vorm heeft. Het format dat het demonstreert klopt nu subtiel niet meer, en omdat het een voorbeeld is in plaats van een regel, behandelt het model het als gezaghebbender dan de tekst eromheen.

5. De instructie die een nieuwere tegenspreekt. "Noem nooit de prijs" van zes maanden geleden staat twee paragrafen boven "geef altijd de prijsrange als daarnaar gevraagd wordt" van vorige week. Niemand verwijderde de eerste toen de tweede werd geschreven, dus het model lost de tegenstrijdigheid op zoals het tegenstrijdigheden oplost: inconsistent.

Een instructie waarvan je de reden niet kunt uitleggen, is een instructie die je zou moeten kunnen schrappen.

Hoe een lean prompt er echt uitziet

Een werkende prompt is niet de prompt met de meeste dekking. Het is de prompt waarin elke regel zijn plek verdient, en waarin iemand kan uitleggen, zonder een changelog te checken, waarom elke instructie er staat. Dat betekent dat iemand er eigenaar van moet zijn: hem op een vast schema helemaal doorlezen, van elke regel checken of hij nog klopt, en direct schrappen wat een vraag beantwoordt die niemand meer stelt.

Het ongemakkelijke deel is dat dit meer tijd kost dan een nieuwe regel toevoegen. Schrappen vereist begrijpen waarom iets er in de eerste plaats staat, en begrijpen kost meer moeite dan nog een zin typen "voor het geval dat." Precies daarom gebeurt het niet vanzelf, en precies daarom moet het een geplande discipline zijn, geen hoop.

The ODB Way

Bij ODB Growth krijgt elke prompt, elke glossary-regel en elk stukje systeemcontext bij een vaste review dezelfde vraag: kun je uitleggen waarom deze regel bestaat, en klopt hij nog. Zo niet, dan verdwijnt hij. Niet omdat schrappen glamoureus is, maar omdat een systeem waar niemand volledig verantwoording over kan afleggen, een systeem is dat niemand volledig kan vertrouwen.

Die discipline is geen eenmalige opruiming. Het is een gewoonte die is ingebouwd in hoe het systeem wordt onderhouden, want een prompt die alleen maar groeit, kost uiteindelijk meer aan onvoorspelbare output dan hij ooit bespaarde aan dekking.

Onno de Bel

Onno de Bel

AI Engineer & Architect | ODB Growth

Klaar om iets te bouwen
dat een cijfer beweegt?

Laten we ontdekken waar AI echt loont in jouw proces, en het bouwen.

Plan een Growth Call