Je betaalt waarschijnlijk te veel voor tekst die niemand leest.
Taalmodellen rekenen af per token, en de tokenizer is getraind op een internet dat vooral Engels is. Nederlandse tekst valt daardoor in meer stukjes uiteen dan Engelse. Hoeveel precies verschilt per model en is voor het Nederlands niet goed becijferd, maar voor sommige talen loopt het op tot vijf keer zoveel tokens.
Het interessante is waar die kosten zitten. Niet in wat je gebruikers typen, maar in de tekst die bij elke aanroep automatisch meegaat.
Drie lagen, drie verschillende antwoorden
Laag 1: je system prompt en toolbeschrijvingen
Die worden bij elke vraag opnieuw meegestuurd. Bij een applicatie met duizenden aanroepen per dag is dit verreweg je grootste vaste post. Deze naar het Engels omzetten kost een middag en levert permanent op. Je gebruiker merkt er niets van, want hij ziet die tekst nooit.
Laag 2: de data die je meestuurt
Documenten, tickets, e-mails. Die eerst laten vertalen kost een extra modelaanroep en introduceert vertaalfouten. Hier is de rekensom meestal negatief. Laten staan dus.
Laag 3: wat de gebruiker ziet en typt
Die blijft Nederlands. Daar valt niets te besparen dat de moeite waard is.
Een waarschuwing
Werk je in een domein met zwaar Nederlands vakjargon, denk aan zorg, sociaal domein of het juridische vak? Dan kost vertalen betekenis. Een term als zorgzwaartepakket heeft geen goed Engels equivalent, en een model dat met een benadering moet werken geeft slechtere antwoorden. De besparing is dan duurkoop.
Hoe je dit aanpakt
- Zoek op welke vaste tekst bij elke aanroep meegaat. Dat is meestal je system prompt plus de beschrijvingen van de tools die het model mag gebruiken.
- Meet hoeveel tokens dat is per aanroep, en vermenigvuldig met je aantal aanroepen per maand. Nu weet je waar je over praat.
- Zet alleen die vaste tekst om naar het Engels en test of de antwoorden gelijkwaardig blijven.
- Laat de invoer van de gebruiker en de aangeleverde documenten ongemoeid.
Het principe erachter is breder dan deze ene ingreep: optimaliseer per onderdeel, niet per organisatie. Dat geldt net zo goed voor de keuze tussen een klein en een groot model per taak.
Gerelateerde artikelen
Benieuwd waar in jouw AI-toepassingen de kosten weglekken?
Wij kijken graag mee. Neem contact op via marco.soesman@novictus.nl
