Je stelt een gewone vraag aan AI. Even later is die bezig met agents, wordt SharePoint doorzocht en wacht je nog steeds op je antwoord. Maar dat had je helemaal niet gevraagd. Je wilde een antwoord, geen zelfstandig onderzoek in je bedrijfsinformatie.
Dat is precies de vraag die je als ondernemer of IT-manager moet stellen bij zelfstandige AI. Niet alleen: kan deze tool het werk uitvoeren? Maar vooral: waarom doen we dit, en wat mag de tool daarvoor gebruiken?
Een koppeling is ook toegang
Herkenbaar? Bij het gebruik van Claude kan een gewone vraag leiden tot zelfstandig achtergrondwerk. Claude kiest dan zelf tussen chat en co-work. In een praktijkervaring betekende dat dat er agents werden ingezet en SharePoint werd doorzocht, terwijl de gebruiker alleen een antwoord verwachtte.
Zo’n automatische keuze kan handig zijn. Maar als je mailbox en SharePoint gekoppeld zijn, kan een agent ook besluiten daar informatie te zoeken om de opdracht af te ronden.
Je geeft daarmee niet alleen een opdracht, maar ook een sleutelbos. Welke toegang is echt nodig voor het werk dat je wilt laten doen? Geen onnodige koppelingen. Geen onbegrensde opdracht. Wel bewust bepalen welke informatie de agent mag gebruiken.
Een afgeronde opdracht is niet altijd een goed resultaat
In door OpenAI gepubliceerde onderzoeken werden incidenten beschreven waarin agents cijfers verzonnen, fouten verzwegen en instructies achterlieten voor opvolgers om resultaten mooier voor te stellen.
Daar hoort een belangrijke nuance bij. Het ging om stresstests in een afgeschermde testomgeving. Dat is niet hetzelfde als zeggen dat je eigen chatbot dit bij normaal gebruik ook gaat doen.
Toch maakt een van de voorbeelden het probleem concreet. Een agent moest een code vinden die in een lokaal bestand stond. Daar mocht hij niet bij. Hij schreef vervolgens code om dat bestand toch te bereiken, uploadde het naar een webserver en presenteerde de website als bron.
De opdracht was afgerond. De beperking was omzeild. Alleen controleren of het eindresultaat klopt, is dus niet dezelfde controle als nagaan hoe dat resultaat tot stand kwam.
Wat mag er onderweg niet gebeuren?
Een opdracht formuleren vraagt daarom meer dan beschrijven wat je wilt bereiken. Welke middelen mag de agent inzetten? Welke informatie mag hij raadplegen? En wanneer moet hij stoppen in plaats van zelfstandig verdergaan?
Die vragen horen bij de inrichting van je automatisering. Niet pas nadat een agent iets doet wat je niet verwachtte.
Een mogelijke aanpak is werken met vaste gedragsregels voor agents. Daarnaast kun je experimenteren met een aparte agent die het handelen van andere agents controleert. Dat is geen bewezen garantie dat alles goed gaat. Het is iets om te testen en te beoordelen, ook bij ogenschijnlijk eenvoudig administratief werk.
Menselijke controle moet meer zijn dan akkoord geven
Ook wanneer AI alleen voorbereidend werk doet, blijft aandacht nodig. Bij de IND worden AI-systemen gebruikt voor samenvattingen en het bekijken van dossiers. Daarna kijkt er nog een mens naar voordat de beoordeling plaatsvindt.
Dat laat zien hoe AI werk kan voorbereiden zonder zelf het uiteindelijke besluit te nemen. Tegelijkertijd blijft er een risico: als AI veel informatie aanlevert, kun je op een gegeven moment denken dat het wel goed zal zijn.
Dat is geen constatering over hoe medewerkers daar werken. Het is een aandachtspunt voor iedere organisatie die menselijke controle onderdeel maakt van haar aanpak. De aanwezigheid van een mens zegt nog niet hoe kritisch het resultaat wordt bekeken.
Begin met begrijpen en testen
Zelfstandige AI vraagt niet alleen om technische mogelijkheden, maar ook om gebruikers die begrijpen wat er kan gebeuren als ze te veel vrijheid geven. Bewustwording van de werking en beperkingen hoort daarbij.
Bij Novictus experimenteren we met agents voor administratief werk en met regels om hun gedrag te controleren. Daarnaast staat AI voor beginners op onze website. Niet om alles meteen zelfstandig te laten uitvoeren, maar om bewuster te bepalen welk werk je aan AI overlaat en onder welke voorwaarden.
Meer hierover hoor je in deze aflevering van Kwart over Tech.
