Agentic AI in productie vraagt om begrensde bevoegdheden en continue controle

Van experiment naar beheerst gebruik

Agentic AI is geen synoniem voor een chatbot. In dit artikel betekent het een AI-systeem dat, binnen een afgebakende taak, informatie kan interpreteren, een volgende stap kan voorstellen of via een gekoppelde functie een handeling kan laten uitvoeren. De overgang van pilot naar productie gaat daarom niet primair over een groter model of meer automatisering. Zij gaat over de vraag of een organisatie de taak, data, bevoegdheden, controles en verantwoordelijkheid zó heeft ingericht dat het systeem voorspelbaar genoeg kan worden gebruikt.

Een pilot kan waardevol zijn zonder die vraag volledig te beantwoorden. In een pilot zijn de gegevens vaak beperkt, kijken deskundigen mee en is de impact van een fout klein. In productie komen wisselende invoer, bestaande autorisaties, uitzonderingen in processen en echte gebruikers samen. Bovendien kunnen gekoppelde documenten, websites of e-mails instructies bevatten die het model verkeerd interpreteert. OWASP beschrijft dit als directe of indirecte prompt injection; ook retrieval-augmented generation en fine-tuning nemen dat risico niet volledig weg.[3]

Er bestaat daarom geen algemeen percentage waarmee organisatiesucces of rendement van agentic AI betrouwbaar is te voorspellen. Een zakelijke onderbouwing hoort per toepassing te worden gemaakt. De relevante vraag is niet of een agent indrukwekkende antwoorden geeft, maar of de organisatie vooraf kan vaststellen welke uitkomst, tijdwinst, foutreductie of kwaliteitsverbetering zij wil meten — en welke schade zij niet accepteert.

Feitenkader: productie is een levenscyclus, geen oplevermoment

Het NIST AI Risk Management Framework is een vrijwillig kader voor het verwerken van betrouwbaarheid in het ontwerp, de ontwikkeling, het gebruik en de evaluatie van AI-systemen.[1] Het bijbehorende profiel voor generatieve AI werkt dat uit met maatregelen voor onder meer incidentherkenning, rapportage, menselijke moderatie waar passend en monitoring na ingebruikname.[2] Dat is relevant voor agentic toepassingen: een fout antwoord kan hinderlijk zijn, maar een fout uitgevoerde actie kan ook gegevens wijzigen, een bericht versturen of een proces blokkeren.

Het NIST-profiel noemt voor de fase na ingebruikname expliciet plannen voor monitoring, het vastleggen en beoordelen van signalen van gebruikers, bezwaar- en override-mechanismen, incidentrespons, herstel en wijzigingsbeheer.[2] Dit is geen wettelijke checklist en ook geen garantie dat een systeem veilig is. Het geeft wel een bruikbaar uitgangspunt: neem een agent pas in productie op wanneer de organisatie kan uitleggen hoe zij afwijkingen signaleert, wie mag ingrijpen en hoe een wijziging terug te draaien is.

In de Europese Unie is bovendien de context van gebruik van belang. De AI-verordening werkt met een risicogebaseerde benadering; verplichtingen verschillen dus naar rol en toepassing.[5] Voor hoog-risicosystemen benadrukt de verordening onder andere traceerbaarheid, registratie van gebeurtenissen, documentatie, informatie voor de gebruiker van het systeem en passende menselijke controle.[4] Niet iedere agentic toepassing is hoog-risico. Het is daarom onjuist om elke interne automatisering zo te kwalificeren. Wel is het verstandig om vóór opschaling vast te stellen of de beoogde toepassing in een gereguleerde of hoog-risicocontext kan vallen en welke andere regels, waaronder privacy- en sectorspecifieke regels, van toepassing zijn.

Begin bij één proces en één beslisgrens

Edgars analyse: de meest verdedigbare eerste productietoepassing is niet de agent met de meeste mogelijkheden, maar de toepassing met een helder procesdoel en een smalle beslisgrens. Kies bijvoorbeeld niet voor de opdracht om “klantcommunicatie te automatiseren”, maar voor een begrensde stap zoals het classificeren van binnenkomende aanvragen, het voorbereiden van een concept of het verzamelen van informatie voor een medewerker. Formuleer daarbij welke invoer is toegestaan, welke bron leidend is, wat de agent wel en niet mag doen en wanneer het werk moet worden overgedragen.

Leg vervolgens een nulmeting vast. Dat kan bestaan uit doorlooptijd, herwerk, wachttijd, foutsoorten, naleving van een interne kwaliteitsnorm of het percentage dossiers dat alsnog door een medewerker wordt aangepast. Kies slechts die maatstaven die passen bij de zakelijke doelstelling. Meet ook de kosten die bij productie horen, zoals beoordeling van uitzonderingen, beheer van koppelingen, incidentafhandeling en periodieke tests. Alleen dan ontstaat een vergelijking tussen de beoogde waarde en de totale exploitatie-inspanning.

Een proceskaart is hierbij praktischer dan een abstracte ambitie. Breng de normale route, uitzonderingen, brondata, systeemkoppelingen en beslismomenten in kaart. Benoem expliciet de momenten waarop een fout onomkeerbaar of kostbaar wordt. Maak die momenten de grens voor menselijke goedkeuring, een tweede controle of een volledig verbod op automatische uitvoering. Daarmee verschuift het gesprek van “vertrouwen we het model?” naar “welke handeling is onder deze voorwaarden verantwoord?”.

Beperk bevoegdheden voordat u prestaties optimaliseert

Een agent wordt risicovoller naarmate hij meer toegang en zelfstandige uitvoeringsmogelijkheden krijgt. OWASP adviseert daarom onder meer het principe van minimale bevoegdheden, het scheiden en markeren van niet-vertrouwde externe content, uitvoercontroles en menselijke goedkeuring voor hoog-risicoacties.[3] Deze maatregelen horen in de systeemarchitectuur te zitten en niet alleen in een instructietekst voor het model.

Edgars analyse: geef de agent een eigen, beperkt technisch account in plaats van de rechten van een medewerker. Sta alleen de functies toe die voor de gekozen taak nodig zijn. Maak onderscheid tussen lezen, voorstellen, voorbereiden en uitvoeren. Een agent kan bijvoorbeeld een wijziging voorbereiden, terwijl een medewerker de wijziging pas na controle daadwerkelijk autoriseert. Vermijd brede toegang tot mailboxen, bestandsopslag of bedrijfssystemen wanneer een gerichte interface met beperkte velden volstaat.

Behandel alle externe tekst als mogelijk niet-vertrouwd, ook als die uit een interne bron lijkt te komen. Een document dat de agent samenvat, kan instructies bevatten die niet bij de taak horen. Houd broninhoud daarom gescheiden van systeeminstructies, valideer gestructureerde uitvoer met gewone programmatuur en sta alleen vooraf gedefinieerde acties toe. Een taalmodel hoort niet zelf te bepalen welke bevoegdheid het nodig heeft. De applicatie bepaalt dat, controleert de parameters en logt de uitvoering.

Ontwerp ook een veilige uitweg. Elke geautomatiseerde stap moet een begrijpelijke foutmelding, een eigenaar en zo mogelijk een herstelpad hebben. Bewaar voor de juiste bewaartermijn welke invoer, versie, actie en beslissing relevant waren, met passende bescherming van persoonsgegevens en vertrouwelijke informatie. De log is geen doel op zich; hij moet een onderzoek naar een afwijking mogelijk maken zonder meer data vast te leggen dan nodig is.

Test het gedrag in de werkelijke context

Een demo test meestal het gewenste pad. Productierijpheid vereist juist toetsing van onvolledige gegevens, tegenstrijdige bronnen, onverwachte taal, ontbrekende rechten, vertraagde koppelingen en ongewenste instructies in aangeleverde content. OWASP raadt regelmatige adversarial testing en aanvalssimulaties aan en benadrukt dat prompt injection geen aantoonbaar waterdicht op te lossen probleem kent.[3] Dat pleit voor verdedigingslagen en voor een beperkte impact wanneer een laag faalt.

Edgars analyse: stel vóór de eerste uitrol een testset samen uit representatieve, toegestane voorbeelden en voeg doelbewust lastige gevallen toe. Leg voor elk geval vast wat een acceptabele uitkomst is: een correct voorstel, een vraag om verduidelijking, overdracht aan een medewerker of het niet uitvoeren van een actie. Test niet alleen de tekstuele kwaliteit, maar ook autorisatie, dataselectie, auditlog, foutafhandeling en terugdraaien. Herhaal relevante tests na veranderingen aan prompts, modellen, koppelingen, bedrijfsregels of brondata.

Gebruik vervolgens een gefaseerde release. Laat de agent eerst meedraaien zonder uitvoeringsrecht, vergelijk zijn voorstellen met menselijke beslissingen en analyseer afwijkingen. Verhoog bevoegdheden pas wanneer de gemeten prestaties binnen vooraf bepaalde grenzen blijven en de eigenaar de resterende risico’s accepteert. Houd tijdens de uitrol een stopknop, een handmatige terugvalprocedure en een duidelijke escalatieroute beschikbaar. Dat is geen teken van onvolwassenheid, maar een normale exploitatievoorziening voor een systeem waarvan gedrag afhankelijk is van context en externe componenten.

Maak eigenaarschap concreet

Governance krijgt pas betekenis als verantwoordelijkheden zijn toegekend. Benoem minimaal een zakelijke proceseigenaar, een technische eigenaar, een verantwoordelijke voor risico en privacy waar dat nodig is, en medewerkers die de uitzonderingen mogen beoordelen. Leg vast wie een wijziging mag goedkeuren, wie incidenten ontvangt en wie de bevoegdheid heeft om de toepassing stil te zetten. NIST noemt organisatorische praktijken voor testen, incidentidentificatie en informatiedeling als onderdeel van governance voor generatieve AI.[2]

De Europese regels maken eveneens duidelijk waarom context en rol ertoe doen: gebruiksverantwoordelijken van hoog-risicosystemen moeten passende technische en organisatorische maatregelen nemen, met onder meer toezicht en, waar van toepassing, registratie.[4] Edgars analyse: ook wanneer een toepassing niet als hoog-risico is ingedeeld, leveren een eigenaar, periodieke beoordeling en aantoonbare beslisregels operationele rust op. De organisatie kan dan uitleggen waarom de agent een taak heeft, welke grenzen gelden en wat er gebeurt bij afwijkingen.

Conclusie: schaal alleen wat u kunt beheersen

Agentic AI wordt productiewaardig wanneer de organisatie de uitvoering begrenst, de waarde meet en de afwijking beheerst. Een overtuigende pilot is daarvoor hooguit het begin. Kies een specifiek proces, definieer de beslisgrens, minimaliseer bevoegdheden, toets in de echte context en organiseer continue controle. Zo wordt opschalen geen sprong van experiment naar autonomie, maar een reeks controleerbare besluiten.

Bronnen

Edgar van Lent schrijft over de zakelijke en beheerste inzet van kunstmatige intelligentie.