AI-systemen: ontwikkel ze veilig

De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) deelt in de brochure ‘AI-systemen: ontwikkel ze veilig’ een aantal manieren waarop AI-systemen aangevallen kunnen worden en hoe organisaties zich hiertegen kunnen verdedigen.

Steeds meer organisaties maken gebruik van de mogelijkheden van kunstmatige intelligentie, of artificial intelligence (AI).

AI-systemen kunnen organisaties helpen om processen sneller, slimmer en beter uit te voeren. Denk aan modellen voor beeldherkenning, spraaktechnologie of cybersecurity.

Ontwikkelingen op het gebied van AI gaan snel. Zo snel, dat het nu al belangrijk is om AI-systemen veilig te ontwikkelen.

Anders loop je het gevaar dat jouw AI-systeem niet meer werkt zoals het zou moeten, met alle gevolgen van dien.

Vijf principes voor het verdedigen van AI-systemen

Het is belangrijk om AI-systemen tegen aanvallen te beschermen. Het Nationaal Bureau voor Verbindingsbeveiliging (NBV) van de AIVD heeft vijf principes gedefinieerd die helpen bij het nadenken over het veilig ontwikkelen en gebruiken van AI-modellen in je organisaties:

  1. Houd de datakwaliteit op orde.
  2. Zorg voor validatie van je data.
  3. Houd rekening met supply chain security.
  4. Maak je model robuust tegen aanvallen.
  5. Zorg dat je model controleerbaar is.

Vijf aanvallen gericht op AI-systemen

Op dit moment ziet het NBV vijf categorieën van aanvallen die specifiek op AI-systemen gericht zijn:

Poisoning aanvallen 

een aanvaller probeert aanpassingen te maken in je data, algoritme of model zodat het AI-systeem wordt 'vergiftigd' en daardoor niet meer werkt zoals gewenst.

Input (evasion) aanvallen 

Met specifieke input, bijvoorbeeld ruis over een foto, wordt geprobeerd een AI-systeem om de tuin te leiden zodat het systeem niet of onjuist werkt.

Backdoor aanvallen 

Door een achterdeurtje in een AI-model te bouwen, kan een externe partij een extra pad toevoegen waarmee de uiteindelijke beslissing van het model kan worden bepaald.

Model reverse engineering & inversion aanvallen 

Een aanvaller probeert erachter te komen hoe jouw model werkt om de dataset te reconstrueren die gebruikt is om jouw model te trainen.

Inference aanvallen

Zijn gericht op het achterhalen of een specifieke set gegevens is gebruikt als trainingsdata voor een model.

AI-systemen om de tuin leiden

AI is het vermogen van systemen of machines om taken uit te voeren waar mensen hun intelligentie voor inzetten.

Aanvallers kunnen proberen om AI-modellen om de tuin te leiden, de werking van het systeem te saboteren of erachter komen hoe jouw algoritmes werken, zonder dat je het zelf door hebt. Denk bijvoorbeeld aan een automatische scanner voor de doorvoer van goederen die onbedoeld wapens doorlaat.

Een op AI-gebaseerd malware-detectieprogramma dat verkeerde trainingsdata heeft gekregen en nu niet meer werkt of aanvallers die gevoelige gegevens uit je AI-systeem weten te achterhalen. Om te zorgen dat jouw AI-systeem blijft werken zoals je wilt, moet je al bij het begin van de ontwikkeling ervan nadenken over de beveiliging.

Download de publicatie

Download hieronder 'AI-systemen: ontwikkel ze veilig' om meer te weten te komen over hoe je deze systemen veilig kunt ontwikkelen. De brochure is beschikbaar in het Nederlands en Engels.