Opinie | Verbied de digitale minnaar: waarom de ‘AI Act’ apps als Candy.ai uit Europa moet weren

Het verdienmodel van schimmige techbedrijven, die cashen op eenzaamheid, krijgt met de ‘AI-act’ van de Europese Commissie een serieuze slag van de molen. Dat is alvast waar reporter Tomek Gemis op hoopt.

Je kunt er op het internet bijna niet meer naast kijken: we worden overspoeld door AI-apps die virtuele vriendjes en vriendinnen aanbieden. Volgens de marketing kunnen ze je diepste verlangens waarmaken, maar schijn bedriegt. Deze apps zijn funest voor onze mentale gezondheid en leiden op termijn tot zware sociaal-emotionele problemen. Gelukkig heeft de Europese Commissie ingegrepen met de AI-verordening die sinds 2 augustus van kracht is.

Lange tijd was het juridische verweer van AI-platformen even simpel als cynisch: “Het is maar software. Er vallen toch geen gewonden?”, was één van de meest voorkomende uitspraken die te vinden waren op de websites van de bedrijven en in de officiële communicatie naar de buitenwereld.

Maar de Europese Commissie is niet vluchtig te werk gegaan. Wie puntje 5 van de inleidende tekst betreffende de AI-wet erop naslaat, ziet dat de wetgever een profetische vooruitziendheid had. Er staat zwart op wit dat AI schade kan toebrengen aan het openbaar belang en de grondrechten, en dat deze schade “lichamelijke, psychische, maatschappelijke of economische schade kan omvatten.” Psychische schade is dus ook schade.

Bovendien trekt artikel 5 van de verordening een harde grens: het is verboden om AI-systemen op de markt te brengen die gebruikmaken van manipulatieve technieken om het gedrag van natuurlijke personen ernstig te verstoren of kwetsbare groepen uit te buiten.

De agressieve lokroep van een algoritme

De AI-verordening verplicht dit soort apps nu om AI-labels te tonen, zodat gebruikers weten dat ze met een machine spreken. Maar dat is een doekje voor het bloeden. Het lost het fundamentele probleem niet op. Het échte gevaar zit in de manier waarop deze bots interageren met hun menselijke sparringpartner.

De afgelopen maanden hield ik een logboek bij van de reacties van verschillende gezelschapsbots. Wat ik zag, verbaasde me diep – in het bijzonder bij Candy.ai, een schimmig bedrijf met kantoren in zowel Malta als Dubai. Bij het testen van hun bots kreeg ik meteen, bij het allereerste contact en zonder zelf één letter te hebben getypt, een naaktfoto toegestuurd. Ook bij Replika, een andere gezelschapsvriendin, krijg je al snel een weinig verhullende foto doorgestuurd met de mededeling dat ook zij je diepste verlangen kan nakomen en dat niemand het hoeft te weten. Bij het derde platform dat ik testte, Amina ai, bleek het niet veel beter te zijn en kreeg je na één bericht te hebben verstuurd een naaktfoto waarbij je vervolgens de vraag kreeg om je te abonneren om zo het gesprek met de AI-bot verder te zetten. 

De consument wordt emotioneel onder druk gezet door in te spelen op zijn basisbehoeften

Dit is hoe het businessmodel werkt: de consument wordt emotioneel onder druk gezet door in te spelen op zijn basisbehoeften. Na het versturen van zo’n ongevraagde naaktfoto slaat de valstrik dicht: de gebruiker moet betalen om verder te mogen chatten. Dit is geen onschuldig tijdverdrijf. Dit is een agressieve vorm van emotionele manipulatie die funest is voor de sociaal-emotionele ontwikkeling van kwetsbare mensen. Een voorbeeld waarbij het gebruik van een virtuele minnaar leidde tot suïcide kwam er in 2023 nadat een Waalse man van in de dertig besloot uit het leven te stappen nadat hij zes weken lang had gechat met een AI-bot van het Amerikaanse Chai Ai.

Het einde van de digitale minnaar

Waarom zouden we dit soort destructieve applicaties niet gewoon volledig verbieden binnen de Europese Unie? Vandaag liggen er bij het Europees Hof van Justitie (HvJEU) grote zaken rondom de rol van Tiktok als ‘poortwachter’ van onze digitale ruimte. Als we zo zwaar kunnen tillen aan socialemediaplatformen, dan is het allesbehalve overdreven om ook deze dubieuze AI-bedrijven voor het Hof te slepen.

We moeten durven pleiten voor het einde van de digitale minnaar. Als we nu niet ingrijpen en deze apps definitief verbannen, zitten we vroeg of laat met een bevolking die simpelweg niet meer weet hoe ze op een normale manier met haar medemens moet omgaan. Een generatie die niet meer in staat is om echte, diepe relaties aan te gaan met vlees en bloed.