Il a dit à ChatGPT qu'il voulait tuer son fils - puis il a été arrêté

AVERTISSEMENT SUR LE CONTENU: Ce reportage contient des références à la violence et au suicide.

"J'ai offert 50 000 pour qu'il me tue et tue mon fils, mais il n'a pas voulu parce que cela impliquait un enfant."

"Je voulais savoir d'où venait ce désir de tuer des gens. J'aime le sentiment de voir une autre personne souffrir."

Pendant près de deux mois, un agriculteur brésilien a échangé ces messages et d'autres avec ChatGPT, dans ce que la police dit être des plans pour tuer son fils de huit ans, attaquer d'autres personnes puis se suicider.

Et ce sont ces messages, vus par BBC News Brésil, qui ont conduit à l'arrestation de l'homme.

Dans l'un des rares cas connus de ce genre, l'homme, âgé de 36 ans, a été arrêté après qu'OpenAI, le créateur de ChatGPT, ait signalé ses messages au FBI, qui en a informé les autorités brésiliennes.

Son avocat dit qu'il "disait des bêtises" à un chatbot et qu'il n'a commis aucun crime.

L'affaire met en évidence un défi croissant pour la police, les tribunaux et les entreprises d'IA : que devrait-il se passer lorsque les chatbots IA identifient une menace potentielle avant qu'un crime ait été commis?

"Tout ce que la plateforme nous a apporté était corroboré"

L'homme, que la BBC ne nomme pas pour protéger l'identité de son fils, a été arrêté dans la campagne de São Gabriel da Palha le 19 juin - trois jours après que l'unité de cybercriminalité du ministère brésilien de la Justice a transmis l'affaire au département de la police de l'État.

"Nous avons donné la priorité à cette affaire en raison de sa gravité et parce que le père aurait planifié de tuer son fils d'ici le 20", a déclaré Brenno Andrade, chef du poste de police spécialisé dans la cybercriminalité de la ville d'Espírito Santo.

Selon Andrade, le suspect avait peu ou pas de contacts avec son fils au-delà du paiement d'une pension alimentaire pour enfants. Les enquêteurs pensent que le ressentiment suscité par ces paiements pourrait avoir été l'un des motifs du complot présumé.

Des fouilles dans sa propriété ont permis de découvrir quatre bouteilles contenant des substances non identifiées et une corde nouée, ce qui, selon les policiers, pourrait indiquer des intentions suicidaires.

La police pense également que le suspect a discuté d'éventuelles attaques contre des écoles, des églises et des policiers avec ChatGPT.

Un message, vu par la BBC, disait : "Si je vais dans un lieu de vente de drogue et que je tue environ quatre criminels, je deviendrais célèbre dans la ville. Après, il me suffirait de tuer un ou deux policiers et je pourrais mourir paisiblement."

Un autre message disait: "Je pense acheter une arme à feu et tirer sur la police pour qu'elle réagisse et me tue. Ce sera bien et bon pour moi."

Les enquêteurs disent qu'il a fait des recherches sur des substances toxiques, y compris la ricine, et a tenté de contourner les garanties de ChatGPT en reformulant les questions.

"Tout ce que la plate-forme nous a rapporté a été corroboré lorsque la police est arrivée sur les lieux", a déclaré Andrade.

L'homme nie avoir l'intention de nuire à son fils.

Après avoir passé 54 jours en détention, il a été libéré le 13 août en raison de retards dans l'enquête. Aucune accusation n'a été déposée, mais l'enquête policière est toujours en cours.

L'agriculteur est soumis à des mesures de précaution, notamment une surveillance électronique et une interdiction de contacter son fils ou la mère de l'enfant.

Les enquêteurs ont déclaré qu'ils examinaient le téléphone portable du suspect et attendaient les résultats des tests médico-légaux sur les objets saisis pour déterminer s'il avait pris des mesures concrètes pour mettre en œuvre un plan, y compris s'il avait contacté un tueur à gages, comme il l'aurait prétendu lors de conversations avec ChatGPT.

Ils disent que de telles preuves pourraient aider à déterminer si le suspect est passé de la contemplation et de la préparation d'un crime à son exécution. En droit pénal brésilien, normalement, un crime n'est commis que pendant la phase d'exécution.

La défense soutient qu'aucune mesure de ce type n'a été prise.

"Si parler à AI et dire des bêtises est un crime, tout le monde ira en prison", a déclaré l'avocat de la défense Pedro Paulo Pessi à BBC News Brasil.

Le problème des preuves

On pense que les exemples d'entreprises d'IA signalant des utilisateurs à la police sont rares.

En août, OpenAI a signalé au FBI un homme de Floride âgé de 25 ans après avoir partagé son intention de violer et d'assassiner son ex-petite amie, selon les médias américains.

Andrade, de la police d'Espírito Santo, a déclaré que le cas de l'agriculteur était la première alerte de ce type générée par l'IA que l'État avait reçue et seulement le troisième cas de ce type au Brésil.

"C'est un autre moyen pour la police d'essayer de savoir si des personnes ont fait des recherches sur des crimes utilisant l'intelligence artificielle", a déclaré Andrade.

Mais il y a une série de questions sur le rôle de telles informations de la part des sociétés d'IA dans le processus d'enquête, y compris si les messages peuvent être utilisés comme preuves devant les tribunaux.

Les enquêteurs disent qu'OpenAI a fourni des détails sur l'utilisateur et les messages qu'il a envoyés, mais pas les réponses de ChatGPT.

"Nous n'avons pas reçu les réponses qui ont été données", a déclaré Andrade.

L'avocate pénaliste Maíra Fernandes dit que cela crée un problème de preuve parce que le contexte des messages est important.

"Ce ne peut pas être un petit extrait, ce ne peut pas être une version éditée. Cela doit être toute la conversation", a-t-elle déclaré.

Voir l'échange complet entre le suspect et ChatGPT pourrait aider à déterminer si le chatbot a simplement réagi à ce que l'utilisateur a dit ou a activement façonné la discussion, a ajouté Fernandes.

Dans une déclaration à BBC News Brasil, la société a refusé d'expliquer pourquoi les réponses de ChatGPT n'avaient pas été partagées, affirmant seulement qu'elle pouvait informer les autorités chargées de l'application des lois lorsqu'elle détectait un "risque crédible et imminent de préjudice pour autrui".

En avril de cette année, la Floride a ouvert une enquête criminelle contre OpenAI pour savoir si sa technologie ChatGPT avait joué un rôle dans le meurtre de deux personnes lors d'une fusillade de masse à la Florida State University l'année dernière.

OpenAI conteste ces allégations, affirmant que ChatGPT a fourni des informations déjà accessibles au public et n'encourage ni ne promeut aucune activité illégale.

« Obligation légale d'agir »

Fernandes dit que dans ce cas, le fait que la victime présumée dans l'affaire brésilienne est un enfant identifiable aide à expliquer le renvoi. Cependant, elle met en garde contre la normalisation des enquêtes basées uniquement sur des évaluations de l'IA.

"Sinon, n'importe qui peut faire l'objet d'une enquête parce que l'intelligence artificielle l'a interprété de cette façon", a-t-elle déclaré.

Elle soutient que des garanties sont nécessaires pour distinguer les menaces authentiques des déclarations émotionnelles, fantaisistes ou provocatrices.

Patricia Peck, professeure et spécialiste du droit numérique, affirme que l'affaire reflète un changement plus large du rôle de l'IA, passant d'un outil de génération de contenu à un système interactif "capable d'identifier des schémas associés à des comportements potentiellement dangereux".

Elle soutient que dans certaines circonstances, les entreprises d'IA peuvent avoir l'obligation légale d'informer les autorités.

"Lorsqu'une conversation cesse de représenter une intention purement abstraite et commence à indiquer une menace concrète, avec une victime identifiable, des moyens disponibles et un risque imminent, une obligation éthique et, dans certaines circonstances, légale d'agir se pose", dit - elle.

Mais comme Fernandes, elle met en garde contre sa surutilisation.

"L'éthique appliquée à l'IA ne doit pas reposer sur une logique de "tout surveiller" , mais plutôt sur une logique de "n'intervenir que lorsque le risque le justifie".

"Le défi consiste à éviter à la fois l'omission et la surveillance excessive."