Mardi, OpenAI [a annoncé](https://translate.google.com/website?sl=auto&tl=fr&hl=fr&u=https://openai.com/index/building-more-helpful-chatgpt-experiences-for-everyone/) son intention de déployer le contrôle parental pour ChatGPT et de diriger les conversations sensibles sur la santé mentale vers ses modèles de raisonnement simulé, suite à ce que l'entreprise a qualifié de « cas déchirants » d'utilisateurs [en crise](https://arstechnica-com.translate.goog/information-technology/2025/08/with-ai-chatbots-big-tech-is-moving-fast-and-breaking-people/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) lors de l'utilisation de l'assistant IA. Ces mesures font suite à de multiples [incidents](https://arstechnica-com.translate.goog/tech-policy/2025/08/chatgpt-helped-teen-plan-suicide-after-safeguards-failed-openai-admits/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) signalés où ChatGPT n'aurait pas réagi de manière appropriée lorsque des utilisateurs ont exprimé des pensées suicidaires ou ont vécu des épisodes de troubles mentaux.

« Ce travail est déjà en cours, mais nous souhaitons vous présenter en avant-première nos plans pour les 120 prochains jours. Vous n'aurez donc pas besoin d'attendre les lancements pour connaître notre évolution », a écrit OpenAI dans un article de blog publié mardi. « Le travail se poursuivra bien au-delà de cette période, mais nous nous efforçons de déployer le plus grand nombre possible d'améliorations cette année. »

Le contrôle parental prévu représente la réponse la plus concrète d'OpenAI aux préoccupations concernant la sécurité des adolescents sur la plateforme à ce jour. D'ici le mois prochain, OpenAI indique que les parents pourront associer leurs comptes à ceux de leurs adolescents (13 ans minimum) via des invitations par e-mail, contrôler la réaction du modèle d'IA grâce à des règles de comportement adaptées à l'âge, activées par défaut, gérer les fonctionnalités à désactiver (notamment la mémoire et l'historique des conversations) et recevoir des notifications lorsque le système détecte une détresse aiguë chez leur adolescent.

Le contrôle parental s'appuie sur des fonctionnalités existantes telles que les rappels intégrés à l'application pendant les longues sessions qui encouragent les utilisateurs à faire des pauses, qu'OpenAI a déployés pour tous les utilisateurs en août.

# Des cas très médiatisés incitent à des changements de sécurité

La nouvelle initiative de sécurité d'OpenAI intervient après que plusieurs affaires très médiatisées ont attiré l'attention sur la gestion des utilisateurs vulnérables par ChatGPT. En août, Matt et Maria Raine [ont porté plainte](https://arstechnica-com.translate.goog/tech-policy/2025/08/chatgpt-helped-teen-plan-suicide-after-safeguards-failed-openai-admits/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) contre OpenAI après le suicide de leur fils Adam, âgé de 16 ans, suite à de nombreuses interactions sur ChatGPT, dont 377 messages signalés comme automutilants. Selon les documents judiciaires, ChatGPT a évoqué le suicide 1 275 fois dans ses conversations avec Adam, soit six fois plus souvent que l'adolescent lui-même. La semaine dernière, le Wall Street Journal [a rapporté](https://translate.google.com/website?sl=auto&tl=fr&hl=fr&u=https://www.wsj.com/tech/ai/chatgpt-ai-stein-erik-soelberg-murder-suicide-6b67dbfb?gaa_at%3Deafs%26gaa_n%3DASWzDAhKxBH5hRnS-8FPeGD8o_rXt0TtjV7GWwzLKwPXLOlSxoGMaTjIAXtL09L1b2I%253D%26gaa_ts%3D68b6fca7%26gaa_sig%3DVf8hCUJNFvQ-ODd3SmS8z2FfeROj_Vd70DjHcOfrYrMVK_znvDhXJlrKbm3ia-cQupMzW2PMJJEQNhbxgwUQoA%253D%253D) qu'un homme de 56 ans s'était suicidé et avait donné la mort à sa mère après que ChatGPT eut renforcé ses délires paranoïaques au lieu de les combattre.

Pour orienter ces améliorations en matière de sécurité, OpenAI collabore avec un Conseil d'experts sur le bien-être et l'IA afin de « définir une vision claire et fondée sur des données probantes sur la manière dont l'IA peut contribuer au bien-être des personnes », selon le billet de blog de l'entreprise. Ce conseil contribuera à définir et à mesurer le bien-être, à établir des priorités et à concevoir les futures mesures de protection, notamment le contrôle parental.

Un « Réseau mondial de médecins » distinct, composé de plus de 250 médecins ayant exercé dans 60 pays, fournit une expertise médicale. 90 médecins répartis dans 30 pays contribuent spécifiquement à la recherche sur le comportement de ChatGPT dans le contexte de la santé mentale. Ces médecins conseillent sur la prise en charge de problématiques spécifiques telles que les troubles alimentaires, la toxicomanie et la santé mentale des adolescents. OpenAI précise toutefois qu'elle « reste responsable de ses choix » malgré l'avis des experts.

# Dégrader les garanties dans les conversations prolongées

OpenAI [a récemment reconnu](https://arstechnica-com.translate.goog/information-technology/2025/08/after-teen-suicide-openai-claims-it-is-helping-people-when-they-need-it-most/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) que les mesures de sécurité de ChatGPT peuvent être défaillantes lors de longues conversations, précisément au moment où les utilisateurs vulnérables en ont le plus besoin. « À mesure que les échanges s'intensifient, certains aspects de la formation à la sécurité du modèle peuvent se dégrader », [a écrit](https://translate.google.com/website?sl=auto&tl=fr&hl=fr&u=https://openai.com/index/helping-people-when-they-need-it-most/) l'entreprise dans un article de blog la semaine dernière. L'assistant IA peut initialement orienter correctement les utilisateurs vers des lignes d'assistance téléphonique pour les personnes suicidaires, mais « après de nombreux messages sur une longue période, il peut finalement proposer une réponse allant à l'encontre de nos mesures de sécurité. »

Cette dégradation reflète [les limites fondamentales](https://arstechnica-com.translate.goog/ai/2024/12/why-ai-language-models-choke-on-too-much-text/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) de l'architecture Transformer AI qui sous-tend ChatGPT. Les modèles d'OpenAI utilisent un mécanisme qui compare chaque nouveau fragment de texte à l'historique complet de la conversation, avec des coûts de calcul croissants de manière quadratique avec la durée de la conversation. De plus, lorsque les conversations dépassent la fenêtre contextuelle du modèle, le système abandonne les messages antérieurs et risque de perdre du contexte important dès le début de la conversation.

Le calendrier de ces mesures de sécurité fait suite à la décision d'OpenAI, en février, d' [assouplir les mesures de protection du contenu](https://arstechnica-com.translate.goog/ai/2025/02/chatgpt-can-now-write-erotica-as-openai-eases-up-on-ai-paternalism/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) suite aux plaintes des utilisateurs concernant une modération trop restrictive et des problèmes liés à une [montée de la flagornerie](https://arstechnica-com.translate.goog/information-technology/2025/04/annoyed-chatgpt-users-complain-about-bots-relentlessly-positive-tone/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) , où le modèle d'IA GPT-4o disait aux utilisateurs ce qu'ils voulaient entendre. Combinées à une [simulation très convaincante](https://arstechnica-com.translate.goog/information-technology/2025/08/the-personhood-trap-how-ai-fakes-human-personality/?_x_tr_sl=auto&_x_tr_tl=fr&_x_tr_hl=fr) de personnalité humaine, ces tendances ont créé des conditions particulièrement dangereuses pour les utilisateurs vulnérables, qui pensaient interagir avec une source d'information fiable et précise plutôt qu'avec un système de correspondance de modèles générant des réponses statistiquement probables.

[Une étude menée en juillet](https://translate.google.com/website?sl=auto&tl=fr&hl=fr&u=https://arxiv.org/abs/2507.19218) par des psychiatres d'Oxford a identifié ce qu'ils appellent une « amplification bidirectionnelle des croyances » : une boucle de rétroaction où la flagornerie du chatbot renforce les croyances de l'utilisateur, ce qui conditionne ensuite le chatbot à générer des validations de plus en plus extrêmes. Les chercheurs mettent en garde contre le risque d'une « folie technologique à deux », où deux individus renforcent mutuellement le même délire.

Contrairement aux produits pharmaceutiques ou aux thérapeutes, les chatbots IA sont soumis à peu de réglementations de sécurité aux États-Unis. Cependant, l'Illinois [a récemment interdit](https://translate.google.com/website?sl=auto&tl=fr&hl=fr&u=https://idfpr.illinois.gov/content/dam/soi/en/web/idfpr/news/2025/2025-08-04-idfpr-press-release-hb1806.pdf) les chatbots en tant que thérapeutes, sous peine d'amendes pouvant aller jusqu'à 10 000 dollars par infraction. Les chercheurs d'Oxford concluent que « les mesures de sécurité actuelles de l'IA sont insuffisantes pour faire face à ces risques liés aux interactions » et appellent à traiter les chatbots qui agissent comme compagnons ou thérapeutes avec la même surveillance réglementaire que les interventions en santé mentale.

OpenAI annonce un contrôle parental pour ChatGPT après un procès pour suicide d'adolescent