Quand le comportement étrange d'une IA devient-il un vrai signal de sécurité ?

J'y pense ces derniers temps, et je suis curieux de savoir ce que les gens ici en pensent.

Quand un modèle d'IA fait quelque chose d'inattendu lors d'une évaluation, comment décidons-nous si c'est vraiment une préoccupation en matière de sécurité ?

Une réponse étrange? Probablement rien.

Une évaluation ratée? Ça peut juste être du bruit.

Un comportement bizarre? Il pourrait y avoir une explication tout à fait raisonnable.

Mais que se passe-t-il si cela continue à se produire ?

C'est la partie qui m'intéresse. À un moment donné, il faut arrêter de se demander « Pouvons-nous expliquer cet incident ? » et commencer à se demander « Pourquoi cela continue-t-il à se produire ? »

Et ensuite, il y a une question encore plus difficile : que faire si aucun des comportements individuels n'a l'air particulièrement dangereux, mais que plusieurs d'entre eux commencent à pointer dans la même direction ?

Où traceriez-vous la ligne ?

Je serais intéressé d'entendre comment les personnes travaillant sur ou suivant la sécurité de l'IA pensent à cela.