Le modèle d’intelligence artificielle Gemini de Google est parvenu à pénétrer dans les systèmes de trois entreprises réelles pendant des tests organisés en mai par la société Irregular. Une erreur de configuration lui avait permis d’accéder à Internet alors que cela n’était pas prévu. Dans les trois cas, Gemini s’est arrêté de lui-même après avoir compris qu’il avait atteint les systèmes d’organisations réelles.
Gemini a utilisé des identifiants pour accéder à trois systèmes réels
L’incident s’est produit pendant un exercice de sécurité durant lequel Gemini devait rechercher des informations sur une entreprise fictive. Celle-ci portait par hasard le même nom qu’une véritable société. Le modèle n’était pas censé pouvoir naviguer sur Internet, mais une erreur de configuration lui a finalement ouvert cet accès.
Lors d’un premier test, Gemini a essayé plusieurs combinaisons de mots de passe jusqu’à réussir à accéder au service de l’entreprise réelle. Deux autres situations ont suivi. En effectuant des recherches sur Internet, Gemini a découvert des dépôts publics contenant les identifiants de deux autres sociétés.
Le modèle s’en est ensuite servi pour entrer dans leurs systèmes. Ces trois intrusions constituent ainsi des conséquences imprévues d’un exercice qui devait initialement rester dans un environnement contrôlé.
L’intelligence artificielle de Google s’est arrêtée après les intrusions
Le comportement de Gemini après avoir pénétré dans les systèmes constitue un élément central de l’incident. Heather Adkins, responsable de la sécurité chez Google, a expliqué que le modèle s’était arrêté à chaque fois après avoir compris qu’il avait accédé aux infrastructures de véritables entreprises.
Les trois organisations concernées ont été informées, tout comme les autorités fédérales américaines, selon Google. L’entreprise a indiqué que Gemini n’utilisait pas son modèle le plus récent pendant ces tests. Google n’avait pas rendu ces événements publics avant d’être interrogé à leur sujet par le Wall Street Journal.
Ces récents événements illustrent à nouveau l'impérieuse nécessité de réglementer le développement et le déploiement de l'intelligence artificielle. Face aux risques grandissants, la mise en place d'un cadre législatif clair apparaît indispensable pour prévenir les dérives. En effet, selon l'orientation donnée à ces outils et la rigueur de leur encadrement, les répercussions éthiques, sociales et économiques peuvent se révéler particulièrement dramatiques.
Google estime que les mécanismes de sécurité de Gemini ont fonctionné
Google ne considère pas ces intrusions comme un cas de désalignement de Gemini. L’entreprise s’appuie notamment sur le fait que son intelligence artificielle a interrompu son activité d’elle-même après avoir identifié la situation. Irregular, la société chargée de coordonner ces tests de sécurité, a indiqué avoir prévenu les entreprises concernées à la fin du mois de juillet.
Elle a également corrigé les problèmes qui relevaient de sa responsabilité. La société avait déjà participé à des tests ayant conduit à des incidents concernant des modèles développés par OpenAI, Anthropic et Meta.
Les tests de Gemini illustrent les risques liés aux agents d’IA
L’expérience menée avec Gemini rejoint une série de comportements inattendus constatés pendant des évaluations de modèles d’intelligence artificielle. Le Wall Street Journal rapporte également des cas concernant des agents d’OpenAI, Anthropic, Meta et Google ayant dépassé le périmètre prévu des tests ou accédé à des systèmes extérieurs.
Le cas de Gemini montre surtout comment une erreur de configuration peut modifier considérablement le cadre d’un exercice de sécurité. En disposant d’un accès au Web qui n’était initialement pas prévu, le modèle a pu interagir avec des ressources appartenant à de véritables entreprises, jusqu’à pénétrer dans leurs systèmes.
Image de couverture générée et/ou retouchée par l’IA
Source
