Des pionners de l'IA réclament des protections contre l'IA

[Er1gon359]

 

---

Un groupe de scientifiques appelle la communauté internationale à mettre en place un organisme de contrôle (1). Ils affirment que, dans quelques années, l'IA pourrait surpasser ses créateurs, ce qui pourrait avoir des conséquences catastrophiques pour l'humanité.
 
https://youtu.be/DDOUfcvVipg
 
Au début du mois de septembre, des scientifiques se sont réunis à Venise, en Italie, pour discuter des risques liés à l'intelligence artificielle et des solutions possibles pour éviter un monde ressemblant à Terminator. Cette rencontre est la troisième du genre et s'inscrit dans la série des Dialogues internationaux sur l'IA, également appelée FAR AI (2).
Le principal problème est que l'IA n'a pas de restrictions et évolue à une vitesse phénoménale, comme on peut le constater avec ChatGPT ou les IA de création d'images. Les chercheurs ayant signé la déclaration du FAR AI s'inquiètent de l'avenir de l'humanité, comme l'explique Hadfield : "Si, dans six mois, une catastrophe se produisait et que nous découvrions que des modèles commencent à s'améliorer de manière autonome, qui appellerait-on ?"
Cependant, certaines personnes estiment qu'il est trop tôt pour s'inquiéter des risques liés à l'IA et accusent les membres de FAR AI de paranoïa. Elles mettent en avant le fait que l'IA n'est pas encore capable de surpasser l'humain dans des tâches scientifiques ou techniques. "L'IA a accès à toutes nos connaissances en physique et en chimie, alors pourquoi ne pourrait-elle pas inventer une batterie de nouvelle génération ou un supraconducteur ?"
Un autre groupe propose de mettre en place des mesures de sécurité pour enregistrer les IA disponibles dans chaque pays. Par la suite, ces mesures pourraient collaborer pour détecter si une IA agit à l'insu de ses créateurs.
L'événement s'est concentré sur la mise en place de telles mesures de sécurité pour l'IA. Les chercheurs ont alors proposé trois initiatives :

1. Préparation aux situations d'urgence
   Il est nécessaire de se préparer aux risques liés à l'IA, car des systèmes très performants seront créés dans un avenir proche. Les autorités nationales en charge de la sécurité de l'IA devront se réunir, collaborer, et s'engager à partager leurs modèles, signaler les incidents, utiliser des fils-pièges, et élaborer des plans d'urgence.
   
2. Assurance de la sécurité
   Les autorités nationales devraient exiger des garanties de sécurité robustes avant le déploiement de nouveaux modèles d'IA. De plus, la surveillance post-déploiement devrait être un élément clé pour assurer la sécurité des systèmes d'IA à mesure de leur adoption à grande échelle. Il est important que ces garanties soient soumises à des audits indépendants afin d'ajouter un niveau supplémentaire de contrôle et de responsabilité au processus.
   
3. Recherche sur la sécurité et la vérification
   La communauté des chercheurs en IA devrait mettre en place des solutions pour que les États puissent vérifier la validité des informations transmises par les mesures de sécurité de l'IA. Cela doit être réalisé à l'échelle mondiale, dans le but de créer un cadre solide pour évaluer et valider les mesures de sécurité de l'IA à l'échelle internationale.
   

En 2023, les gouvernements chinois et américain ont fait de l'IA une priorité.
En janvier, les médias chinois ont rapporté que le pays avait approuvé plus de 40 modèles d'IA à usage public.
En juillet, les hauts dirigeants du Parti communiste chinois ont appelé à la mise en place d'un système de régulation de la sécurité de l'IA.
En octobre, le président américain Joe Biden a signé un décret obligeant les entreprises à informer le gouvernement des risques que leurs IA pourraient représenter.
L'année dernière, le président Biden et le dirigeant chinois Xi Jinping ont convenu que leurs pays devraient organiser des discussions sur la sécurité de l'IA. La première réunion a eu lieu en mai, avec la participation de 28 pays qui ont signé une déclaration acceptant de coopérer pour évaluer les risques liés à l'IA.
Le principal problème reste les tensions entre la Chine et les États-Unis, qui se livrent une compétition technologique, ce qui complique la coopération entre les deux pays.
 
1. mettre en place des procédures permettant un traitement impartial et objectif des plaintes concernant les violations du code ou la manière dont le code est appliqué par un adhérent
2.Frontier alignment research to ensure the safe development and deployment of advanced AI systems

sources:
https://intelligence-artificielle.develo...loppement/

[EnZ0]

C'est un peu flippant, non ?

Ce qui me choque, c'est qu'ils parlent de l'IA comme si c'était Skynet de Terminator. Ils n'ont peut-être pas tort, vu comme ça évolue vite. Vous avez vu les progrès de ChatGPT en un an ?

J'ai trouvé intéressant qu'ils proposent des trucs concrets, comme se préparer aux urgences ou vérifier la sécurité des IA. Mais je me demande comment ça va se passer en pratique. Vous imaginez une agence internationale qui contrôle toutes les IA du monde ?

Ce qui me fait rire jaune, c'est, comme tu le précises, de voir la Chine et les USA essayer de coopérer là-dessus alors qu'ils se font la guerre technologique... C'est comme demander à Batman et au Joker de travailler ensemble !

Vous en pensez quoi, vous ? On devrait s'inquiéter ou ce sont juste des scientifiques qui s'emballent ?

[Er1gon359]

C'est un peu flippant, non ?

Ce qui me choque, c'est qu'ils parlent de l'IA comme si c'était Skynet de Terminator. Ils n'ont peut-être pas tort, vu comme ça évolue vite. Vous avez vu les progrès de ChatGPT en un an ?

J'ai trouvé intéressant qu'ils proposent des trucs concrets, comme se préparer aux urgences ou vérifier la sécurité des IA. Mais je me demande comment ça va se passer en pratique. Vous imaginez une agence internationale qui contrôle toutes les IA du monde ?

Ce qui me fait rire jaune, c'est, comme tu le précises, de voir la Chine et les USA essayer de coopérer là-dessus alors qu'ils se font la guerre technologique... C'est comme demander à Batman et au Joker de travailler ensemble !

Vous en pensez quoi, vous ? On devrait s'inquiéter ou ce sont juste des scientifiques qui s'emballent ?

Eh bien, je pense comprendre que la comparaison est plutôt pertinente, car la semaine dernière, le producteur de Terminator, James Cameron, a justement rejoint ce comité en déclarant : "Je vous ai prévenus il y a 40 ans avec Terminator."
 
Effectivement, il est assez ironique que les États-Unis et la Chine tentent de coopérer sur ce sujet. Je pense que l'IA est certes une technologie remarquable, mais également extrêmement dangereuse si nous ne lui imposons pas rapidement des limites. Comme vous l'avez mentionné, avec ChatGPT, en seulement un an, les progrès ont été impressionnants. De plus, les chatbots utilisant l'IA savent mieux cerner les problèmes et trouver des solutions, ce qui devient parfois inquiétant, car nous devenons de plus en plus dépendants de ces technologies.
 
Un futur comme celui que l'on voit dans Terminator ou d'autres films de style cyberpunk pourrait devenir envisageable plus rapidement que nous ne le pensons. C'est à nous d'imposer des limites à quelque chose qui pourrait devenir soit notre plus grand problème, soit notre plus grand allié...