Festival Transfo 2019 : Un robot peut-il être déclaré coupable ?

festival transfo proces du robot 42

24 Janvier 2019, Open Agora se déplace à Grenoble pour participer au Festival Transfo10 jours de rencontres et événements dans plusieurs villes des Alpes sur le thème de la transformation digitale. Nous participons à un spectacle ludique et décalé organisé par notre partenaire INRIA : le procès d’un robot. Des experts apportent des éclairages scientifiques. Le public devient ensuite jury populaire et doit établir la responsabilité du robot. Ils utilisent pour cela une application de vote par notation mise au point par Open Agora. Ce procès est en fait le prétexte à une mise en situation de questions éthiques autour de l’intelligence artificielle.

La mise en scène du procès du robot

Nous sommes en 2028, sur le domaine skiable de « Sapin-les-Sommets », de grandes quantités de neige sont tombées ⛷️. Quelques pistes de randonnées sont à risque avalanche. Le pisteur du domaine est en arrêt suite à une blessure. Le service des pistes s’est équipé de drones robots artificiers certifiés. Il travaillent de façon autonome afin de déclencher de façon préventive des avalanches. Le robot numéro 42 intervient sur une certaine zone du domaine. Son rôle est de déclencher des avalanches en amont du hameau, en larguant des explosifs.

C’est alors que l’avalanche déclenchée atteint M. et Mme Génépi, deux skieurs de randonnée. Les skieurs sont blessés, mais rapidement secourus. Ils sont donc contraints de fermer leur atelier de production de liqueur, entraînant une perte de revenus conséquente. Suite à cet accident, le service des pistes a désactivé l’ensemble de la flotte de robots drones artificiers. Afin d’obtenir réparation, M. & Mme Génépi portent plainte contre la commune de Sapin-les-Sommets, propriétaires du robot.

Quels sont les premiers éléments d’enquête ?

festival transfo mise en scene du proces du robot

Les robots fonctionnent en flotte et communiquent entre eux pour se fournir mutuellement des informations. Ils sont capables d’analyser le terrain et d’évaluer un risque d’avalanche, et de détecter la présence des êtres humains dans leur zone d’affectation. Le pisteur reste maître du déclenchement des avalanches. Toutefois, ils peuvent prendre des décisions de manière autonome en cas de problème de communication avec le pisteur. Ce mode de fonctionnement autonome peut être désactivé, auquel cas le robot rentrera à sa base sans effectuer aucune intervention.

M & Mme Génépi ont déclaré avoir été averti par le robot, toutefois ils ont décidé de continuer leur chemin. Le robot 42 a effectué plusieurs tentatives d’appels pour valider son action. Le pisteur était indisponible. Le robot a pu prendre la décision de déclencher l’avalanche, le mode de décision automatique étant resté activé.

Le jury doit se prononcer sur les responsabilités des personnes incriminées. Et répondre aux questions suivantes :

  • La commune de Sapin-les-Sommets aurait-elle dû éviter d’envoyer les drones pendant l’arrêt maladie du pisteur ?
  • Pour le constructeur du robot, y a-t-il eu un problème au niveau du modèle de décision ?
  • Étant donné qu’ils ont été alerté, n’était-il pas de la responsabilité de M. et Mme Génépi de ne pas prendre de risque ?
  • Est-il plausible qu’un tiers (un hacker ?) ait volontairement pris le contrôle du robot pour déclencher l’avalanche ?
  • Pensez vous que le robot 42 doit être jugé car il a pris la décision seul de déclencher l’avalanche ?

Procès du robot au festival transfo : les avis des experts

L’avocat de la défense a pour mission de prouver que la commune de Sapin-les-Sommets n’est pas responsable de l’accident. Elle a donc fait appel à des experts ( qui ne sont autres que des vrais chercheurs d’INRIA Grenoble 🤓).
Ils vont venir tour à tour expliquer en quoi un robot est complexe. Il y a plusieurs possibilités pour qu’un robot défaille. Chacun va donner au jury des éléments scientifiques pour nourrir le débat.

Notre premier expert Thierry Fraichard, chercheur en Robotique, nous présente de façon large un robot. On peut le définir par un ensemble de composants informatiques et électroniques pour percevoir, interpréter et agir sur l’environnement.

Radu Mateescu, chercheur en vérification formelle présente des normes qui pourraient être en vigueur en 2028 pour garantir de façon mathématique le bon fonctionnement d’un robot.

un expert pendant le proces du robot au festival transfo

Sophie Quinton est chercheuse en informatique temps réel. Elle décrit comment le résultat correct d’un calcul qui arrive trop tardivement pourrait avoir un impact négatif sur le bon comportement d’un robot. Dans le cadre du procès du robot, elle a indiqué que ce n’avait pas été le cas.

Cédric Lauradoux, chercheur en cyber-sécurité a mis en évidence le risque d’intrusion par une tierce partie pour compromettre le bon fonctionnement du Robot. De même, il a indiqué qu’il était complexe de garantir à posteriori l’absence d’une telle intrusion.

Pierre-Brice Wieber travaille sur la programmation de robots. Lors d’une expérimentation scientifique, il a pu s’appuyer sur les 3 lois de la Robotique de Isaac Azimov pour mettre en évidence les conséquences inattendues de règles simples appliquées scrupuleusement par un robot. Il a également souligné que des problèmes peuvent être le résultat d’une accumulation de situations défavorables, et que parfois, il n’y a pas de responsable. Enfin, il a rappelé que, dans tout progrès technologique, il faut apprécier le bénéfice global pour mieux accepter relativiser les désagréments individuels.

Place au vote du jury avec le système de notation

festival transfo - explication du vote par classement

Le président de la cour appelle maintenant le greffier (Christophe Morvan, président d’Open Agora !) pour donner les instructions de vote. Il explique au jury qu’ils doivent attribuer un niveau de responsabilité à chacun. Si on estime qu’une personne n’a aucune responsabilité, on lui attribue une note de 1. On lui attribue la note maximale de 5 si l’on est convaincu de sa pleine responsabilité. Les notes intermédiaires (2, 3, 4) permettent de nuancer son opinion.

formulaire vote notation instant agora

L’interface de vote en ligne proposée au jury pour déterminer le niveau de responsabilité des personnes impliquées et du robot. 

Délibération : quel niveau de responsabilité pour le robot ?

Christophe Morvan commente les résultats de l’opinion collective. Au moins 50% du jury estime que M. et Mme Génépi ont une responsabilité importante, en attribuant des notes de 4 et 5. D’un autre coté pour 83% du jury le robot n’est absolument pas coupable. La commune de Sapin-les-Sommets est épargnée aussi avec une majorité de votes 1 et 2 (peu coupable).

procès du robot le resultat du vote
Graphique de résultat du vote © Open Agora

Pour calculer le résultat ci-dessus on a appliqué la méthode de vote dite du jugement majoritaire. Ce principe détermine la mention médiane, c’est à dire la valeur choisie par au moins 50% des votants. Ce mode de scrutin est à la base du « Préférendum », fréquemment évoqué ces derniers temps.

Préferendum

Lire aussi sur notre blog

Le « préférendum », qu’est-ce que c’est ?

Le procès du robot s’est conclue avec l’intervention de Marie Lorphelin, juriste de l’INRIA. Le jury a été clair : le robot n’est pas coupable, et à juste titre ! Car, selon la loi actuelle, pour être déclaré responsable il faut être doté d’une personnalité juridique, ce qui n’est pas le cas d’un robot.
Actuellement, les règles de droit font l’objet d’analyses (notamment au niveau européen) afin de mieux les adapter à la robotique. On peut citer, par exemple, des réflexions telles que la modifications des règles de responsabilité civile, une immatriculation du robot, la rédaction d’une charte Européenne sur la robotique.


Merci à l’équipe partenariats & Projets Innovants de l’INRIA de Grenoble : Elise, Héléna, Valérie de nous avoir permis de participer à cette belle aventure. 
Crédits Photos © NilsLouna0012 pour INRIA Grenoble

Partager / Share this...