1. L'automatisation de la décision morale : bilan et perspectives - Task Force EthicsProblems
L’introduction et l’utilisation massive de véhicules autonomes a permis une réduction importante du nombre d’accidents routiers dans la start-up nation intergalactique (« SUNI »). Par rapport aux facultés perceptives et réactives d’un conducteur humain, la réaction de la machine est plus rapide et plus précise. Aussi permet-elle, dans le cas où il existe un risque d’accident, d’éviter sa réalisation dans un plus grand nombre de cas. Lorsque l’alternative se situe entre (1) l’accident et (2) l’évitement de l’accident, le choix entre le véhicule autonome et le conducteur humain paraît donc simple. Il faut choisir le véhicule autonome, car tous les dommages et coûts potentiels, directs ou indirects, sont minimisés. En revanche, si l’accident est inévitable en raison d’une conjonction de différents risques, entre autres parce que plusieurs véhicules sont impliqués, que le système de l’un d’eux est défaillant, ou que certains véhicules restent conduits par des humains, la question devient problématique. En effet, une telle éventualité suppose :
(1) D’incorporer dans les systèmes automatisés un mécanisme d’évaluation des risques relatifs et des coûts associés, directs (dommages causés aux passagers et aux personnes extérieures) et indirects (coût matériels et humains couverts par les assurances, coûts psychologiques à moyen-terme etc.)
(2) Que la machine interprète un ensemble de données codant les décisions éthiques dans les cas où la situation implique des risques pour un ou plusieurs individus humains, et ce, que l’on se place dans une optique déontologique (le véhicule agir selon des axiomes moraux prédéfinis) ou dans une optique conséquentialiste (le véhicule agit en évaluant la gravité probable des dommages relatifs infligés, selon le choix effectué).
Au-delà des problématiques techniques relatives à la prévisibilité de la réaction adoptée par la machine (Comment s’assurer que le véhicule sélectionne dans l’environnement les données pertinentes en cas de situation critique ? Comment s’assurer qu’il ne fonctionne pas selon des axiomes éventuellement contradictoires ?) il existe des difficultés relatives au contexte de prise de décision :
(3) Dans l’optique conséquentialiste, l’établissement préalable à un accident de paramètres de pondération des risques relatifs, (qu’il soit établi par défaut ou laissé au choix de l’utilisateur) nous confronte à une aporie, révélée par le « dilemme du trolley » :
Ce problème, élaboré par Philippina Foot se pose classiquement dans les termes suivants : « Vous êtes à côté d’une ligne de chemin de fer. Vous remarquez qu’un tramway vide se dirige à toute allure vers un groupe de cinq personnes. Ils seront tués par l’impact si le tramway continue sa course. La seule chose que vous pouvez faire pour éviter cet accident est actionner une ligne d’aiguillage. Si vous agissez, la trajectoire du tramway est modifiée : il se dirige désormais vers une personne présente sur la seconde voie, qui sera tuée par l’impact. »
Si l’on admet provisoirement que l’inaction relève d’un choix dont nous sommes responsables, nous sommes confrontés à un problème : pourquoi devrais-je accorder davantage d’importance à la vie des cinq personnes qu’à celle de la sixième ? On pourrait justifier l’action en prenant en compte le fait que l’on sauve 5 personnes sur 6 dans un cas (action), et seulement 1 personne sur 6 dans l’autre (inaction). Cependant, dans la mesure où les données subjectives dont nous disposons sont limitées, cette seule considération semble insuffisante pour justifier dans tous les cas une action volontaire.
Cette difficulté est visible dans une autre version du problème, reformulé par Judith Jarvis Thompson : « Vous n’êtes pas à côté de la ligne, mais sur un pont la surplombant, sur lequel se situe aussi « un homme obèse » : afin d’arrêter le tramway et éviter la mort de cinq personnes, il vous faut pousser cet homme sur la voie. » Alors que dans la première version, la majorité des personnes interrogées considèrent qu’il est juste de modifier la trajectoire du tramway, dans l’autre, une majorité se refuse à pousser « l’homme obèse » sur la voie.
Considérant les différentes variantes de ce problème et les réactions émotionnelles qu’elles suscitent en imagerie fonctionnelle, Joshua Greene suggère que le contexte « personnel » ou « impersonnel » de l’action influence profondément notre jugement éthique. Ainsi, « quand il était demandé à des sujets d’émettre un jugement dans un cas personnel [i.e. pousser l’homme obèse], les zones du cerveau associées à l’activité émotionnelle étaient plus actives que lorsqu’il leur était demander d’émettre un jugement dans un cas impersonnel [i.e. actionner la ligne d’aiguillage]. »
Dans le cas des véhicules autonomes, la programmation préalable de critères de décision, établie par un ingénieur ou un conducteur, n’inclut pas l’ensemble des données émotionnelles et contextuelles précises qui permettraient d’établir un « programme éthique » généralisable.
On peut donc se satisfaire des résultats des véhicules autonomes en ce qui concerne la diminution générale du nombre d’accidents. En cas d’accident, les dommages sont également limités dès lors que la situation n’implique pas d’arbitrage éthique (entre la vie de plusieurs personnes par exemple).
Dans le cas contraire, si la vie de deux passagers, d’un passager et d’un passant ou toute autre combinaison est en jeu, il est impossible de conférer à la réaction programmée de la machine une supériorité éthique sur la réaction « instinctive » d’un conducteur humain. En d’autres termes, comme le souligne Stephen Zoepf , la décision d’introduire les véhicules autonomes, lors de la fondation de la SUNI se fondait sur le raisonnement selon lequel cette introduction permettait de réduire le risque d’accidents à grande échelle. Le tradeoff impliquait une comparaison entre les statistiques d’accidentologie routière alors disponibles (sur un échantillon de 997 personnes établi en 2013, dans les 27 Etats-membres de l’Union européenne, 66 % étaient dus à une erreur du conducteur humain, 13% à un facteur environnemental et 21% à une défaillance, soit de la machine, soit de l’interface homme-machine) et les performances des voitures autonomes, qui permettaient de réduire drastiquement le risque imputable au conducteur humain.
(4) Enfin, selon Bonnefon et al. la réaction « morale » programmée par les ingénieurs et les conducteurs humains peut entrer en contradiction avec la réaction effective souhaitée par les acheteurs de véhicules automatiques. Même si nous acceptons l’hypothèse utilitariste qu’il est moralement préférable de sacrifier, par exemple, le passager de la voiture plutôt que 10 passants (fig. 1), il est peu probable qu’une majorité de consommateurs choisissent ce modèle, plutôt qu’un modèle privilégiant leur propre sécurité. Ce « dilemme social », initialement sous-estimé par les autorités de la SUNI, a pris de l’ampleur. Les autorités ont réagi en imposant des limites claires aux choix de programmation disponibles sur nos véhicules, qui devaient dès lors tous réagir de manière utilitariste. Cette décision a été vivement critiquée, une large majorité de nos concitoyens accusant le gouvernement de paternalisme. Selon eux, les dirigeants prenaient des risques pour leur sécurité individuelle en leur propre nom. Les restrictions imposées ont finalement été déclarées inconstitutionnelles en l’an 2026, mais aucune alternative n’a été développée. De nouvelles méthodes doivent voir le jour pour permettre d’inciter les acheteurs à choisir les véhicules utilitaristes, sans les y contraindre de manière paternaliste.
FIGURE 1 :
SOURCES :
- Philippa Foot, « The Problem of Abortion and the Doctrine of the Double Effect », Virtues and Vices, Oxford, Basil Blackwell, 1978
- Judith Jarvis Thomson, « The trolley problem », Yale Law Journal, vol. 94, 1985, p. 1395-1415
- Joshua D. Greene, R. Brian Sommerville, Leigh E. Nystrom, John M. Darley and Jonathan D. Cohen, ‘‘An fMRI Investigation of Emotional Engagement in Moral Judgment,’’ Science 293 (2001), pp. 2105–2108.
- Jean-François Bonnefon, Azim Shariff, *, Iyad Rahwan, †, “The social dilemma of autonomous vehicles”, Science, 24 Jun 2016, Vol. 352, Issue 6293, pp. 1573-1576
