Réponse
Oui, les personnes ne devraient pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé (tel que des algorithmes) et qui est juridiquement contraignante ou qui les affecte de manière significative.
Une décision produit des effets juridiques lorsque les droits ou le statut juridique de la personne concernée sont affectés (tels que son droit de vote, par exemple). De plus, le traitement peut affecter de manière significative une personne s’il influence les circonstances personnelles dans lesquelles elle se trouve, son comportement ou ses choix (par exemple, un traitement automatisé peut mener au refus d’une demande de crédit en ligne).
Le recours au traitement automatisé pour prendre une décision n’est autorisé que dans les cas suivants:
- la décision fondée sur l’algorithme est nécessaire (c’est-à-dire qu’il n’existe pas d’autre manière d’atteindre le même objectif) pour conclure ou exécuter un contrat avec la personne dont votre entreprise/organisation traite les données grâce à l’algorithme (par exemple une demande de prêt en ligne);
- une législation UE ou nationale particulière permet le recours aux algorithmes et fournit des garanties appropriées pour protéger les droits, les libertés et les intérêts légitimes des personnes concernées (par exemple des réglementations visant à lutter contre l’évasion fiscale);
- la personne a donné son consentement explicite à une prise de décision fondée sur l’algorithme.
Cependant, la décision prise doit protéger les droits, les libertés et les intérêts légitimes de la personne concernée, en mettant en œuvre des garanties appropriées. Sauf si une telle prise de décision est fondée sur un droit, , la personne concernée doit être au moins informée i) de la logique sous-jacente au processus de prise de décision, ii) de son droit d’obtenir une intervention humaine, iii) des conséquences éventuelles du traitement, et iv) de son droit de contester la décision. Votre entreprise/organisation doit donc prendre les mesures procédurales requises pour permettre à la personne d’exprimer son point de vue et de contester la décision.
Enfin, il faut faire preuve de vigilance si l'algorithme recourt à des catégories spéciales de données à caractère personnel: la prise de décision automatisée n’est autorisée que dans les circonstances suivantes:
- la personne a donné son consentement explicite; ou
- le traitement est nécessaire pour des motifs d’intérêt public importants, sur la base du droit UE ou du droit national.
En outre, si la personne concernée est un enfant, il faut éviter de prendre des décisions exclusivement automatisées qui produisent des effets juridiques ou qui l’affectent de manière significative de façon similaire, car les enfants représentent un groupe plus vulnérable de la société.
Exemple
Votre entreprise/organisation est une banque en ligne qui propose des prêts. Les clients saisissent leurs données et un algorithme vous informe si un prêt doit ou non être accordé à un client et vous communique le taux d’intérêt suggéré. Votre entreprise/organisation doit examiner cette décision avant de contacter votre client potentiel et l’informer qu’il peut exprimer son avis et éventuellement contester la décision, en gardant à l’esprit qu’il a le droit de ne pas faire l’objet d’une décision fondée sur des algorithmes.
Références
Example
Your company/organisation is an online bank offering loans. Clients insert their data and an algorithm produces results on whether they should be offered a loan or not and the suggested interest rate. Your company/organisation needs to review the said decision before communicating to the prospective client and inform him that he may express his opinion and eventually contest the decision, keeping in mind that the individual has the right not to be subject to a decision based on algorithms.