Regulating the Black Box – Prevention of Discrimination in Automated Decision-Making

Abstract

Machine learning enables efficient processing of big data, which can be utilised in algorithmic decision-making. When decisions that affect individuals, such as recruitment and credit decisions, are outsourced to machines, questions of discrimination and data protection arise. Discrimination may occur in automated decision-making if the decisional rules in the algorithm are either directly or indirectly discriminating or if there are issues with data quality. In the European Union, individuals are protected from discrimination by private entities based on several directives with different scopes when it comes to the protected grounds (e.g. gender, ethnicity or age) and area of regulation (e.g. employment or sale of goods and services). In addition, the non-discrimination provisions of the European Convention of Human Rights and the Charter of Fundamental Rights of the European Union have a horizontal direct effect to some extent. The general principle of equality and the prohibition of discrimination based on a protected ground both have an effect to automated decision-making. Direct discrimination can be found in the context of machine learning if the automated decision treats a person belonging to a protected group in a less favourable way in comparison to another person in a similar situation and this difference is based directly on a forbidden ground. Indirect discrimination is more challenging to spot in algorithms because the rules in the decision-making model may appear neutral while having the side effect of discriminating against one of the specific forbidden grounds. The differentiation may be based on an objective attribute, such as a ZIP code, but in fact, the objective attribute may be correlated with a protected ground, such as ethnicity. The General Data Protection Regulation sets a general prohibition for the use of automated decision-making, as well as several exceptions to the prohibition. The principle of purpose limitation restricts the possibilities to reuse personal data originally collected for a certain purpose in an automated decision-making model. The principle of data minimisation obliges the controllers to keep the amount of data at a minimum for the purpose of processing. The principle of data accuracy supports non-biased automatic decision-making by requiring that inaccurate data is rectified. There are several technical solutions aimed at the creation of accountable algorithms but a legal analysis on the legitimacy of such methods is missing. The main purpose of this thesis is to bring clarity to the issue of discrimination in automated decision-making from a legal point of view, suggesting that wider interdisciplinary research, especially with legal expertise on non-discrimination legislation, is needed.

Koneoppiminen mahdollistaa big datan tehokkaan käsittelyn, mitä voidaan hyödyntää algoritmisessa päätöksenteossa. Etenkin yksilöille merkittävien päätösten, kuten rekrytoinnin ja lainapäätösten, ulkoistaminen automaattisille järjestelmille herättää kysymyksiä liittyen tietosuojaan ja syrjimättömyyteen. Automaattinen päätöksenteko voi johtaa syrjintään, jos algoritmin päätössäännöt ovat välillisesti tai välittömästi syrjiviä, tai jos data on huonolaatuista. Euroopan unionissa yksilöitä suojataan yksityisten toimijoiden syrjinnältä erilaisin direktiivein, jotka eroavat toisistaan siinä, mitkä henkilöön liittyvät syyt (esim. sukupuoli, etninen tausta tai ikä) otetaan huomioon ja mitä osa-aluetta (esim. työ tai tavaroiden tai palveluiden tarjoaminen) sääntely koskee. Lisäksi Euroopan ihmisoikeussopimuksen ja Euroopan unionin perusoikeuskirjan syrjintää koskevia säännöksiä voidaan jossain määrin suoraan soveltaa myös yksityisten välisissä suhteissa. Yhdenvertaisuusperiaate ja syrjinnän kielto tiettyjen henkilöön liittyvien syiden perusteella tulee ottaa huomioon automaattisessa päätöksenteossa. Koneoppiva malli voidaan todeta välittömästi syrjiväksi, jos automaattisesti tehty päätös asettaa huonompaan asemaan henkilön, joka kuuluu suojattuun vähemmistöön ja erona tämän ja verrattavan henkilön välillä on ainoastaan kuuluminen kyseiseen vähemmistöön. Välillistä syrjintää on vaikeampi havaita algoritmeista, koska tuolloin säännöt, joihin päätöksenteko perustuu, vaikuttavat neutraaleilta mutta asettavat tosiasiassa vähemmistöön kuuluvat heikompaan asemaan. Erottelu päätöksenteon kohteiden välillä saattaa perustua objektiiviseen tekijään, kuten postinumeroon, mutta tämän tekijän ja henkilöön liittyvän syyn, kuten etnisen taustan, välillä voi olla korrelaatio. Yleinen tietosuoja-asetus pääsääntöisesti kieltää automaattisen päätöksenteon, mutta tähän kieltoon on useita poikkeuksia. Käyttötarkoitussidonnaisuuden periaate rajoittaa mahdollisuuksia käyttää automaattisen päätöksentekosovelluksen kehittämisessä henkilötietoja, jotka on alun perin kerätty toista tarkoitusta varten. Tietojen minimoinnin periaate velvoittaa rekisterinpitäjiä käsittelemään ainoastaan tarkoitusta varten tarpeellisen määrän tietoja. Täsmällisyyden periaate tukee syrjimätöntä automaattista päätöksentekoa siten, että se velvoittaa oikaisemaan epätarkat ja virheelliset henkilötiedot. On olemassa useita teknisiä ratkaisuja algoritmien vastuulliseen ja läpinäkyvään käyttöön. Näitä keinoja ei ole kuitenkaan analysoitu oikeustieteen näkökulmasta. Tämän tutkielman ensisijainen tarkoitus on selkeyttää syrjintään liittyviä ongelmia automaattisessa päätöksenteossa oikeustieteen keinoin. Laajempi poikkitieteellinen tutkimus aiheesta on tarpeen, erityisesti tutkimus, jossa hyödynnetään syrjimättömyyttä koskevan lainsäädännön asiantuntemusta.