AI and algorithmic recruitment systems under EU law: Compliance complexity and inadequate protection

Abstract

The use of artificial intelligence (AI) and other algorithmic systems in recruitment may offer employers cost and efficiency benefits. However, the use of such algorithmic recruitment systems (ARS) introduces significant legal challenges and risks, particularly where ARSs support or automate decision-making. Despite increasing regulatory and scholarly attention, a comprehensive and systematic legal analysis of how EU legislation constrains and shapes the use of ARSs and protects job applicants from associated risks had not been conducted. This dissertation addresses that gap by examining two research questions.

First, this dissertation examines how EU legislation constrains and shapes employers’ use of ARSs that involve AI and algorithmic decision-making. Second, it analyses what legal safeguards EU legislation provides to protect job applicants against data protection infringements and discrimination arising from the use of such ARSs, and assesses their adequacy. Drawing on the findings, I argue that despite the multiple constraints and conditions imposed on employers’ use of ARSs, the EU level legal framework is inadequate to protect job applicants from the risks posed by ARSs that involve AI or algorithmic decision-making. The inadequacy stems primarily from vague legal parameters, limited ex-ante oversight, structural barriers to enforcement by job applicants, and inherent limitations of available remedies.

This dissertation adopts a primarily legal dogmatic approach, interpreting and systematising relevant provisions across multiple EU legal instruments. This analysis produces a framework of key legal parameters for ARS use, categorising applicable norms into bans, obligations, specific duties and actionable rights.

The framework reveals that only a few specific ARS use cases are categorically banned, such as social scoring in AI-based recruitment systems. Most ARSs remain permissible but are subject to multiple vague legal parameters concerning data protection, non-discrimination and transparency. While the vaguely formulated legal parameters grant employers considerable leeway in deploying ARSs, they also create significant uncertainty, making it challenging for employers to ensure compliance with EU legislation. However, even if the legal parameters were clear, ensuring compliance could be difficult as the ARSs are complex and opaque, and employers may struggle to sufficiently understand and affect their workings to adhere to the legal parameters. These compliance difficulties pose risks to employers, as sanctions for non-compliance may be substantial.

However, under the current legal framework, there is no systematic ex-ante oversight of ARSs, which emphasises the role of ex-post enforcement. If supervisory authorities do not have sufficient resources to investigate ARSs and enforce the legislation, the primary responsibility for detecting faults and breaches and making employers accountable for those falls on job applicants and the organisations representing them. Yet, the ex-post enforcement faces several obstacles. Due to the vague legal parameters and limited access to unmediated information about the ARSs, job applicants often lack the information needed to detect rights violations. Even when rights infringements are suspected, proving such allegations in judicial proceedings poses a further challenge. The modest probability of successful enforcement also weakens the deterrent effect of the legal parameters in practice, reducing employers’ incentive to ensure compliance and leaving job applicants with limited assurance that the legal parameters will be observed.

Judicial interpretation of the existing legal framework could partially mitigate the problems job applicants face. Courts could, for instance, shift the burden of proof to the employer at a lower evidentiary threshold where the ARS used is opaque and technically complex. Such interpretations could also strengthen the preventive effects of the legislation by creating incentives for employers to deploy more transparent and compliant systems or, in extreme cases, to refrain from using certain ARSs altogether. The interpretative solutions, however, are contingent on applicants’ ability to initiate proceedings in the first place and do not resolve the limitations of the available remedies. Even where a violation is successfully demonstrated, the available remedies may amount to only monetary compensation, while the loss of a job opportunity remains irreversible.

Taken together, these findings indicate that the EU’s legal framework concerning the use of ARSs creates compliance challenges for employers and leaves job applicants insufficiently protected. While employers’ compliance challenges could be alleviated by future case law and guidance from authorities, adequate protection for job applicants would require further legislative development. In the meantime, the framework of key legal parameters serves as a practical tool to help various stakeholders navigate the fragmented, constantly evolving regulatory environment surrounding ARSs.

---- Tekoälyn (AI) ja muiden algoritmisten järjestelmien käyttö rekrytoinnissa voi tarjota työnantajille kustannus- ja tehokkuushyötyjä. Tällaisten algoritmisten rekrytointijärjestelmien (ARS) käyttö tuo kuitenkin mukanaan merkittäviä oikeudellisia haasteita ja riskejä erityisesti silloin, kun järjestelmät tukevat tai automatisoivat päätöksentekoa. Sääntelyssä ja tutkimuksessa on enenevissä määrin kiinnitetty huomiota ARS:iin. Kattavaa ja systemaattista oikeudellista analyysiä siitä, miten EU:n lainsäädäntö rajoittaa ja ohjaa ARS:ien käyttöä sekä suojaa työnhakijoita niihin liittyviltä riskeiltä ei ollut kuitenkaan toteutettu. Tämä väitöskirja vastaa kyseiseen tutkimusaukkoon tarkastelemalla kahta tutkimuskysymystä.

Ensinnäkin tässä väitöskirjassa tutkitaan, miten EU:n lainsäädäntö rajoittaa ja muovaa työnantajien mahdollisuuksia käyttää ARS:iä, joihin sisältyy tekoälyä ja algoritmista päätöksentekoa. Toiseksi väitöskirjassa analysoidaan, mitä oikeudellisia suojamekanismeja EU:n lainsäädäntö tarjoaa työnhakijoille tällaisten ARS:ien käytöstä aiheutuvia tietosuojaloukkauksia ja syrjintää vastaan sekä arvioidaan näiden suojamekanismien riittävyyttä. Näiden kysymysten analyysi kiteytyy väitöskirjan keskeiseen argumenttiin: huolimatta lukuisista rajoituksista ja ehdoista, joita työnantajien ARS:ien käyttöön kohdistuu, EU:n voimassa oleva sääntelykehys ei riitä suojelemaan työnhakijoita ARS:ien aiheuttamilta riskeiltä. Riittämättömyys aiheutuu ensisijaisesti epätarkasti määritellyistä oikeudellisista parametreista, rajallisesta ennakkovalvonnasta, työnhakijoiden kohtaamista rakenteellisista esteistä oikeuksiensa käyttämiselle ja täytäntöönpanolle sekä käytettävissä olevien oikeussuojakeinojen sisäänrakennetuista rajoituksista.

Väitöskirjassa sovelletaan ensisijaisesti lainopillista tutkimusmenetelmää tulkitsemalla ja systematisoimalla useita EU-oikeudellisia säädöksiä. Analyysin tuloksena muodostetaan ARS:ien käyttöön sovellettavien oikeudellisten parametrien kehikko, joka luokittelee sovellettavat normit kieltoihin, velvollisuuksiin, erityisiin velvoitteisiin ja vetoamista edellyttäviin oikeuksiin.

Oikeudellisten parametrien kehikko osoittaa, että vain harva ARS:ien käyttötapaus on ehdottomasti kielletty, kuten sosiaalinen pisteytys tekoälypohjaisissa rekrytointijärjestelmissä. Suurta osaa ARS:istä on sallittua käyttää. Kaikkien ARS:ien käyttö edellyttää kuitenkin useiden erityisesti tietosuojaan, syrjinnän kieltoon ja läpinäkyvyyteen tähtäävien monitulkintaisten oikeudellisten parametrien noudattamista. Epätarkasti muotoillut oikeudelliset parametrit jättävät työnantajille liikkumavaraa ARS:ien käyttöönotossa, mutta samalla ne luovat merkittävää epävarmuutta ja vaikeuttavat työnantajien mahdollisuuksia varmistaa, että ne noudattavat sääntelyä. Vaikka oikeudelliset parametrit olisivat selkeät, ARS:ien monimutkaisuus ja läpinäkymättömyys vaikeuttavat lainsäädännön noudattamisen varmistamista, sillä työnantajat eivät välttämättä ymmärrä järjestelmiä ja pysty vaikuttamaan niiden toimintaan riitävästi. Nämä sääntelyn noudattamisen haasteet luovat työnantajille riskejä, sillä seuraamukset vaatimusten laiminlyönnistä voivat olla huomattavia.

Voimassa oleva EU:n sääntelykehys ei edellytä ARS:ien systemaattista ennakkovalvontaa, mikä korostaa jälkikäteisen oikeusturvan ja täytäntöönpanon merkitystä. Jos valvontaviranomaisilla ei ole riittäviä resursseja ARS:ien tutkimiseen ja lainsäädännön täytäntöönpanoon, ensisijainen vastuu puutteiden ja rikkomusten havaitsemisesta sekä työnantajien saattamisesta vastuuseen niistä jää työnhakijoiden ja heitä edustavien organisaatioiden harteille. Jälkikäteiseen oikeusturvaan ja täytäntöönpanoon kohdistuu kuitenkin useita ongelmia. Epätarkkojen oikeudellisten parametrien ja ARS:iä koskevan välittömän ja suodattamattoman tiedonsaannin rajallisuuden vuoksi työnhakijoilla ei usein ole riittävästi tietoa oikeuksiensa loukkausten havaitsemiseksi. Silloinkin, kun oikeuksia epäillään loukatun, väitteiden todistaminen tuomioistuinmenettelyssä on vaikeaa. Täytäntöönpanon onnistumisen alhainen todennäköisyys heikentää käytännössä myös oikeudellisten parametrien ennaltaehkäisevää vaikutusta ja vähentää työnantajien kannustimia varmistaa, että ne noudattavat säädöksiä. Nämä seikat lisäävät myös työnhakijoiden epävarmuutta siitä, noudatetaanko oikeudellisia parametreja.

Lainsäädännön tulkinnalla tuomioistuimissa voitaisiin osittain lieventää työnhakijoiden kohtaamia ongelmia. Tuomioistuimet voisivat esimerkiksi siirtää todistustaakan työnantajalle alhaisemmalla näyttökynnyksellä, jos käytetty ARS on läpinäkymätön ja teknisesti monimutkainen. Tällaiset tulkinnat voisivat myös vahvistaa lainsäädännön ennaltaehkäiseviä vaikutuksia luomalla työnantajille kannustimia ottaa käyttöön läpinäkyvämpiä ja lainsäädännön vaatimukset paremmin täyttäviä järjestelmiä. Äärimmäisissä tapauksissa tulkinnat saattaisivat jopa kannustaa pidättäytymään joidenkin ARS:ien käytöstä kokonaan. Tuomioistuinten tulkintaratkaisut auttavat kuitenkin vain siinä tapauksessa, että työnhakijat vievät asiansa oikeuteen, eivätkä ne ratkaise käytettävissä olevien oikeussuojakeinojen rajoituksia. Vaikka työnhakijat menestyisivät oikeudenkäynnissä, he olisivat EU oikeuden nojalla oikeutettuja ainoastaan rahalliseen korvaukseen. Työtilaisuuden työnhakijat menettävät peruuttamattomasti.

Yhdessä nämä havainnot osoittavat, että työnantajat kohtaavat merkittäviä haasteita ARS:ien käyttöä koskevan EU:n voimassa olevan sääntelykehyksen noudattamisessa, eikä sääntelykehys suojaa riittävästi työnhakijoita. Työnantajien taakkaa voisivat helpottaa tuleva oikeuskäytäntö ja viranomaisten ohjaus; työn hakijoiden riittävän suojan takaaminen sen sijaan edellyttäisi lainsäädännöllisiä muutoksia. Näitä kehitysaskeleita odotellessa tässä väitöskirjassa kehitetty oikeudellisten parametrien kehikko voi auttaa eri sidosryhmiä hahmottamaan ARS:ien käyttöä ohjaavaa pirstaleista ja jatkuvasti muuttuvaa sääntelyä.