Kategori: politisk alvor
Hvad er op og ned i debatten om kunstig intelligens.
09-02-2019
Merethe Eckhardt, Udviklingsdirektør i Domstolsstyrelsen, har skrevet et debatindlæg i Altinget om en eventuel brug af AI i retsvæsenet. Hun mener, at et system med kunstig intelligens kan afsløre fordomme hos mennesker og derfor kan fungere som en kvalitetssikring. " Brugt rigtigt kan AI i juridisk øjemed effektivisere og kvalitetssikre hele retsvæsenet. "

Digitale systemer med kunstig intelligens er - så vidt jeg ved - allerede nu fremragende værktøjer, som assisterer os i mange situationer, og de vil med tiden blive endnu bedre hjælpemidler i mange former, bl.a. som robotter i industrien, og når vi vil overskue store mænder af oplysninger. AI vil blive lige så uundværlig for os som computeren og internettet er i dag. Vi vil ikke kunne forstå, hvordan vi kunne leve uden. Men det er farligt at bruge AI mod mennesker. Det er et spørgsmål, om det overhovedet kan lade sig gøre på en "rigtig" måde.

I debatindlægget nævner Merethe Eckhardt et charter fra EU. Det er sandsynligvis "European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their environment", udgivet af Europa-Kommissionen 3. dec. 2018. Det indeholder 5 grundprincipper, 10 kapitler og en tjekliste, ligesom indlægget i Altinget nævner. Men mit indtryk af chartret er helt forskellig fra udviklingsdirektøren.

Chartret omhandler AI på flere områder inden for retsvæsenet: Om AI kan være en hjælp for en dommer ved afsigelse af domme, eller om AI selv kan afsige domme uden at en dommer er tilstede. Om AI kan bruges til at forudsige, hvordan en dommer vil afgøre en sag. Om AI kan forklare en dom, som er afsagt. Om AI kan give en risikovurdering af en dømt person og forudsige, om den dømte begår ny kriminalitet, hvis han løslades. Om politiets brug af AI til at forudsige, hvilke steder der vil ske forbrydelser, eller hvilke personer, som vil begå dem.

Chartret konkluderer på alle disse områder, at systemer med kunstig intelligens enten ikke må bruges eller at det skal ske med yderste forsigtighed og aldrig uden grundige overvejelser, fordi det ellers kan medføre alvorlige og skæbnesvangre konsekvenser for enkeltpersoner. Chartret opstiller 5 grundliggende krav, som kunstige systemer skal opfylde inden anvendelse.

To af kravene eller grundprincipperne er 'Principle of respect for fundamental rights' og 'Principle of non-discrimination'. Krænkelse af menneskerettighederne skal forhindres, så ingen grupper eller enkeltpersoner udsættes for diskrimination. Det er helt klart vigtige og rimelige krav. Men kan AI opfylde dem? Er det indbygget i AI systemer, at fordomme og forkerte resultater ikke kan undgås?

Udviklingsdirektøren omtaler flere AI systemer, som ikke fungerede efter hensigten, bl.a. brugte Amazon et rekruteringsprogram, men det viste sig, at systemet havde bias mod kvinder og nødig ville foreslå dem til ansættelse. Det skyldtes de data, som dette AI var indlært med, siger udviklingsdirektøren og konkluderer:" Den kunstige intelligens afslørede, at vi fortsat har bias." Hendes tankegang er ikke klar. Var det virkelig et AI system, som afslørede bias hos Amazon. Eller var det snarere firmaet som heldigvis opdagede, at systemet ikke fungerede. Systemet opfattede korrekt, at Amazon historisk set har ansat flest mænd, men firmaets politik er at ansætte dygtige personer uanset køn. Det kunne systemmet ikke fatte. Og åbenbart er det svært at rette i et kunstigt system, når det fungerer uhensigtsmæssigt. Systemet må simpelthen skrottes.

Udviklingsdirektøren skriver:" Den gode nyhed er, at det nu kommer for en dag." Nej, det er ikke nogen god nyhed. Vil vi altid opdage, når et AI system har bias, dvs. begår fejl? Taget i betragtning at et AI danner sin afgørelser ud fra utrolig mange variabler. Et AI måler ikke kun på forhold som mand/kvinde, hvid/brun eller fattig/rig, hvor vi måske kan konstatere, at der udvises bias. Et AI måler på tusinder af variabler. Hvordan kan vi opdage, hvilken variabel som fører til en fordom eller en forfordeling af en person. En rapport fra Harvard universitet fra 2018 nævner en amerikansk bank, som med et AI vurderer en kundes kreditværdighed udfra 3.000 variabler, bl.a. om han har tendens til at skrive med store bogstaver, ligesom Trump.

Et andet krav som chartret stiller er "Principle of transparency, impartiality and fairness".

Mon AI nogensinde kan blive transparent. Chartret indrømmer, at transparens kun vanskeligt vil kunne opnås, da IT-virksomhedene ikke vil offentliggøre deres algoritmer og data. Men når producenter ikke vil offentliggøre detaljer i deres systmer, hænger det måske sammen med, at det er ugennemskueligt - også for producenten - , hvordan et AI 'ræsonerer'. Måske skjuler producenterne oplysninger om deres AI systemer, fordi det er skjult for dem selv, hvordan et AI når frem til sine resultater. Og det vil firmaerne selvfølgelig nødig offentliggøre.

En leder i avisen ' The Guardian' mener, at teknikerne i AI er uigennemsigtige, selv for programmørerne ('modern machine learning techniques are opaque, even to their programmers'). Og under overskriften ' Lægerobot i modvind - foreslog livsfarlig medicin til danske patienter' skriver Tv2, at danske kræftlæger på Rigshospitalet har opgivet at anvende IBM's Watson for Oncology, fordi flere af dens forslag var ' helt hen i skoven', og ingen kunne ikke forklare, hvorfor den kom frem til sine forkerte resultater. Systemet var ikke transparent.

Upartisk og fair kan et AI system aldrig blive, fordi systemet, som følge af brugen af statistik, ikke ser et menneske som en enkeltperson, men som medlem af en gruppe. Systemet anvender stereotyper. Det kan kun gå galt.
. .an important paper published in the aftermath of the COMPAS controversy suggests that it may be well-nigh impossible to design algorithms that treat individuals belonging to different groups equally fairly across multiple different dimensions of fairness. Harvard s. 23
Det er et AI's natur, at det ikke kan være transparent, upartisk og fair, ikke kun på grund af snavs (bias) i data, men også fordi programmørerne ikke er neutrale.
Moreover, the neutrality of algorithms is a myth, as their creators consciously or unintentionally transfer their own value systems into them. The philosopher, Eric Sadin, noted that, behind their efficient and impersonal facade, algorithmic systems imperceptibly reflect the intentions of their designers or sponsors, inducing a functioning and asymmetric power over the lives of other people. chartret s. 46.
Kan AI så i det mindste fungere som værktøj for en dommer, når han skal afsige en dom, dels ved at finde domme fra lignende sager, dels ved at afsløre om der er bias hos dommeren eller andre, som ikke må påvirke dommen?

Chartret taler om 'case law'. Det begreb peger på et væsentligt forhold ved en dommers arbejde, nemlig at han ikke kun afsiger en dom ud fra landets love. En dommer overvejer i hver enkelt sag, om der er særlige forhold, som han skal tage i betragtning. Et AI system finder lignende sager ved at se bort fra særlige forhold i de enkelte sager. Hvis dommeren påvirkes af AI, vil han dømme som andre har gjort og ikke lægge vægt på detaljer i hans konkrete sag, og AI kunne derfor medføre at domme standardiseres eller fastfryses. Desuden har AI en aura af objektivitet, og dommeren vil måske ikke have mod til at modsige den afgørelse, som AI foreslår. Det kunne bevirke, at Dommerens myndighed og selvstændighed begrænses

Blandt fortalere for brugen af AI i retsvæsenet fremføres det synspunkt, at et digitalt system vil træffe afgørelser, som ikke er præget af de fordomme (bias), som en dommer kan have. Måske er det også udviklingsdirektørens synspunkt. Chartret mener modsat, at kunstige digitale systemer uundgåeligt har bias, og giver to eksempler. Først domme om forældremyndighed. Statistisk set får moderen som oftest forældremyndigheden. Det er et faktum og det vil præge den afgørelse, som AI vil foreslå. Men statistikken dækker over, at dommeren i hvert enkelt tilfælde tager mange forhold i betragtning. AI arbejder med sandsynligheder ("probabilistic") og evner ikke at se de grunde ('causative'), som en dommer kan have i den enkelte sag.
For example, the fact that a family court statistically decides more often that children should live with their mother does not necessarily reflect the judge's bias in favour of women, but rather the existence of psychosocial, economic and even cultural factors specific to the jurisdiction chartret s. 32
Chartret nævner et andet eksempel (på s. 44). Dommeren kan afgøre, at en kvindelig lovovertræder skal sættes på fri fod ( mod kaution, i de lande hvor dette anvendes), selv om der er risiko for at hun vil begå ny kriminalitet. Dommeren kan træffe denne afgørelse af mange grunde, f.eks. lægge vægt på at hun har et barn, mens et digitalt system kun bedømmer en sådan sag udfra sandsynligheden for ny kriminalitet og ikke kan tage andre hensyn i den konkrete sag.

Chartret nævner også politiets brug af digitale systemer. I flere lande, deriblandt Danmark, anvendes AI til at forudsige kriminalitet (predictive policing), og chartret mener, at der er en fare for, at AI kan 'gå i selvsving'. Systemet forudsiger, at politiet skal være særlig opmærksom på et område, hvor der er mulighed for at der snart vil ske kriminalitet. Politiet reagerer og patruljerer oftere dér og pågriber derfor et større antal kriminelle end de ellers ville have gjort. AI vil registrere det og mene, at risikoen i området er vokset og vil igen sende politiet derhen. Det er 'vicious circles', eller 'self- fulfilling prophecies' ( chartrets. 41). I øvrigt er der fare for 'algoritme-tyranni', som formindsker eller erstatter politibetjentes bedømmelser, da det er lettere bare at stole på algoritmen.

En lederartikel i The Guardian peger også på dette problem:
Because crimes are detected more often where there are police to detect them, the areas in which police are concentrated will tend to have higher recorded crime rates, which in turn suggests that they need more police sent to them, and so on. Only constant human attention will keep the technology focused where it is useful.


Det danske politi , som er begejstret for predictive policing, ser dog ingen problemer. På spørgsmålet om dansk politi har overvejet risikoen for et feedback loop (det samme som ovennævnte 'self- fulfilling prophecies') svarer vicepolitimester Ole Andersen fra Rigspolitiet, at den problemstilling er 'filosofisk', og dermed åbenbarer han en katastrofal mangel på viden om farerne ved kunstig intelligens. Ligesom børn ikke må lege med ild, fordi det er farligt, skulle det være forbudt, at politiet leger med digitale systemer, når de ikke har den mindste indsigt i, hvordan systemerne fungerer.

EU's charter undersøger flere områder inden for retsvæsenet, men ingen af dem kan med fordel og uden forbehold anvende AI i følge chartret. Og i stærke vendinger advares der mod brugen af digitale systemer til at forudsige risikoen for ny kriminalitet:
In the light of the many existing questions as to their compatibility with a certain number of fundamental rights, the use of algorithms to calculate the potential risks of recidivism of an individual brought to justice should be considered with the most extreme reservations chartret s. 50
To franske retskredse i Rennes og Douai testede i 2017 et AI program, som skulle assistere domstolene og sikre lighed for loven. Men programmet blev opgivet, fordi det ikke tilføjede nogen ekstra værdi og tværtimod udviste bias (eller foreslog forkerte afgørelser), som skyldtes, at programmet byggede på forekomsten af ord i domme ('lexical occurrences of judicial reasoning') og ikke de årsager, som dommerne havde lagt til grund for deres domme ('the causalities that had been decisive in the judges' reasoning' ).

En lederartikel i avisen ' The Guardian' fra 7. februar 2019 har overskriften:" The Guardian view on crime and algorithms: big data makes bigger problems." med underrubrikken:" Machines can make human misjudgments very much worse. And should never be trusted with criminal justice." (min understregning). Avisen ikke kun advarer imod men afviser brugen af AI i retsvæsenet.

Udviklingsdirektøren nævner i sit debatindlæg måske med stolthed, at chartret fra EU har 10 kapitler og er på 55 sider og har en tjekliste til sidst. Chartret er da også grundigt og kritisk udarbejdet med en realistisk vurdering af kunstig intelligens. Men ikke i sammenligning med Canadas deklaration om AI, som fylder 315 sider.

Jeg ved ikke hvor bindende et charter vedtaget i EU er for medlemslandene. Vil den danske regering lade som chartret ikke findes eller læse det på samme måde som Merethe Eckhardt. Hun er udviklingsdirektør, og det er bekymrende at netop hun kan have en så overfladisk opfattelse af AI. Det er uforståeligt på baggrund af, at hun selv har været med til at udarbejde chartret. Det kan måske forstås ud fra ordene:" Vi har sammen udarbejdet et etisk charter for brug af AI i judicielle systemer, og charteret blev vedtaget 3. december 2018. "

Da det ikke kan være fra chartret, at Merethe Eckhardt har sine positive synspunkter om AI, må det være andetstedsfra. Og de synspunkter, som hun fremfører, lyder mere som om det er fra producenters salgsmateriale. I USA og nogle byer i England bruges AI i retsvæsenet. Mon ikke de firmaer, som producerer kunstig intelligens er ivrige efter at sælge deres produkter til andre lande. Domstolstyrelsen er sandsynligvis blevet kontaktet af et eller flere af disse firmaer. Vi må håbe, at styrelsen ikke er lige så naiv som udviklingsdirektøren og det danske politi.
se alle indlæg
cookies