De variabler, som et system indlæres med, har betydning.
En artikel "Are Algorithms Building the New Infrastructure of Racism?" skriver om Amazon:
Amazons dag til dag leveringsservice blev kritiseret for at diskriminere ikke-hvide personer, minoriteter.
Amazon forsvarede sig med:

We don’t know what our customers look like
kilde

Det var helt korrekt.

Amazon selects same-day delivery areas on the basis of cost and benefit factors, such as household income and delivery accessibility. But those factors are aggregated by ZIP code
kilde

Og netop det medfører diskrimination mod minoriteter.

Et system, Compass, bruges i det amerikanske retsvæsen til at forudsige, om risikoen for at en anklaget senere vil begå ny kriminalitet og derfor ikke må løslades.
Det spørgeskema, som politifolk og den anklagede skal udfylde og som Compass' algoritme bearbejder, indholder ikke spørgsmål om hudfarve, slægt eller postnummer. Alligevel har borgerrettighedsgruppen ProPublica fundet ud af, at Compass' anbefalinger er racistiske.

The COMPAS questionnaire doesn’t ask about skin color, heritage, or even ZIP code. . . . That these questions are more appropriately posed to a society, rather than an individual, underscores the bias in them: The answers are correlated with protected attributes, including race, which means that algorithms can learn to effectively “see” those attributes in the data
kilde

Djøfbladet:

Det undersøgende medie ProPublica har afdækket, at brugen af Compas i et amt i Florida medvirker til, at en langt større andel af sorte end hvide vurderes til at begå kriminalitet igen, selv om hyppigheden reelt er så godt som ens
kilde


The NGO ProPublica revealed the discriminatory effects of the algorithm used in COMPAS software (Correctional Offender Management Profiling for Alternative Sanctions), which aims to evaluate the risk of recidivism when the judge must determine the sentence for an individual
kilde





Agerbos Side