Se, että tekoäly korjaa tekstin kirjoitusvirheitä, on yksi asia. Se, että se lajittelee hakijoita, arvioi työntekijän suoritusta tai päättää, kuka saa etuuden, on aivan toinen. Laki kutsuu tällaista suureksi riskiksi. Näihin työkaluihin kohdistuvat vaatimukset ovat tiukat, ja niiden on täytyttävä ennen kuin työkalu otetaan käyttöön — ei jälkikäteen.

Tekoäly on oppinut todellisuudesta. Jos todellisuus oli vinoutunut, se oppii vinouman mukana — ja toistaa sen siistillä, asiallisella kielellä, jossa sitä on vaikea huomata. Nopea tarkistus: vaihda nimi, ikä tai asuinpaikka siinä, mitä katsot. Jos ehdotus näyttää yhtäkkiä erilaiselta, se kannattaa mainita. Sinun ei tarvitse pystyä todistamaan vinoumaa tilastollisesti — sinun pitää huomata se ja sanoa se ääneen.

Sinun ei tarvitse osata sääntöjä ulkoa. Sinun pitää osata tunnistaa tilanne ja sanoa se ääneen ennen kuin työkalu otetaan käyttöön: ”Tämä arvioi ihmisiä — onko se tarkistettu?” Tuo kysymys on koko sinun roolisi, ja se on halpa vakuutus.