Deixar uma IA corrigir erros ortográficos num texto é uma coisa. Deixá-la selecionar candidatos, avaliar o desempenho de um colaborador ou decidir quem tem direito a uma prestação é algo completamente diferente. A este tipo de utilização a lei chama alto risco. Os requisitos para essas ferramentas são rigorosos e têm de estar cumpridos antes de a ferramenta entrar em uso — não depois.

Uma IA aprendeu com a realidade. Se a realidade era enviesada, ela aprende também o enviesamento — e reproduzi-lo numa linguagem correta e objetiva, onde é difícil de detetar. Uma verificação rápida: troque o nome, a idade ou a morada naquilo que está a analisar. Se a sugestão passar de repente a parecer diferente, vale a pena mencioná-lo. Não tem de conseguir provar estatisticamente um enviesamento — basta reparar nele e dizê-lo.

Não precisa de saber as regras de cor. Precisa de saber reconhecer a situação e dizê-lo em voz alta antes de a ferramenta entrar em uso: “Isto avalia pessoas — foi verificado?” Essa pergunta é todo o seu papel, e é um seguro barato.