Negligenza

Il sottile confine tra diritto, società e tecnologia visto dalla prospettiva della responsabilità civile per negligenza

(domenica 14 aprile 2019)

Non breve introduzione al punto sulla negligenza a cui voglio arrivare.

C’è un termine, cognitive computing, che da un po’ di tempo rimbalza da tutte le parti (assieme ad edge computing (opens new window) e a quantum computing (opens new window)). Wikipedia definisce (opens new window) il cognitive computing come:

[un] nuovo hardware e/o software che imita il funzionamento del cervello umano [...] e aiuta a migliorare il processo decisionale umano

Detto in altro modo, è una piattaforma tecnologica sopra la quale, tra le altre cose, stanno:

apprendimento automatico, ragionamento, elaborazione del linguaggio naturale, riconoscimento vocale e visione (riconoscimento di oggetti), interazione uomo-computer, generazione di dialoghi e narrazioni.

Insomma, di tutto di più, basta che sia intelligenza artificiale. A mio avviso, rischia di essere un modo fuorviante in più per vedere le AI e capire i problemi che sollevano, se prima non si chiariscono altre cose.

Il tema AI è sempre più di frequente un "oggetto tecnologico non identificato" onnipresente nel nostro quotidiano. Si cerca di trasformarlo in una parola al singolare (cognitive computer, come ultima frontiera) ma la realtà è una idea più complessa e fatta di molte cose pensate per scopi diversi. La semplificazione fa parte di un processo naturale di addomesticamento delle nuove tecnologie, ma adesso viene forzata in maniera eccessiva.

Il processo naturale funziona più o meno così: man mano che la società identifica particolari casi e applicazioni, questi vengono "staccati" dal blob non meglio identificato (la parola-minestrone che le contiene tutte) e trasferiti nel quotidiano, chiamandoli con altri nomi: lavatrice smart, riconoscimento automatico del volto, Siri, filtro antispam smart, etc.

Questo sul versante del consumo. Sul versante opposto di chi produce, invece, succedono altre cose altrettanto rilevanti, sia da un punto di vista politico che economico. In ordine sparso, le ultime che ho visto.

La Cina sta diventando un soggetto sempre più importante nella ricerca sulle AI. Un ottimo indicatore è il numero di paper di ricerca cinesi "buoni", che cresce sempre di più (opens new window).

Il mensile dell’Economist, 1843, racconta la storia di DeepMind (opens new window) e dei percorsi e vicoli ciechi che ha incontrato, fino ai successi che hanno ricevuto molta attenzione poco tempo fa:

Il lavoro di DeepMind è arrivato al culmine nel 2016, quando un team ha scritto un programma di intelligenza artificiale che utilizzava l'apprendimento per rinforzo insieme ad altre tecniche per giocare a Go. Nel 2016 il programma, chiamato AlphaGo, ha suscitato stupore perché ha battuto il campione del mondo in una partita di una serie di cinque partite che si sono tenute a Seul. La vittoria della macchina, vista da 280 milioni di persone, è arrivata un decennio prima di quanto previsto dagli esperti. L'anno successivo una versione migliorata di AlphaGo ha sconfitto il campione cinese di Go.

Vogue Business racconta (opens new window) di come i negozi fisici "si facciano furbi" utilizzando l’intelligenza artificiale per migliorare la relazione e la vendita (ad esempio: riconoscere la soddisfazione dei clienti che escono analizzando automaticamente l’espressione del loro volto).

Due veri superbig dell’intellighenzia digitale planetaria, cioè Joi Ito (opens new window) e Jonathan Zittrain (opens new window), quest’anno per la terza volta faranno un corso di etica delle AI (Applied Ethical and Governance Challenges in Artificial Intelligence (opens new window)) a una classe composta di studenti per metà di Harvard e per metà del MIT. (Le tecno-élite – come tutte le élite – sono sempre autocelebrative, compiacenti e condiscendenti verso se stesse quando si muovono in ambienti più riparati).

Insomma, premessa lunga per dire che c’è un sacco sulle AI e che ne stiamo perdendo il senso. Arriviamo dunque al paper di ricerca che mi interessa raccontare.

Il paper tratta il rapporto che esiste tra la negligenza e l’intelligenza artificiale. Per "negligenza" qui faccio riferimento al concetto giuridico, uno degli elementi psicologici della colpa generica. La negligenza vuol dire compiere una attività senza la dovuta attenzione, ovvero quando viene omesso il compimento di un’azione doverosa. Attenzione, non è la stessa cosa della imprudenza (sventatezza e audacia) o della imperizia (mancanza di abilità e di esperienza).

Il paper di cui sopra si intitola Negligence and AI’s Human Users (opens new window) e tocca un tema secondo me fondamentale:

Inserendo uno strato di codice imperscrutabile, non intuitivo e di derivazione statistica tra un decisore umano e le conseguenze di quella decisione, l'IA stravolge la nostra tipica concezione della responsabilità per le scelte sbagliate.

Da qui viene fuori un ragionamento molto interessante che è stato notato da Rachel Thomas (opens new window) (una che di intelligenza artificiale qualcosa ne sa) sulle AI come "assistenti decisionali" anziché come super-robot che si muovono in tutta autonomia. Quest’ultima invece è l’idea che monopolizza o quasi il ragionamento pubblico attorno a questi problemi.

Trattare l'AI di oggi come un qualcosa dotato di agenzia [la capacità di agire] non è utile né edificante e nasconde le differenze fondamentali con l'AI di assistenza alle decisioni. L'AI che assiste le decisioni si sta rapidamente espandendo nei settori dell'occupazione, dei prestiti, della vendita al dettaglio, delle scelte strategiche, dell'agricoltura, della medicina, della finanza e della sicurezza dei dati.

E a chi le obietta che questo approccio è specifico del software e non, ad esempio, dei sistemi di sterzo delle automobili, risponde:

Leggere l'articolo prima di commentare. L'articolo riguarda le sfide legali in materia di responsabilità. Se il sistema di sterzo della vostra auto non funziona correttamente, esiste un processo consolidato per intentare una causa legale contro il produttore. Non è così per l'assistenza decisionale dell'intelligenza artificiale.

Qual è la particolarità di una "Decision assistance AI"?

[...] i robot autonomi sono un sottoinsieme ristretto delle tecnologie di AI. Più comune è quella che io definisco "AI di assistenza alle decisioni": una tecnologia che opera fornendo raccomandazioni a un utente.

Volete un esempio? Andate in banca a chiedere il mutuo e ve lo vedete rifiutato. Perché? (avete diritto di saperlo). La decisione è di un funzionario, che ha potere di firma, ma è "il sistema" quello che ha elaborato la pratica automaticamente e che "non lo permette". Il trattamento dei vostri dati, cioè, è avvenuto in maniera che non può venirvi spiegata.

Insomma, c’è un altro problema da affrontare prima di cercare le risposte giuste. Ed è quello di capire se ci stiamo facendo le domande giuste. C’è infatti un tema di conoscibilità della cosa di cui stiamo parlando, che richiede aver capito un po' di passaggi.

Breve digressione sulla differenza tra un software tradizionale per calcolare se si può erogare il mutuo e uno che invece lo fa usando le AI.

A differenza del software tradizionale, che è basato su un approccio deduttivo (l’elaboratore esegue il programma che contiene le indicazioni su cosa fare per fornire disco verde all’erogazione del mutuo), buona parte delle AI sono basate su un approccio induttivo. Cioè: l’elaboratore esegue un programma che ha appreso induttivamente da una serie di esempi il modo per raggiungere i risultati voluti dai programmatori: milioni di mutui erogati o no per addestrare la AI a dare disco verde o no alle varie pratiche che le vengono sottoposte.

In questa seconda tipologia di software, La nostra capacità di comprendere il modo con il quale il software elabora il suo output ("prende le decisioni", cioè indicare al funzionario se il mutuo può essere erogato o no) è alquanto limitata. Non sappiamo come venga eseguito di preciso il trattamento dei dati.

Fine della breve digressione.

Quindi, spiega il paper (opens new window), il tema della responsabilità diventa enorme, ad esempio per tutte quelle situazioni in cui le AI vengono utilizzate come assistenti nei processi decisionali.

Inserendo uno strato di codice imperscrutabile, non intuitivo e di derivazione statistica tra un decisore umano e le conseguenze di quella decisione, l'AI stravolge la nostra tipica concezione della responsabilità per le scelte sbagliate.

E quindi, il lavoro di ricerca si occupa proprio di questo:

L'articolo sostiene che la natura unica dell'AI introduce quattro complicazioni nella negligenza: 1) l'imprevedibilità degli errori specifici che l'AI commetterà; 2) i limiti di capacità quando gli esseri umani interagiscono con l'AI; 3) l'introduzione di vulnerabilità software specifiche dell'AI in decisioni non precedentemente mediate da software; e 4) le preoccupazioni distributive basate sulla natura statistica dell'AI e sul potenziale di parzialità.

Così, secondo me, cominciamo a ragionare in maniera un po’ più sensata e concreta. E si vedono dei problemi che finora erano stati completamente evitati da chi ha studiato la materia e da chi la racconta. Cioè: i differenti tipi di responsabilità delle persone che utilizzano le AI come strumento di aiuto decisionale.

Gli studiosi di responsabilità civile hanno per lo più trascurato queste sfide. Ciò è comprensibile perché si sono concentrati sui robot autonomi, in particolare sui veicoli autonomi, che possono facilmente uccidere, mutilare o ferire le persone. Ma questa attenzione ha trascurato di considerare l'intera gamma di ciò che è l'AI.

E qui casca l’asino della visione semplificatoria e semplificata per motivi prevalentemente commerciali e ideologici:

Al di fuori dei robot, le tecnologie AI non sono autonome. Si tratta piuttosto di strumenti di assistenza alle decisioni che mirano a migliorare l'inefficienza, l'arbitrarietà e la parzialità delle decisioni umane. Concentrandosi su una tecnologia che elimina gli utenti, gli studiosi di responsabilità civile si sono concentrati sulla responsabilità da prodotto e sull'innovazione, perdendo di conseguenza le implicazioni per il normativa sulla negligenza, il regime che regola i danni causati dagli utenti dell'AI.

Il paper (opens new window) vale il vostro tempo, se volete approfondire il sottile confine tra diritto, società e tecnologia. Invece, questo post è un estratto del numero 2 di Mostly Weekly: è passato un po' di tempo ma rimane sempre molto valido, secondo me.