Ringrazio David Vagni per le osservazioni contenute nel suo articolo e per gli spunti di riflessione che offrono. La distinzione tra intendere e volere è particolarmente feconda, e la sua analisi delle cause ingegneristiche del fenomeno che ho cercato di descrivere aggiunge precisione a un quadro che nel mio articolo restava necessariamente generale. Su questo siamo, credo, più vicini di quanto si potrebbe dedurre da una prima lettura.
Una precisazione
C’è però un punto su cui intendo tornare, perché ho l’impressione che Vagni risponda a una tesi che non ho sostenuto.
Vagni scrive che io e Calvino compiamo la stessa “mossa argomentativa”: stabilire che la macchina ha la forma di una facoltà cognitiva umana, ma concludere per principio che le manca la sostanza. Una mossa che lui definisce di “metafisica fenomenologica” e che sceglie di non discutere, preferendo spostarsi su un piano più strutturale.
Il problema è che quella “mossa” non è nel mio testo. Non ho concluso per principio che alla macchina manchi qualcosa di ineffabile o di irriducibilmente umano. Non ho preso posizione sulla natura profonda della cognizione artificiale. Ho fatto qualcosa di più circoscritto e, spero, meno ambizioso: ho osservato che noi non siamo in grado di leggere il processo interno del modello, che ne leggiamo soltanto il risultato, e che questo risultato può indurre l’utente a compiere un passo non giustificato: scambiare la forma del giudizio per il giudizio stesso.
La mia è un’osservazione epistemologica sul lettore, non una tesi metafisica sulla macchina. La domanda finale del mio articolo (“se noi sapremo ancora distinguere tra il giudizio e la sua simulazione”) non presuppone che la risposta sia negativa per principio. Presuppone che la distinzione sia difficile, che richieda strumenti che non tutti possiedono, e che questa difficoltà abbia conseguenze pratiche. Niente di più.
Dove siamo d’accordo
Chiarito questo, posso dire che l’analisi di Vagni non confuta la mia posizione, la conferma e la approfondisce. Quando spiega che la macchina manca di accesso metacognitivo al proprio output mentre lo produce, che non si ascolta, che può giudicare solo ciò che sta già scrivendo, egli, a mio avviso, sta descrivendo esattamente il meccanismo che produce la fenomenologia del giudizio senza la sua struttura profonda. Mi sembra che stia fornendo una risposta alla mia domanda, non criticando la mia tesi.
La distinzione tra intendere e volere è utile proprio perché articola sul piano funzionale ciò che il mio articolo lasciava sul piano descrittivo. Il “volere epistemico” che a giudizio di Vagni sarebbe assente, ovvero la capacità di accorgersi di stare sbagliando e correggersi, è una specificazione precisa di quello che ho chiamato “struttura profonda” del giudizio. Non siamo in disaccordo; siamo su piani diversi della stessa analisi.
Un punto che resta aperto
C’è però una questione che la risposta di Vagni forse tende a chiudere troppo in fretta. Egli suggerisce che, una volta identificate le cause ingegneristiche del problema, la soluzione sia a portata di mano: correggere l’addestramento, costruire sistemi con migliore metacognizione, sviluppare criteri verificabili per accordare fiducia ai sistemi.
Non metto in dubbio che questi siano obiettivi legittimi e importanti. Ma il problema che ho sollevato non scompare anche se i sistemi migliorano. Anzi: se i sistemi sviluppassero una più autentica capacità di volere epistemico, la distinzione tra giudizio e sua simulazione diventerebbe ancora più difficile da tracciare per l’utente comune. Il rischio di abbassamento della soglia critica non diminuisce con il miglioramento dei sistemi; potrebbe addirittura aumentare.
Per questo credo che il piano su cui ho scelto di collocarmi – la cultura dell’utente, la capacità di saper distinguere – non sia sostituibile con il piano ingegneristico, per quanto necessario. Ci troviamo di fronte a domande diverse. Come si costruisce un sistema migliore e come si forma un utente capace di valutarlo criticamente sono due problemi che si intrecciano ma non si risolvono l’uno nell’altro.
Un’ultima considerazione. Si registrano punti di vista e approcci differenti, talvolta divergenti. È naturale, e in una certa misura auspicabile. Stiamo affrontando un argomento radicalmente nuovo, privo di punti di riferimento consolidati, e per di più ci troviamo di fronte a sistemi che mutano nel momento stesso in cui cerchiamo di descriverli. In questa fase, aprire confronti con l’obiettivo di affermare la superiorità di un’interpretazione rispetto a un’altra sarebbe più dannoso che utile.
Caro Sandro,
grazie intanto per la risposta, le parole generose e per la precisazione. Hai ragione: nel mio articolo ho forse sovraesteso il tuo pensiero, attribuendoti una posizione più metafisica di quella che intendevi sostenere. Me ne scuso.
Condivido pienamente la tua preoccupazione per il lettore: la forma ponderata, fluente, equilibrata di un testo può abbassare la soglia critica. Questo vale per l’AI, ma non solo per l’AI. Vale anche per gli esseri umani, per la buona retorica, per la prosa elegante, per l’autorità stilistica. Da questo punto di vista, il problema è l’euristica della fluenza: il lettore tende a fidarsi di ciò che scorre bene.
Il punto su cui credo resti una divergenza, o almeno una differenza di accento, è l’uso della categoria di “simulazione”. Per me i problemi sono due e vanno distinti.
Il primo è proteggere il lettore dall’errore di scambiare la fluenza per verità, competenza o giudizio. Su questo siamo d’accordo.
Il secondo è capire se, e a quali condizioni, possiamo fidarci di un sistema di AI come ci fidiamo di un essere umano esperto. Un’AI esperta è affidabile quanto un umano esperto, indipendentemente dalla forma linguistica con cui si presenta? Qui il punto non è se il giudizio sia “vero” o “simulato” in senso fenomenologico, ma se la fiducia sia ben riposta oppure no.
Se un essere umano e una macchina producono una valutazione ugualmente corretta, calibrata, verificabile e responsabile rispetto al compito, per me la distinzione tra giudizio e simulazione diventa secondaria. Non perché sia filosoficamente irrilevante, ma perché non è il criterio operativo più utile. Il criterio decisivo è: l’esito merita fiducia? E in base a quali garanzie?
Forse il mio spostamento sta tutto qui: meno sulla natura interna del giudizio, più sulle condizioni verificabili della fiducia.
Caro Vagni, grazie per la risposta e per la chiarezza con cui hai riformulato il punto di divergenza. Lo spostamento verso le “condizioni verificabili della fiducia” è un criterio operativo sensato, e comprendo perché lo ritieni più utile della distinzione tra giudizio e simulazione.
Devo però segnalare quello che a mio giudizio potrebbe rappresentare un limite: quel criterio non è generalizzabile. Funziona bene per un utente esperto, capace di valutare in modo autonomo se l’esito di un sistema è corretto, calibrato e affidabile. Ma è esattamente questa capacità che non si può dare per scontata nell’utente comune. Il problema che ho cercato di mettere a fuoco – l’abbassamento della soglia critica, la tendenza a fidarsi della forma ben costruita – nasce proprio lì: nel momento in cui chi legge non è in grado di verificare l’esito in modo indipendente. Se quella verifica fosse alla portata di tutti, il rischio che ho descritto non esisterebbe.
Detto questo, riconosco che si tratta di un aspetto destinato a restare aperto. Siamo in una fase di rapida evoluzione, e il processo di perfezionamento dei modelli porterà certamente elementi di valutazione che oggi non abbiamo. La domanda su quando e per chi il criterio della fiducia verificabile diventi praticabile è una domanda empirica oltre che teorica. E su questo, credo, è saggio aspettare.
Trovo che sono diversi i Livelli del Problema. La AI è come una Entità Aliena con indiscutibilmente due caratteristiche indiscutibili : la prima è una capacità “quantitativa” in un tempo infinitesimale rispetto al “processo elaborativo definitivo umano”, ovvero in tempo reale elabora ed edita in forma cartacea o a video quanto elaborato. La seconda è la “massa di erudizione per Fonti” di cui dispone (può avere in memoria decine di migliaia di Testi e Immagini con possibilità di Incrocio Dati). Questo può inficiare un confronto con la Capacità Umana di Comprendere Elaborando ovvero la Vera Intelligenza delle Cose anche con Capacità Creativa. Dobbiamo tener conto che SE la AI citasse truffaldinamente Pensieri&Dati fasulli o travisati attribuiti a Fonti effettivamente esistite (il classico “come disse…”) potrebbe intimidire o raggirare molti Fruitori. Aggiungo perchè ne vedo già pubblicati dei “falsi che sembrano veri” che possono indurre moltissimi a “ragionar sull’inesistente” con tutte le conseguenze del caso. Pensiamo a Documenti o Voci o Immagini “verosimili” usati come Prova. Inquietante perchè non ne vedo l’Antidoto.