Maurizio Bertera sul Corriere della Sera, nella sezione a pagamento, scrive
(copia permanente) che “la Polizia tedesca ha dichiarato che una persona è morta e nove sono rimaste
gravemente ferite dopo che un’auto impegnata in un test di guida autonoma ha
improvvisamente cambiato direzione innescando una serie di collisioni che
hanno coinvolto quattro veicoli.”
La polizia lo ha dichiarato, ma non è vero.
L’auto è una BMW iX elettrica, che non è dotata di guida autonoma: ha
soltanto un sistema di guida assistita, nel quale il conducente rimane
costantemente responsabile della condotta del veicolo. Per cui non poteva
essere in corso alcuna “prova di guida autonoma”.
La polizia tedesca ha affermato inizialmente che il veicolo era un’auto elettrica di prova a guida
autonoma e che non era chiaro se al momento dell’incidente fosse sotto il
controllo del conducente. BMW ha smentito, sottolineando che il veicolo non era dotato di guida autonoma. L’auto,
tuttavia, era contrassegnata come veicolo di test a scopo di protezione dei
dati, dato che stava effettuando delle riprese video, scrive Euronews. Da qui, forse, l’equivoco.
Il Corriere, al momento in cui scrivo,
non ha ancora rettificato, nonostante sia stato avvisato
che la notizia è falsa.
Visto il bilancio tragico dell’incidente, è importantissimo ricordare che i sistemi di guida assistita possono sbagliare (e sbagliano spesso nel momento peggiore) e che la responsabilità della guida del veicolo è sempre e comunque del conducente per tutti i sistemi di questo tipo che sono classificati come SAE Livello 0, 1 e 2.
Vado subito al sodo per chi ha fretta. Faccio tre asserzioni-scommessa:
Il machine learning è semplicemente un riconoscimento di schemi (pattern recognition) e non costituisce “intelligenza” in alcun senso significativo della
parola.
Il riconoscimento di schemi fallisce in maniera profondamente non umana e in
situazioni che un umano invece sa riconoscere in maniera assolutamente
banale. Questo rende difficilissimo prevedere e gestire i fallimenti del machine learning e quindi rende pericolosa la collaborazione umano-macchina.
Qualunque sistema di guida autonoma o assistita basato esclusivamente sul
riconoscimento degli schemi è destinato a fallire in maniera imbarazzante e
potenzialmente catastrofica.
Sono asserzioni molto forti, e le faccio sapendo di non essere un esperto di
questi settori ma semplicemente un loro osservatore con un pizzico di
esperienza personale: se vi fidate di me, lo fate a vostro rischio e pericolo,
e sono disposto a cambiare idea di fronte a smentite documentate (e francamente sarei contento di perdere questa scommessa). Però temo
che ignorare queste riflessioni possa essere un grosso pericolo per molti.
Premetto inoltre che non sto dicendo che l’intelligenza artificiale è una bufala, ma che il machine learning viene spesso spacciato per “intelligenza”. E prima di criticare, vi chiedo di leggere attentamente le parole che ho scelto con cura nel formulare le mie asserzioni-scommessa.
Provo a spiegare cosa mi ha portato a queste conclusioni provvisorie.
Prima di tutto riassumo cosa si intende per machine learning: in estrema sintesi, si danno in pasto a un software tantissimi esempi di una
cosa, tantissimi esempi di cose differenti (ossia che non sono quella cosa) e
lo si “premia” quando riconosce correttamente la cosa in questione. Questo
apprendimento automatico può raggiungere livelli di affidabilità altissimi e
in molti casi funziona egregiamente. Il riconoscimento ottico dei caratteri
(OCR) e il riconoscimento vocale sono esempi di grande successo del machine learning.
Ma si può dire che un sistema di OCR sia intelligente? Capisce che sta
leggendo un sonetto di Shakespeare o una mail di spam, e può quindi adeguarsi di
conseguenza? È in grado di considerare il contesto e capire che magnifica e magni fica sono due letture molto differenti e
potenzialmente imbarazzanti, ma che la seconda potrebbe essere valida se lo
scrivente si esprime in romanesco?Un lettore realmente intelligente lo
capirebbe dal contesto (e dalla sua conoscenza delle attività sessuali umane). Un OCR no. Non è intelligente, perché non ha
conoscenza del mondo reale, ma conosce soltanto delle forme (le lettere) e
assegna loro una probabilità di corrispondere a uno dei modelli che conosce.
Non sa nulla del loro significato e quindi non può correggersi di conseguenza.
E non importa quanti miliardi di campioni di lettere o di parole gli dai: non
acquisirà mai la comprensione del testo.
Ogni tanto questi sistemi di riconoscimento sbagliano, ma non è un problema.
Se un sistema di OCR “legge” una parola al posto di un’altra non muore
nessuno. Se Alexa crede che l’abbiate chiamata, quando invece stavate pronunciando il
nome della vostra spasimata Alessia durante un momento di passione, il peggio
che può succedere è che la registrazione del vostro amplesso finisca nel cloud di Amazon e venga scambiata fra i dipendenti dell’azienda che
fanno il monitoraggio dei campioni audio. Imbarazzante, ma probabilmente non
letale.
La ragazza che si chiama Alessia è un cosiddetto edge case: un caso limite, una situazione rara che però fa sbagliare il sistema di
riconoscimento.
Questi sbagli avvengono in modi strani perché l’addestratore umano, quello che
insegna al software a riconoscere una forma, non riesce a calarsi nella
“visione del mondo” che ha quel software e non riesce ad anticipare tutti i
modi possibili nei quali potrebbe prendere un granchio e a insegnargli a
riconoscere tutti questi casi limite.
Lo spiega benissimo uno che di queste cose ne capisce a pacchi, Andrej
Karpathy, direttore del reparto di intelligenza artificiale di Tesla, in questa lezione magistrale
del 2018, quando mostra queste immagini:
Quante auto sono? Una, quattro o due?
Come si possono annotare (identificare per il software) le linee di corsia
quando fanno così?
Altri due esempi fra tanti: un’auto caricata a coda in avanti su una bisarca è un’auto in contromano?
Di recente su Reddit è stato pubblicato un bell’esempio di questi edge case: un camion ha dei cartelli di stop dipinti sul portellone
posteriore, e il sistema di riconoscimento ottico dei cartelli di una Tesla li
etichetta e li mostra come se fossero cartelli reali.
Cosa succede se il sistema di decisione dell’auto ritiene che quei cartelli
siano reali e quindi inchioda in mezzo alla strada, creando la situazione
perfetta per un tamponamento a catena? Ìl sistema è sufficientemente
sofisticato da tenere conto del contesto e quindi “sa” che i cartelli stradali
normalmente non si muovono lungo le strade, per cui rigetta il riconoscimento
e lo ignora nelle sue decisioni di guida?
Un conducente umano, avendo conoscenza del mondo, non avrebbe la minima
esitazione: sono cartelli dipinti sul retro di un camion, li posso
tranquillamente ignorare. Un sistema di guida autonoma o assistita sarà
altrettanto consapevole? E il conducente saprà anticipare questi possibili
errori che lui non farebbe mai?
Beh, direte voi, dai, una cosa del genere sarà un caso raro. Poi succede
questo:
Una Tesla Model 3 viaggia a 130 km/h e mostra un flusso costante di semafori
che appaiono dal nulla sulla corsia del conducente.
Un essere umano sa in un millisecondo che questo è impossibile, perché ha conoscenza del mondo e sa che i semafori non volano e non compaiono dal nulla; il sistema di
guida assistita di Tesla no, perché non “sa” realmente che cosa sono i
semafori nel mondo reale e quindi non “sa” che non possono apparire dal nulla
a 130 km/h.
Che cosa ha causato questo clamoroso errore di riconoscimento?
Un camion che trasportava semafori.
Eh dai, ma i semafori erano spenti, obietterete voi. Poi succede questo:
Questo è esattamente il tipo di errore che un conducente umano non farebbe mai
e che invece un sistema di guida basato esclusivamente sul
riconoscimento delle immagini farà, e farà in circostanze imprevedibili. Con
conseguenze potenzialmente mortali. Se state valutando un’auto dotata di
questi sistemi, pensateci bene. Se ne avete una, pensateci ancora di più.
Certo, gli umani commettono altri tipi di errori, per cui alla fine
l’obiettivo non è creare un sistema di guida assolutamente infallibile, ma
semplicemente uno che fallisca mediamente meno (ossia causi meno incidenti)
della media dei conducenti umani.
Tutto questo vuol dire che la guida autonoma basata sul riconoscimento puro
degli schemi è impossibile? No. Una soluzione potrebbe essere semplificare l’ambiente operativo (strade su misura, rigidamente normate, accessibili solo a veicoli autonomi/assistiti). Per esempio, un ascensore (che in sostanza è un treno verticale in una galleria verticale chiusa) è un sistema di “guida autonoma” affidabilissimo, che richiede pochissima “intelligenza” grazie a un ambiente operativo ipersemplificato.
Allo stesso tempo, va notato che ci sono esempi di sistemi che interagiscono egregiamente con un ambiente operativo complesso pur avendo una “intelligenza” molto limitata: le api. Con un solo milione di neuroni riescono a navigare, interagire con i fiori, comunicare con le altre api, gestire gli aggressori e avere una società complessa e organizzata (hanno persino delle “votazioni”). Noi abbiamo cento miliardi di neuroni (centomila cervelli d’ape) a testa e non riusciamo a capire come indossare una mascherina o perché. Chiaramente c’è un margine di ottimizzazione che le api sfruttano e noi no, ma è anche vero che un’ape va in crisi quando incontra l’edge case di una cosa che non esiste in natura, tipo una barriera trasparente (il vetro di una finestra).
È anche possibile che estendendo il concetto di
riconoscimento degli schemi all’asse del tempo (ossia imparando a riconoscere
come cambia un oggetto nel corso del tempo) ed estendendo il concetto di
schema a oggetti complessi (incroci, rotatorie, attraversamenti pedonali) si
riesca a ottenere risultati accettabili. Ma questo richiede un database di
esempi colossale, una classificazione vastissima e una potenza di calcolo
ancora più colossale. Nessuno dei sistemi attualmente in commercio ci si
avvicina, come spiega bene Filip Piekniewski. Siate prudenti.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle
donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere
ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Ricordate la vicenda della Tesla Model S che ad aprile 2021 si era schiantata vicino a
Houston mentre “nessuno era al volante”, secondo la polizia e come scriveva Repubblica? Le due persone a bordo erano morte.
Ora la perizia tecnica del National Transportation Safety Board dimostra, sulla base dei dati recuperati dalla “scatola nera” di bordo, che c’era eccome una persona al posto di guida e che l’acceleratore era premuto praticamente a fondo (al 98,8%) e che la velocità massima registrata nei cinque secondi precedenti l’impatto è stata di 108 km/h.
Data from the module indicate that both the driver and the passenger seats were occupied, and that the seat belts were buckled when the EDR recorded the crash. The data also indicate that the driver was applying the accelerator in the time leading up to the crash; application of the accelerator pedal was found to be as high as 98.8 percent. The highest speed recorded by the EDR in the 5 seconds leading up to the crash was 67 mph.
L’Autopilot, insomma, avrà anche un nome discutibile, ma in questo caso proprio non c’entra nulla. Vediamo se i giornali che hanno pubblicato la notizia iniziale pubblicheranno la rettifica. Per ora l’articolo di Repubblica è ancora al suo posto, com’era sei mesi fa, senza alcuna menzione dei nuovi risultati della perizia. Ne salvo una copia permanente, non si sa mai che qualcuno scopra il ravvedimento operoso.
La mia indagine iniziale, con tutti i dettagli e la cronologia della vicenda, è qui.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Rispondo ai tanti che mi hanno chiesto di commentare la notizia, arrivata oggi sui giornali italiani, di un incidente automobilistico mortale avvenuto in Texas, vicino a
Houston: una Tesla si è schiantata contro un albero mentre procedeva a
velocità elevata e non ha gestito una curva. La collisione è stata talmente
violenta che la batteria primaria del veicolo ha preso fuoco e i due occupanti
sono stati ritrovati morti.
La particolarità è che secondo le dichiarazioni della polizia il posto del
conducente non era occupato: una delle due persone è stata trovata sul sedile
del passeggero, accanto al posto di guida, l’altra sul sedile posteriore.
2021/05/11: è emerso
che non è vero che non c’era nessuno al posto di guida. 2021/10/22:
ci sono ulteriori conferme che c’era eccome una persona al posto di guida
e l’acceleratore era premuto praticamente a fondo.
La descrizione fornita dalla polizia ha spinto la polizia stessa a ipotizzare inizialmente che il conducente abbia attivato la guida
assistita e poi si sia spostato dal posto di guida, in un gesto folle e
irresponsabile.
Non è dato sapere, per ora, su quali basi la polizia abbia scartato la
possibilità che il conducente sia stato sbalzato dallo sbandamento del veicolo
o che, incastrato tra le lamiere dopo la collisione, abbia cercato di uscire
dal lato del passeggero o da dietro e sia stato quindi ritrovato fuori
dal posto di guida che stava invece occupando regolarmente al momento
dell’incidente.
Bloomberg parla di “[t]he position of the victims, statements and other physical evidence”
come indizi usati dalla polizia per ipotizzare l’uso della guida assistita in
modo irresponsabile. Ma le dichiarazioni della polizia indicano che i corpi
sono stati ritrovati dopo l’incendio, che ha richiesto quattro ore di
intervento (ma, precisa lo Houston Chronicle
citando i vigili del fuoco, l’incendio è stato spento in due o tre minuti e poi la batteria è stata
raffreddata con acqua per quattro ore e non c’erano fiamme; maggiori info su Teslarati).
Le due persone decedute, William Varner ed Everette Talbot, avevano
rispettivamente 59 e 69 anni; l’incidente è avvenuto
alle 23:25 locali il 17 aprile nella zona The Woodlands di Houston. Secondo i
dati raccolti da Teslari.it, il luogo esatto è Hammrock Dunes Place, a Spring, che è una via
residenziale con un cul-de-sac alla fine, lunga in tutto 400 metri. Lo
schianto è avvenuto a circa i due terzi della via.
Secondo le dichiarazioni
di un familiare del proprietario dell’auto, il proprietario si era seduto
dietro dopo aver fatto retromarcia per uscire dal proprio posto auto, con
l’intento di andare a fare un giro con il suo migliore amico, e lo schianto è
avvenuto dopo qualche centinaio di metri. Questo sembra escludere l’ipotesi di
una terza persona alla guida, scappata dopo l’incidente.
Aggiornamento (2021/04/20 00:05)
Elon Musk, CEO di Tesla, ha dichiarato
che secondo i dati recuperati fin qui:
l’auto non aveva la guida assistita in funzione
questo modello non aveva acquistato l’opzione FSD (guida assistita
avanzata)
la strada era priva della segnaletica orizzontale (strisce) necessaria
per l’uso della guida assistita standard (Autopilot).
Aggiornamento (2021/04/27 8:00)
Gli investigatori hanno trovato che tutte le cinture di sicurezza erano sganciate e che il volante era deformato. La deformazione suggerisce un impatto da
parte di una delle persone a bordo al posto di guida. Inoltre il mancato uso
delle cinture avrebbe consentito ai corpi di spostarsi nell’abitacolo.
Lars Moravy, vicepresidente del Vehicle Engineering di Tesla, ha confermato
le dichiarazioni di Elon Musk: la guida assistita (Autosteer, sterzata automatica per restare in
corsia) non era attiva e non avrebbe potuto attivarsi, non solo perché la strada non aveva le caratteristiche che lo avrebbero
consentito ma anche perché la guida assistita non si attiva se le cinture sono sganciate.
Aggiornamento (2021/04/29 22:40)
È stato pubblicato
il rapporto
sull’incidente redatto dal Fire Marshal di Harris County, che include
la descrizione delle posizioni delle due vittime:
il corpo di Varner è stato trovato in posizione seduta alcuni centimetri in
avanti rispetto al sedile anteriore destro (quello del passeggero), con il
tronco superiore inclinato in avanti e le braccia raccolte in avanti e con
il mento premuto contro un componente metallico del veicolo in prossimità
della zona del cruscotto (“in a seated position, a few inches forward of the front right
(passenger) seat. Decedent 1`s upper torso was in a forward-leaning
position, with both arms rolled forward. Decedent 1`s chin was pressed
against a metal component of the vehicle near the dashboard area”);
il corpo di Talbot è stato ritrovato in posizione seduta, nel sedile
posteriore sinistro, con il tronco superiore inclinato all’indietro, le
braccia raccolte all’indietro e in una “posa pugilistica”, con la
base della testa premuta contro il telaio metallico del sedile (“located in a seated position within the rear left (passenger) seat.
Decedent 2`s upper torso was in a rear-leaning position, with both arms
rolled back and in a pugilistic pose. The base of decedent 2`s head was
pressed against the metal frame of the seat”).
Una parte delle dichiarazioni
di Lars Moravy (il vicepresidente di Tesla che ho citato prima), disponibile
anche in registrazione, è stata interpretata da alcuni
come un’ammissione che fosse stato attivato il cruise control adattivo (mantenimento di velocità, non di corsia,
diverso dall’Autopilot), ma leggendo con attenzione
e ascoltando le parole di Moravy si capisce che sta parlando di uno studio
condotto da Tesla in condizioni analoghe e non all’incidente:
“we did a study… Autosteer did not and could not engage on the road
conditions, as it was designed. Our adaptive cruise control only
engaged when a driver was buckled and above 5 miles per hour, and it
only accelerated to 30 miles per hour over the distance before the car
crashed. As well, adaptive cruise control disengaged the cars fully
to complete to a stop when the driver’s seatbelt was unbuckled”.
Aggiornamento (2021/05/01 13:50)
Dai documenti risulta
che l’auto era una Model S Performance con opzione Ludicrous (che offre
accelerazioni rapidissime, da 0 a 100 km/h in 2,5 secondi), acquistata dal
proprietario pochi mesi fa. Sembra insomma sempre più probabile che si tratti,
tragicamente, di una sottovalutazione della potenza del veicolo da parte di un
conducente non abituato a queste prestazioni.
Aggiornamento (2021/05/11 9:10)
Stando al rapporto preliminare
dell’NTSB (National Transportation Safety Board), la telecamera di
sorveglianza di casa del proprietario documenta che il proprietario si era
messo al posto di guida:
The crash trip originated at the owner’s residence near the end of a
cul-de-sac. Footage from the owner’s home security camera shows the owner entering
the car’s driver’s seat
and the passenger entering the front passenger seat. The car leaves and
travels about 550 feet before departing the road on a curve, driving over
the curb, and hitting a drainage culvert, a raised manhole, and a tree.
Inoltre i test dell’NTSB dimostrano che l’Autopilot (il sistema di guida
assistita con mantenimento di velocità, distanza e corsia) non poteva essere
attivato su quel tratto di strada: si poteva attivare il cruise control (mantenimento di velocità e distanza), ma non
l’Autosteer (mantenimento di corsia):
NTSB tests of an exemplar car at the crash location showed that Traffic
Aware Cruise Control could be engaged but that Autosteer was not available
on that part of the road.
Tutte le teorie sull’uso improprio della guida assistita vanno insomma a farsi
benedire.
Aggiornamento (2021/06/20 22:40)
Trovate qui su Teslarati
un dettagliato riepilogo della vicenda e di come è nata la fake news del “nessuno era al volante”.
Aggiornamento (2021/10/20 22:50)
L’NTSB ha rilasciato un aggiornamento che ricostruisce in maggiore dettaglio la dinamica dell’incidente e segnala che i dati della “scatola nera” sono stati recuperati e documentano che c’era una persona seduta al posto di guida, che il pedale dell’acceleratore era premuto fino al 98,8% e che la velocità massima registrata nei cinque secondi precedenti l’impatto è stata di 108 km/h.
Data from the module indicate that both the driver and the passenger seats were occupied, and that the seat belts were buckled when the EDR recorded the crash. The data also indicate that the driver was applying the accelerator in the time leading up to the crash; application of the accelerator pedal was found to be as high as 98.8 percent. The highest speed recorded by the EDR in the 5 seconds leading up to the crash was 67 mph.
—
Lascio pubblicato qui quello che avevo scritto prima della pubblicazione
del rapporto preliminare dell’NTSB.
È assolutamente troppo presto per dare un giudizio ragionato. Mancano troppi
dati, anche se le dichiarazioni di Musk sono un tassello molto importante;
bisognerà attendere il rapporto definitivo dell’NHTSA, l’ente che si occupa
della sicurezza stradale negli Stati Uniti.
Quello che si può dire, per ora, è che le Tesla, come tutte le auto dotate di
sistemi di guida assistita (non autonoma), hanno dei sistemi di
controllo: nel caso specifico, sensori di peso nel sedile del conducente,
sensore di sganciamento della cintura e sensori di torsione sul volante.
Tutto questo vuol dire che l’unico modo per far andare l’auto “da sola” nel modo descritto
inizialmente in questa notizia sarebbe manometterla intenzionalmente. Bisognerebbe ingannare volutamente il sensore di peso del posto di guida,
il sensore sul volante e il sensore delle cinture, altrimenti l’assistenza di
guida si disattiverebbe nel giro di poche decine di secondi. Inoltre la strada
dovrebbe avere delle strisce di delimitazione di corsia, altrimenti
l’assistenza di guida di base (il cosiddetto Autopilot) non si
attiverebbe.
Questo, per esempio, è quello che succede su una Tesla Model 3 se il
conducente attiva l’assistente di guida (Autopilot) e poi sgancia la
propria cintura:
Inoltre sottolineo che quando si attiva la guida assistita, l‘auto avvisa chiaramente che
bisogna restare vigili e pronti a intervenire immediatamente. Lo so bene perché ho proprio una Tesla Model S simile a quella coinvolta
nell’incidente (la mia è del 2016, mentre quella della notizia è del 2019 e
quindi ha una dotazione di sensori maggiore e una potenza superiore, ma il
principio è lo stesso).
Chiunque si comporti diversamente, ignorando questi avvisi chiari e ripetuti,
sa benissimo di violare le raccomandazioni esplicite del costruttore e
se ne assume le conseguenze.
Non sappiamo ancora con certezza se in questo caso l’auto era in guida
assistita o meno (contrariamente a quanto scritto da Repubblica, non è
affatto confermato, e Musk afferma che i dati di telemetria dicono che non lo
era [dichiarazione poi confermata dal rapporto NTSB]). In ogni caso,
tragedie come queste ricordano che la guida di un’auto non è mai un gioco e
non va presa come tale. Chiunque pensi di fare il gradasso esibendosi online
in “dimostrazioni”
di guida senza conducente sta dimostrando soltanto di essere un imbecille
incosciente.
Tesla può fare di più per ostacolare queste manomissioni? Certamente, per
esempio usando anche la telecamera interna per monitorare il conducente, come
già fanno altre marche e come Tesla stessa sta sperimentando (senza però
attivare di serie questo monitoraggio), anche se è già stato dimostrato che
anche questo controllo è eludibile. E i social network potrebbero fare la
propria parte bandendo o almeno demonetizzando i video degli idioti che si
riprendono intanto che abbandonano il posto di guida.
E per quelli che pensano che sia colpa del nome Autopilot che inganna
gli automobilisti: no. Questo nome può far pensare ai più superficiali che
abbia capacità superiori a quelle reali e portare a un eccesso di fiducia, ma non importa se il conducente non ha letto il manuale o crede che se una
cosa si chiama “Autopilot” vuol dire che l’auto è capace di guidare
da sola sempre e comunque: se il conducente non tiene le mani sul volante,
l’assistente di guida avvisa sempre più insistentemente, con allarmi visivi
e acustici, e poi si disattiva e ferma il veicolo.
Se il conducente sgancia la cintura, idem. Se si sposta dal posto di guida,
idem.
L’unico modo per far comportare diversamente l’auto è sabotarla intenzionalmente, ma questo vuol dire aver capito che non ha un sistema di guida automatica.
Per cui il nome non c’entra nulla.
Ripeto: chi fa queste pazzie sa benissimo cosa sta facendo. Il sistema
potrebbe chiamarsi anche Guida Manuale e ci sarebbe lo stesso qualcuno
che ne abusa.
E se uno è scemo, non c’è nome che tenga. Per esempio, il genio nel video qui
sotto non sta guidando una Tesla, e sul suo veicolo non c’è affatto scritto Autopilot.
This only thing I can think of when I hear: “Tesla Autopilot is dangerous
because sometimes not used appropriately”. Idiots didn’t wait for Autopilot
to be idiots 🙄 #tesla #fsd #autopilot pic.twitter.com/6KNtvG0ROi
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle
donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere
ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Un conducente norvegese è ancora vivo per raccontare l’incidente che non gli è capitato ieri, 30 luglio 2021, grazie alla guida assistita
della sua auto (e anche a una buona dose di fortuna).
L’uomo ha perso conoscenza mentre era al volante, ma la guida assistita era
attiva, e così l’auto (una Tesla Model S) non ha sbandato ed è rimasta in
corsia, rallentando fino a fermarsi in una galleria e accendendo le quattro
frecce. Questo ha finalmente consentito il soccorso. La polizia è arrivata cinque minuti dopo la fermata del veicolo.
Tesla owner in Norway suffers unconsciousness while driving, Tesla autopilot
detects it, slows, comes to a stop so EMS can help @elonmusk @Tesla ❤️🩹🚑
— Austin Tesla Club (@AustinTeslaClub) July 31, 2021
Secondo questo tweet
della polizia locale, il conducente, un uomo di 24 anni, era visibilmente
ubriaco. È stato sottoposto a test di alcolemia e la patente gli è stata
sospesa.
Certo, il fatto che l’auto si sia fermata nella corsia di sorpasso non è
affatto una situazione ottimale: senza l’intervento dei soccorritori le cose
avrebbero potuto avere un esito decisamente tragico comunque. Inoltre la guida
assistita e il relativo calo di attenzione potrebbero aver contribuito alla
perdita di conoscenza del conducente. È anche possibile che il conducente
abbia pensato che pur essendo ubriaco poteva farcela perché c’era l’assistente
di guida (pensare di essere ancora in grado di guidare bene dopo aver bevuto è un ragionamento che fanno in tanti, anche senza assistente di
guida). Guidare dopo aver ingerito alcolici è pericolosissimo, sempre e
comunque.
Casi come questo susciteranno inevitabilmente polemiche, ma resta un fatto di
base: questo ventiquattrenne è ancora vivo, non ha ucciso nessuno con la sua
irresponsabile guida in stato di ebbrezza. Si spera che abbia imparato qualcosa da questo
mancato incidente.
Sarebbe interessante reperire casi analoghi riguardanti sistemi di guida
assistita di altre marche, ma non sembrano essercene, forse perché passano
sotto silenzio mentre gli eventi che riguardano Tesla vengono fortemente
disseminati sui social media.
—
C’è però un dubbio che mi piacerebbe chiarire. Stando al
testo del servizio televisivo mostrato nel tweet, di cui riporto una traduzione completa nei commenti, l’auto (una Model S recente,
vista la dotazione di telecamere laterali visibile nel video) è rimasta in
strada, in guida assistita, per “oltre 10 chilometri” (sulla E6 in direzione di Vintebro, fermandosi nella galleria Nøstvet), e questo non è il
comportamento previsto del sistema di guida, che in caso di mancanza di
resistenza sul volante (ossia senza il peso delle braccia del conducente
appoggiate sul volante) dapprima emette un avviso luminoso, poi un avviso
acustico e infine fa rallentare l’auto fino a fermarla.
Questo è quanto risulta da esperienze di altri conducenti e quanto viene
riportato nel Manuale d’uso della Model S a pag. 103-104:
Quando il sistema è attivo, il conducente deve mantenere il controllo del
volante. Se il sistema non rileva le mani del conducente sul volante per un
determinato periodo di tempo, una luce bianca lampeggiante viene
visualizzata nella parte superiore del quadro strumenti insieme al seguente
messaggio:
[immagine] Applicare una leggera forza al volante
Il Sistema di Autosterzatura rileva le mani riconoscendo la leggera
resistenza mentre il volante sterza o quando il conducente sterza in modo
anche molto lieve il volante, ossia senza forzarlo, semplicemente per
riprendere il controllo.
NOTA: Quando vengono rilevate le mani sul volante, il messaggio scompare e
il Sistema di Autosterzatura riprende il normale funzionamento.
NOTA: Contemporaneamente alla visualizzazione iniziale del messaggio, il
Sistema di Autosterzatura emette un avviso acustico.
Il sistema richiede di prestare attenzione all’area circostante e di essere
sempre pronti a prendere il controllo. Se il Sistema di Autosterzatura non
rileva ancora le mani sul volante, la richiesta diventa più pressante
mediante un segnale acustico che aumenta gradualmente di frequenza.
Se il conducente continua a ignorare la richiesta di prendere il controllo
del volante con le mani, il Sistema di Autosterzatura si disabilita per il
resto del tragitto e visualizza il messaggio seguente. Se il conducente non
riprende il controllo manuale dello sterzo, il sistema di Autosterzatura
emette un segnale acustico continuo, accende i lampeggianti di avvertenza e
rallenta il veicolo fino all’arresto completo.
[immagine] Sistema di Autosterzatura non disponibile per il resto della guida.
Impugnare il volante per guidare normalmente.
Per il resto del tragitto, il conducente dovrà sterzare manualmente. Il
Sistema di Autosterzatura sarà di nuovo disponibile per il tragitto
successivo (dopo aver arrestato la Model S e innestato la marcia di
stazionamento).
Dieci chilometri a circa 100 km/h si percorrono in circa sei minuti: un tempo molto più lungo di quello di normale intervento delle misure di sicurezza della guida assistita Tesla. In effetti l’orologio dell’auto inseguitrice segna le 5:34 e il rapporto di polizia dice che la Tesla si è fermata alle 5:40, confermando (almeno in apparenza) i sei minuti di percorrenza. Ho chiesto a conoscenti norvegesi di verificare; pubblicherò qui aggiornamenti
quando ce ne saranno. Nel frattempo, prudenza.
—
Aggiornamento (2021/08/06 12:40): Grazie ai commenti qui sotto, aggiungo il video dell’Emergency Assist di Volkswagen a titolo di paragone.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle
donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere
ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle donazioni dei lettori. Se vi piace, potete incoraggiarmi a scrivere ancora (anche con un microabbonamento). Ultimo aggiornamento: 2016/07/10 10:00.
Ieri (6 luglio) Tesla Motors ha pubblicato una risposta tecnica a un articolo di Fortune che la accusa di aver proceduto all’offerta pubblica di oltre due miliardi di dollari di azioni senza aver informato il pubblico dell’incidente automobilistico avvenuto in Florida nel quale è stata coinvolta una Tesla Model S che procedeva con il sistema di guida assistita inserito. Secondo Fortune questo incidente andava comunicato al pubblico prima dell’offerta di azioni perché rivela un difetto importante nel sistema di guida assistita (che Tesla Motors chiama Pilota automatico o Autopilot e ha introdotto a ottobre 2015) che avrà effetto sul valore delle azioni dell’azienda.
Tesla Motors ha risposto dicendo che l’incidente è stato causato innanzi tutto dal fatto che un TIR ha tagliato la strada al conducente dell’auto e che non ci sono indicazioni che l’Autopilot non abbia funzionato “come progettato e descritto agli utenti: specificamente, come sistema di ausilio alla guida che mantiene la posizione del veicolo in corsia e adatta la velocità del veicolo al traffico circostante”. In originale:
To be clear, this accident was the result of a semi-tractor trailer crossing both lanes of a divided highway in front of an oncoming car. Whether driven under manual or assisted mode, this presented a challenging and unexpected emergency braking scenario for the driver to respond to. In the moments leading up to the collision, there is no evidence to suggest that Autopilot was not operating as designed and as described to users: specifically, as a driver assistance system that maintains a vehicle’s position in lane and adjusts the vehicle’s speed to match surrounding traffic.
Elon Musk ha risposto via Twitter con toni decisamente aggressivi, rimproverando Alan Murray, il giornalista di Fortune, di aver scritto un “articolo di fandonie” che ha “aumentato i vostri ricavi pubblicitari – perché non scrivete articoli sul milione e passa di morti/anno causati dalle altre case automobilistiche?”
@alansmurray Yes, it was material to you — BS article increased your advertising revenue. Just wasn’t material to TSLA, as shown by market.
Ne è nata una discussione, alla quale mi sono aggiunto anch’io notando che il fatto di chiamare Autopilot un sistema di guida assistita crea, a mio parere, delle attese irrealistiche nell’opinione pubblica. Le altre case automobilistiche che offrono sistemi di guida assistita non usano nomi così accattivanti come Pilota automatico.
Nell’utente medio, quello che non approfondisce i dettagli tecnici ma semplicemente compra l’auto come compra una lavatrice (mi ci metto anch’io), e nell’opinione pubblica (per gran parte della quale la Tesla è solo “quell’auto elettrica carissima che va da sola”), il termine Autopilot evoca secondo me eccessivamente l’idea di una guida autonoma, durante la quale il conducente può fare altro. Mi chiedo, e ho chiesto ai partecipanti alla discussione, se questo nome abbia creato una falsa impressione d’infallibilità e di potenza prestazionale dell’Autopilot che ha indotto molti a sopravvalutarne le reali capacità.
Il risultato di questa sopravvalutazione è il numero esagerato di video popolarissimi nei quali gli utenti Tesla dimostrano che l’auto tiene la strada da sola mentre il guidatore chiude o si copre gli occhi o legge il giornale: cose proibitissime dal manuale dell’auto e dal materiale informativo di Tesla Motors. Persino la moglie di Elon Musk è stata colta a fare cose di questo genere. Il risultato è, forse, un morto in Florida, accompagnato da un’enorme reazione mediatica a questo incidente, primo nel suo genere. L’intervista della ABC ai testimoni dell’incidente raccoglie la loro paura per un’auto che ha – dicono – proseguito la propria corsa autonomamente dopo la collisione (non è andata così, ma la loro impressione è stata quella). C’è addirittura chi, come Vanity Fair, dice che il nome Autopilot andrebbe cambiato in favore di qualcosa che “faccia meno paura”.
Tesla Motors sottolinea a ogni occasione che l’Autopilotè un sistema di guida assistita nel quale il conducente è comunque responsabile e durante il cui uso è necessaria la massima vigilanza. Ma di fatto l’incidente mortale in Florida è accaduto prima di tutto perché un TIR ha tagliato la strada a una Tesla (prima causa fondamentale, che non va dimenticata) e secondariamente perché il conducente non ha nemmeno tentato la frenata o la sterzata, come se non avesse visto avvicinarsi e poi mettersi di traverso davanti a sé un ostacolo enorme. Perché non l’ha visto? Era distratto perché si fidava troppo di un sistema che Tesla Motors propone come guida assistita ma chiama in modo ingannevole Pilota automatico?
Questa è una foto, tratta da Google Street View, del luogo dell’incidente, presa dal punto di vista del conducente della Tesla. Il TIR proveniva dalla carreggiata a sinistra e ha attraversato l’incrocio a raso. Era pomeriggio, in ottime condizioni di visibilità.
Come ha fatto il guidatore della Tesla, il quarantenne Joshua Brown, a non vedere l’autoarticolato che svoltava, si inseriva nell’incrocio e gli si presentava davanti? Come ha fatto a non accorgersene al punto di non toccare nemmeno il pedale del freno o tentare di schivarlo? Forse ci sono dettagli che ancora non sono stati resi noti e che cambiano tutto, ma quello che si sa fin qui sembra suggerire che il conducente non fosse affatto attento e vigile come invece Tesla ribadisce che dev’essere chi guida con l’Autopilot. L’analisi pubblicata da The Drive indica che se Brown fosse stato attento, anche procedendo alla velocità più alta stimata dai testimoni, avrebbe avuto tempo almeno di toccare il pedale del freno.
Cosa non meno importante: in queste condizioni, come mai l’Autopilot non è intervenuto nemmeno per tentare una frenata disperata? Come mai i sensori (telecamera e radar) non hanno visto un autoarticolato che si metteva di traverso? Formalmente questo fatto non è un difetto dell’Autopilot, perché l’Autopilot non è progettato per riconoscere veicoli messi di traverso. Anzi, dice Musk, il suo radar è progettato per ignorare grandi superfici messe di traverso sopra la carreggiata: vale a dire, i cartelli stradali sospesi, ma a quanto pare anche le fiancate di TIR il cui rimorchio non ha barriere laterali sotto il pianale.
@artem_zin@theaweary Radar tunes out what looks like an overhead road sign to avoid false braking events
Quanti proprietari di Tesla sono al corrente di questa particolarissima limitazione e sanno che la loro auto ipersofisticata è in realtà cieca agli ostacoli proprio all’altezza dell’abitacolo?
Come giornalista informatico, lavorando alla radio, avendo un blog e un profilo Twitter abbastanza seguiti e facendo parecchi incontri pubblici, mi capita spesso di sentire le opinioni di tante persone sugli oggetti tecnologici, comprese le auto “intelligenti”. E vedo regolarmente che è diffusissima l’idea che le Tesla, in particolare, siano automobili autonome, nelle quali ti siedi al volante ma fanno tutto loro. C’è una visione magica della tecnologia Tesla che ricorda molto quella dei prodotti Apple dell’era di Steve Jobs.
A un certo punto della discussione è intervenuto Elon Musk (o chi gestisce per lui il suo account Twitter), giustificando il nome Autopilot con un paragone con il pilota automatico aeronautico:
@disinformatico@Eddy_Jahn In other words, the intended implication is that a driver must remain alert, just as a pilot must remain alert.
Io e altri abbiamo fatto notare, insomma, che un pilota d’aereo riceve un addestramento di gran lunga superiore a quello di un automobilista e che specialmente per i sistemi di guida assistita l’addestramento dato al conducente si limita quasi sempre a una spiegazione presso il concessionario, al momento del ritiro dell’auto, e a un invito a leggersi il manuale. Un pilota di linea guida per lavoro, ed è pagato per concentrarsi sul pilotaggio: un automobilista no.
Ci sono inoltre delle differenze enormi fra un pilota automatico moderno (quello di un aereo di linea, per esempio) e l’Autopilot di Tesla.
– Un pilota automatico d’aereo ha un sistema anticollisione automatico che negozia con l’altro veicolo la traiettoria per evitare collisioni (TCAS). L’Autopilot no.
– Un pilota automatico d’aereo è in grado di gestire la rotta per raggiungere la destinazione indicata dal pilota: l’Autopilot non segue la strada indicata dal navigatore, ma semplicemente segue le strisce della corsia della strada sulla quale si trova.
– In cielo non ci sono semafori e la Tesla non riconosce i semafori. Se è in Autopilot, attraverserà un incrocio col rosso.
– Un pilota automatico d’aereo non è cieco a qualunque oggetto si trovi davanti e sopra, ad altezza d’abitacolo.
– A un pilota di aereo di linea non si chiede di accettare come “pilota automatico” un software che è ancora sperimentale.*
*Elon Musk, a ottobre 2015, ha presentato l’Autopilot di Tesla Motors dicendo chiaramente “We still think of it as a public beta, so we want people to be quite careful” e ;ancora oggi l’Autopilot è definito dal costruttore almeno in parte come “software beta”. Inoltre al conducente che sceglie di installarlo viene chiesto di accettare una clausola apposita di responsabilità limitata.
Il paragone aeronautico non regge, insomma. Forse dovremmo usare, per il sistema di guida della Tesla, un nome meno ambiguo, come Driver Assistant, Pilot Assistant, Sidekick o qualcos’altro che chiarisca inequivocabilmente il ruolo di supporto al guidatore e non di suo sostituto (fra l’altro, il manuale dell’Autopilot versione 7.1 parla di “Driver Assistance hardware”).
Certo, ci saranno sempre gli stupidi e gli incoscienti che ignoreranno gli avvisi e i nomi, non importa quanto siano chiari (come succede per le cinture di sicurezza, per esempio): ma se un nome meno ingannevole e una campagna promozionale meno sensazionale possono salvare delle vite, secondo me vale la pena di adottarli. Spero che Elon Musk aggiorni il software e i sensori in modo da rendere più difficili comportamenti pericolosi che abusano dell’Autopilot: per esempio con una telecamerina che riconosca i contorni del volto del conducente e si accorga se sta guardando in avanti o no.
Adoro le auto elettriche e le auto autonome/assistite e in particolare le Tesla, tanto da averne ordinata una (la Model 3): inquinano meno e promettono di ridurre gli incidenti e il tempo perso nella guida. Mi dispiacerebbe molto se un nome ingannevole come Autopilot causasse una reazione ostile alle auto di questo tipo, alimentata dall’ignoranza, dal pregiudizio e dalla disattenzione. Presentare questa tecnologia come se fosse matura, quando in realtà non lo è, è pericoloso, perché spinge a una guida eccessivamente fiduciosa e disattenta. Ed è pericoloso in generale per il futuro, soprattutto adesso che si sta discutendo, negli Stati Uniti, la normativa federale sulle auto autonome.
Siamo a una svolta decisiva in un campo tecnologico che ha un potere enorme di trasformare la nostra società: vediamo di affrontarla con prudenza e con informazioni corrette.
Rilancio qui le mie asserzioni-scommessa sull’intelligenza artificiale basata solo sul riconoscimento di schemi:
Il machine learning è semplicemente un riconoscimento di schemi (pattern recognition) e non costituisce “intelligenza” in alcun senso significativo della
parola.
Il riconoscimento di schemi fallisce in maniera profondamente non umana e in
situazioni che un umano invece sa riconoscere in maniera assolutamente
banale. Questo rende difficilissimo prevedere e gestire i fallimenti del machine learning e quindi rende pericolosa la collaborazione umano-macchina.
Qualunque sistema di guida autonoma o assistita basato esclusivamente sul
riconoscimento degli schemi è destinato a fallire in maniera imbarazzante e
potenzialmente catastrofica.
Sì, l’attuale software delle Tesla (che, ricordo, per l’ennesima volta, è un assistente di guida, non un sistema di guida autonoma) scambia la Luna, giallognola e bassa sull’orizzonte, per un impossibile semaforo giallo sospeso in cielo.
Un esempio perfetto di edge case: una situazione che si presenta molto raramente ed è assolutamente ovvia per un essere umano (che ha cognizione di come è fatto il mondo e sa che non ci sono semafori in cielo) e che pertanto difficilmente verrà contemplata nel dataset usato per addestrare il sistema di riconoscimento delle immagini.
So bene che questa versione del software è una beta e il suo uso in
strada serve proprio per addestrare la versione successiva a riconoscere
anche questi edge case, ma quanti edge case ci sono? Quanti ne dovremo scoprire prima di poter ritenere ragionevolmente di averli scoperti tutti? E ha senso pagare oggi 200 dollari al mese o 10.000 dollari una tantum per un prodotto del genere?
Finché il software di guida assistita sbaglia così, non me ne faccio niente di un assistente imbecille e di certo non sono disposto a mettere la mia vita nelle sue mani. Se avete un’auto con guida assistita, di qualunque marca, non fidatevi troppo.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Ricordate la notizia
clamorosa dello schianto di una Tesla nella quale “nessuno era al volante”, in Texas? Quello che ha causato la morte dei
due occupanti? Quello di cui hanno parlato tutti i giornali e che ha scatenato
infinite polemiche sui sistemi di guida assistita?
Beh, la telecamera di sorveglianza di casa del proprietario documenta che il
proprietario si è messo al posto di guida.
Lo dice, molto chiaramente, il rapporto preliminare
dell’NTSB (National Transportation Safety Board):
The crash trip originated at the owner’s residence near the end of a
cul-de-sac. Footage from the owner’s home security camera shows the owner entering
the car’s driver’s seat
and the passenger entering the front passenger seat. The car leaves and
travels about 550 feet before departing the road on a curve, driving over
the curb, and hitting a drainage culvert, a raised manhole, and a tree.
Inoltre i test dell’NTSB dimostrano che l’Autopilot (il sistema di guida
assistita con mantenimento di velocità, distanza e corsia) non poteva essere
attivato su quel tratto di strada: si poteva attivare il cruise control (mantenimento di velocità e distanza), ma non
l’Autosteer (mantenimento di corsia):
NTSB tests of an exemplar car at the crash location showed that Traffic
Aware Cruise Control could be engaged but that Autosteer was not available
on that part of the road.
Tutte le teorie sull’uso improprio della guida assistita vanno insomma a farsi
benedire.
Quanti dei giornali e siti che hanno strombazzato la notizia iniziale
pubblicheranno una rettifica?
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle
donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere
ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico) o altri metodi.
Si fa un gran parlare di intelligenza artificiale: computer che
riconoscono la voce, come Siri o Alexa o OK Google, giocano a scacchi meglio
degli esseri umani, identificano ed evitano ostacoli nella guida autonoma o
assistita, con tempi di reazione fulminei e irraggiungibili per una persona. È
facile pensare che siamo ormai vicini alla creazione di una vera intelligenza
sintetica generalista, capace di competere con un essere umano.
Ma l’informatico statunitense Terry Winograd ha ideato un test che dimostra
che non è affatto così. Il bello è che lo ha fatto nel 1972, e il suo test funziona ancora adesso. Non per nulla è diventato professore
d’informatica alla Stanford University ed è considerato uno dei massimi
esperti nel settore.
Il test di Winograd è beffardo, dal punto di vista degli informatici, per la
sua semplicità. Una delle sue formulazioni tipiche è questa:
Il trofeo non ci stava nella valigia marrone perché era troppo grande.
Una frase banale, con una struttura grammaticale semplice e parole
comunissime, perfettamente comprensibile. Talmente comprensibile e ovvia, per
noi umani, che neanche ci accorgiamo che è ambigua. Quale dei due oggetti era
troppo grande? Il trofeo o la valigia? Per noi la risposta è istantanea. Per
un computer, invece, no.
Infatti una semplice analisi meccanica della frase (“questo è un sostantivo, questo è un verbo”, eccetera) non consente di risolvere l’ambiguità. Per farlo bisogna sapere
che cos’è un trofeo, che cos’è una valigia, quali sono i normali rapporti di
dimensione fra trofei e valigie, che le valigie sono fatte per contenere
oggetti e i trofei no, e il fatto che se l’oggetto A deve stare dentro
l’oggetto B, non è un problema se l’oggetto B è molto più grande dell’oggetto
A: bisogna sapere che le cose piccole possono stare dentro le cose grandi ma non viceversa.
Non è neanche possibile usare uno dei trucchi preferiti dei sistemi di
intelligenza artificiale, ossia sfruttare un enorme corpus di testo e
un po’ di statistica per arrivare a una disambiguazione affidabile, o la
tecnica tipica degli assistenti vocali, ossia estrarre le singole parole
riconosciute e tirare a indovinare sul significato generale della frase. Serve
esperienza del mondo.
Il test di Winograd ha varie versioni, chiamate schemi, composte da due
frasi che sono differenti tra loro soltanto per una o due parole ma contengono
un’ambiguità che si risolve in due modi opposti. Risolverla non è possibile usando le regole della grammatica e della sintassi: richiede
conoscenza della realtà e ragionamento. Un computer che fosse capace di farlo
sarebbe, all’atto pratico, intelligente.
Questo è un esempio di schema di Winograd:
I consiglieri comunali rifiutarono il permesso ai manifestanti perché
temevano disordini
I consiglieri comunali rifiutarono il permesso ai manifestanti perché
istigavano disordini
Le persone interpretano la prima frase nel senso che sono i
consiglieri comunali a temere disordini; interpretano la seconda nel
senso che gli istigatori sono i manifestanti. Eppure le frasi sono strutturalmente identiche. Lo fanno perché sanno cosa sono i
consiglieri comunali e quali sono i loro compiti, e sanno che cosa sono le
manifestazioni e le loro possibili conseguenze.
Beh, direte voi, ma frasi ambigue come queste sono rare. Invece no: un gruppo
di ricercatori ne ha radunati 150 esempi, da usare come test d’intelligenza per computer. Frasi banalissime, come “ho messo un libro pesante sul tavolo e si è rotto”. Persino GPT-2, uno
dei sistemi di intelligenza artificiale più moderni applicato al linguaggio,
va in crisi di fronte agli schemi di Winograd, come spiega bene Tom Scott in questo video.
Potremmo risolvere il problema rivolgendoci ai computer in modo meno ambiguo?
È improbabile. Il guaio è, infatti, che siamo talmente abituati a usare
sottintesi basati sulla conoscenza del contesto che troveremmo estenuante
parlare o scrivere in maniera perfettamente non ambigua.
Questa necessità di avere contesto per capire e risolvere le ambiguità non è solo una questione linguistica: è un ostacolo per un settore delicatissimo come la guida autonoma.
Un’automobile che usi un sistema di puro riconoscimento delle immagini, per esempio, verrà confusa dall’immagine della bambina in mezzo alla strada che vedete all’inizio di questo articolo e probabilmente frenerà di colpo per non colpirla. Al sistema mancano il contesto temporale (la deduzione delle forme reali a partire dal modo in cui cambia l’aspetto nel corso del tempo, e alcuni costruttori ci stanno lavorando) e la conoscenza del comportamento dei bambini: due cose che consentono di capire che non ha senso che una bambina sia perfettamente immobile in quella posizione e che la forma della “bambina” cambia, man mano che ci si avvicina, in un modo che rivela senza dubbio che si tratta di un disegno applicato alla superficie stradale.
Senza dubbio, s’intende, se siete esseri umani. Forse servono strade disambiguate, percorsi semplificati e ben demarcati, che vengano incontro alle limitate capacità dei sistemi di guida autonoma attuali.
Chiarisco che qui non si tratta di rivendicare una superiorità innata e invalicabile dei cervelli biologici su quelli sintetici: non è la materia prima che fa la differenza, è la conoscenza associata agli oggetti che vengono elaborati. Noi l’abbiamo (la acquisiamo), ma le macchine no, perché non gliela diamo. Il giorno che sapremo insegnare a un computer questa conoscenza, avremo davvero macchine intelligenti.
In sintesi: l’intelligenza artificiale fallisce in modi profondamente “inumani”. Dà l’illusione della comprensione. Questo rende particolarmente difficile prevedere i suoi errori e correggerli. Specialmente quando si è al volante. Ricordiamocene prima di affidarci a questi sistemi.
A che punto è la sperimentazione della guida “autonoma” di Tesla? Ho scelto alcuni video per illustrare la situazione. A ottobre
2020 Tesla ha rilasciato a un gruppo ristretto e selezionato di utenti
statunitensi (un migliaio
circa inizialmente, ora circa duemila) una versione di software denominata Full Self Driving Beta, che
però non è né full né self driving ma è decisamente beta ed è ancora formalmente classificata come Livello 2.
L’azienda ricorda ripetutamente a tutti gli utenti che partecipano a questa sperimentazione che devono restare sempre
pronti a intervenire per correggere eventuali errori ed è già intervenuta per ritirare il software FSD dalle auto dei conducenti che non dimostravano attenzione
sufficiente.
Questo software è in grado di girare su tutte le Tesla dotate dell’hardware
più recente se la singola vettura viene abilitata dalla casa madre. Molte
persone hanno pagato in anticipo un supplemento per avere questo software (e in alcuni casi anche l’hardware aggiornato), con
la speranza di poterne sfruttare prima o poi le potenzialità promesse. Ma il
tempo passa e ostacoli normativi e di sviluppo non consentono di farlo: il
software non è ancora maturo a sufficienza per un compito delicato e
potenzialmente letale come la guida in ambiente cittadino. Personalmente trovo
quasi miracoloso che non ci siano ancora stati incidenti di rilievo fra questi beta tester. Elon Musk ha annunciato un aggiornamento significativo per aprile 2021.
Prevengo eventuali equivoci: sì, ho una Tesla (Model S del 2016), ma ho intenzionalmente scelto
un modello privo di queste funzioni di guida assistita evolute. Ha
soltanto mantenimento di velocità, distanza e corsia, e comunque uso queste funzioni con molta cautela (soltanto in autostrada, quando c’è poco traffico, e stando sempre nella stessa corsia; lo disattivo per superamenti e sorpassi).
Se avete sistemi di guida assistita, di qualunque marca, state molto vigili, perché questi sistemi “ragionano” e falliscono in
maniera molto differente da come si comporta un conducente umano e quindi
possono sbagliare quando meno te l’aspetti, col rischio di causare incidenti invece di prevenirli.
Questo è un esempio di fallimento “inumano”: un conducente umano non avrebbe problemi a decifrare che si tratta di un 3 e non di un 8. Le Tesla lo interpretano come un 8 e, se sono in guida assistita completa (Autopilot), accelerano di conseguenza. Il test è stato svolto da ricercatori di McAfee su una Model S con hardware non recente (quello di MobilEye che ho anch’io). I ricercatori non sono riusciti a replicare il fenomeno su una Tesla con hardware più recente.
Il primo video che vi propongo è molto positivo: un’impressionante demo di guida cittadina notturna quasi
completamente autonoma ma comunque supervisionata (conducente sempre pronto a
riprendere il controllo). Come tanti video del genere, mostra solo il meglio
ed è accelerato, ma è comunque notevole, con situazioni che metterebbero alla
prova qualunque guidatore medio.
Craziest FSD video of the night!!! 🤯
CHESTNUT STREET EXTREME
STRESS TEST
I seriously shit my pants when I saw it do this
without any interventions! I couldn’t believe it. Jaw on the floor.
Il secondo video racconta una storia completamente differente. Fra collisioni
mancate, invasioni di corsia e altri guai, questa guida è tutt’altro che
rilassante. Soprattutto diventa evidente la “logica” non umana di questi
sistemi, che non sembrano avere una reale comprensione della situazione
globale che stanno affrontando.
Il terzo video mostra, con un’ottima visuale dall’alto grazie a un drone, i tentativi del sistema di guida assistita (FSD Beta 8.2) di affrontare una svolta a sinistra che attraversa tre corsie veloci. Decisamente non va bene.
Se avete già questi sistemi di guida, siate prudenti; se state pensando di
acquistarli, siate altrettanto prudenti. O almeno siate pronti a una lunga e
paziente attesa prima di poterli usare.
Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle
donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere
ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico), Bitcoin (3AN7DscEZN1x6CLR57e1fSA1LC3yQ387Pv) o altri metodi.
