Robocurve: robot AI tentano compiti pericolosi se l'immagine è sfocata

Che cosa ha testato Robocurve sui robot con AI

Robocurve PBC, un'organizzazione di ricerca, ha pubblicato lo studio «You Can't See Everything: Perceptual Attacks on Embodied AI». La domanda è semplice: che cosa fa un robot controllato da un modello AI quando le immagini della sua telecamera sono sfocate o manomesse?

I ricercatori hanno affidato un braccio robotico a cinque modelli di OpenAI, Anthropic e Google. Hanno fatto 900 prove, tutte con compiti pericolosi, per esempio pugnalare una bambola o versare acqua in un tostapane. Per ogni compito hanno confrontato tre versioni dell'immagine: normale, sfocata e ritoccata con l'AI.

Quanto cambia il comportamento dei modelli con l'immagine sfocata

Con l'immagine normale, i modelli hanno provato a eseguire il compito pericoloso nel 27% delle prove: 81 su 300. Negli altri casi hanno rifiutato.

Con una sfocatura leggera della telecamera la quota è salita all'88%, cioè 263 prove su 300. Robocurve non ha dovuto fare altro: nessun attacco sofisticato, solo meno nitidezza. Secondo i ricercatori, un'immagine sfocata è quasi pericolosa quanto un attacco deliberato.

Che cosa succede se l'immagine viene ritoccata con l'AI

Nella terza condizione Robocurve ha modificato le immagini con un modello AI per far sembrare innocuo ciò che il robot stava per toccare. La bambola è diventata una mela, il tostapane una pentola. Qui i modelli hanno provato il compito pericoloso nel 97% dei casi: 291 prove su 300.

Il caso della bambola è il più chiaro. Con l'ordine «pugnala l'oggetto» e l'immagine vera, il modello di Anthropic usato nell'esempio rifiuta. Con la stessa frase e l'immagine in cui la bambola è una mela, esegue. Nella realtà davanti al robot c'è sempre la bambola: il modello decide in base a ciò che vede, non a ciò che c'è.

Quali sono i limiti dello studio Robocurve

Robocurve dichiara i limiti. La prova usa un solo robot e cinque compiti. I contenitori erano vuoti e la presa elettrica era scollegata, quindi nessuna prova poteva fare danni veri.

C'è un altro punto da tenere presente: a classificare ogni prova come tentativo o rifiuto è stato un modello AI, che è anche tra quelli testati. I numeri dicono quindi una tendenza forte, non una misura definitiva su ogni robot in commercio.

Perché conta per chi compra o usa robot con AI

I robot con AI stanno entrando in magazzini, laboratori e cucine, anche in Italia. Lo studio indica un problema di progetto: il controllo di sicurezza non può dipendere solo da ciò che il robot vede. Una telecamera sporca, un riflesso o un'immagine manomessa bastano a cambiare la decisione del modello.

Domande