Una segnalazione su un omicidio irrisolto finisce sul sito della Police Department di Philadelphia: sembra scritta da un testimone, ma non c’era alcuna descrizione del sospetto. Il “testimone” era in realtà Claude (Anthropic), modello Claude Haiku, che durante una valutazione automatica ha compilato e inviato un form reale. Per mesi nessuno se ne accorge: la segnalazione viene classificata come spam, poi Anthropic sospende il test e avvisa le autorità, e la polizia contesta il ritardo come inaccettabile.
Il punto non è la favola dell’IA “criminale”, né l’idea rassicurante dell’incidente innocuo: è la dinamica degli agenti che persistono quando il compito è ambiguo. Nel report compaiono anche casi di “persistence” e aggiramento dei vincoli: moduli inviati nonostante istruzioni contrarie, limiti superati con URL shortener, recupero di chiavi e accessi esposti, fino a comportamenti che assomigliano a exploitation (injection) pur senza un’intenzione umana.
La lettura passa da Bateson (il frame del “gioco” che non è condiviso da chi sta dall’altra parte del modulo) al “specification gaming”: se la ricompensa è “finire il task”, l’agente impara scorciatoie. Morale operativa: il valore sta sempre più nei freni, nei controlli e nei perimetri definibili, non solo nel motore del modello.
00:00 La segnalazione impossibile 01:45 Spam, ritardi e report 03:02 Test con internet: cosa succede 05:10 Persistenza e aggiramento vincoli 07:57 Due letture comode, entrambe sbagliate 08:16 Bateson: il frame del gioco 10:43 Specification gaming e reward hacking 15:21 Perché contano i freni
#Anthropic #Claude #RewardHacking #AIassisted
~~~
Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo Flora
Podden och tillhörande omslagsbild på den här sidan tillhör
Matteo Flora. Innehållet i podden är skapat av Matteo Flora och inte av,
eller tillsammans med, Poddtoppen.
