]]>Senate Democrats on Tuesday blocked legislation to create a new regulatory framework for cryptocurrency, stalling an industry-backed effort to place new guardrails around digital assets after demanding more limits on President Donald Trump’s investments.
Two Chinese companies allegedly used Binance accounts to launder more than $1.5 billion in sanctioned oil proceeds for Iran’s military and the IRGC
Source: U.S. seizes $61 million in crypto from Iranian oil sales on Binance
]]>Lunedi esce un mio pezzo su Repubblica, sul giornale di carta è ridotto rispetto alla long form che uscira’ sul web e che vi invito a leggere.
WASHINGTON, Sept 15 (Reuters) – The chairman of the U.S. Federal Trade Commission said on Tuesday that “everyone should be deeply suspicious” about AI companies seeking antitrust exemptions while they also lobby for new regulations.
Source: FTC chair suspicious of calls for AI antitrust exemptions | Reuters
]]>The European Commission will propose new rules to restrict minors’ access to social media and video-sharing platforms before the age of 15, according to preparatory documents seen by POLITICO and a person familiar with the matter.
The EU executive on Thursday will unveil a new EU KIDS Act setting out age restrictions, along with new rules requiring covered products, such as social media and AI companions, to be safe by design. The proposal aims to create a tiered system for accessing social media under parental supervision before age 15, the documents said.
Source: EU to limit access to social media before age of 15 – POLITICO
]]>E basterà dare una spruzzata di AI per intorbidire le acque e sfuggire alle regole sulla responsabilita’.
Chi produce e’ responsabile. Punto.
Avevo fatto anche una proposta di legge sul punto che avevo prodotto dopo lunghe discussioni su David Weinberger.
We know these agents have the capability to aid and abet harm. What we’re wrestling with now, like so many medieval judges pondering the inner lives of pigs, is how to parcel out accountability when they do. “Is the legal system set up for that?” asks Christoph Winter, an assistant professor at the University of Cambridge and director of the Institute for Law & AI. “Very likely not. We have not yet faced the question where a nonhuman actor arguably has a level of autonomy that is quite foreign to us but also doesn’t yet reach the level of autonomy humans have.” LLMs, for the moment, seem to be something more than tools but less than persons. They are, Winter says, “this new category that we simply haven’t thought about.”
Source: Bot Crime? AI Is Hitting the Legal System From Every Side
]]>The proposed class action alleges Meta illegally harvested people’s Facebook and Instagram photos to train its AI image-generation models and to build its unreleased “NameTag” face recognition feature.
Source: Meta Sued Over Training Data for Its AI and Face-Recognition Systems | WIRED
]]>Perchè non leggiamo un titolo simile ? Perché una cosa simile non è successa ma siamo disponibili invece a credere che “decine di agenti fuori controllo hanno violato decine di servizi online” ? e che “gli agenti hanno comunicato segretamente tra loro per coordinare l’attacco scambiandosi informazioni su come essere più efficaci nel compiere questi atti” ?
Il fatto è che se le auto facessero una cosa simile, riterremmo – giustamente – che chi gestisce quelle flotte è fuori controllo. Gli agenti non sono “fuori controllo”, ma chi li controlla lo è.
Il fatto è che le auto non sono “guidate” da LLM, sarebbe totalmente irresponsabile.
Vediamo di capire perché invece non chiamiamo “totale irresponsabilità” gli attacchi informatici fatti da un LLM.
LLM, Carbonara e Hugging Face
Per farlo dobbiamo capire velocemente come funzionano questi attacchi e perché non c’e’ nulla di sorprendente in ciò che è accaduto, anzi.
Quindi, non dovremmo stupirci che chiedendo a un LLM come si fa a bucare un computer con questo sistema operativo, quello ci proponga una serie di tecniche per farlo, con annessi programmi di esempio.
Perchè ciò non accade ? Perché i vari LLM che sono disponibili hanno dei guardrail per cui se uno gli chiede cose illegali, quelli rispondono picche. Potete provare. Il fatto è che i ricercatori di OpenAI, ovvero i produttori di questi LLM che creano anche i guardaril, hanno la possibilità di usare LLM senza i guardrail. E questo hanno fatto: hanno tolto le protezioni ai loro sistemi. Un po’ come se i ricercatori di Google (le auto a guida autonoma Waymo sono di Google) avessero tolto dai software delle auto le istruzioni per evitare che investano persone per la strada. Poi ci stupiremmo se accadono incidenti ?
Ma un LLM che ci dice come fare la carbonara non è in grado di cucinare. Per farlo avrebbe bisogno di essere dotato di appendici fisiche per poter prendere le istruzioni della ricetta e applicarla (prendendo pentolame e ingredienti).
Un LLM che – con le protezioni eliminate – ci dà le ricette per attaccare altri computer, non è in grado di farlo. Avrebbe bisogno di essere dotato di appendici informatiche per poter prendere quelle istruzioni e applicarle. Queste appendici si chiamano “harness” (non sono una rete neurale, ma un normale programma leggibile da un umano). L’harness prende le istruzioni dell’LLM (con protezioni eliminate) e le applica. Se l’operazione non ha successo (se il computer bersaglio non è stato violato), torna dall’LLM che gli dà un’altra ricetta che lui esegue e così, fino a quando riesce a trovare la ricetta giusta.
Chi si sorprende della carbonara ?
Non c’è nulla di cui sorprendersi! Se ci sorprendiamo che un LLM (con le protezioni abbassate) dotato di un harness (tecnicamente chiamato “long horizon hacking agent”) abbia violato un sistema, beh, allora dobbiamo sorprenderci anche quando un LLM ci dice come preparare la carbonara.
Al computer non era stata richiesta la ricetta per la carbonara ma di risolvere un benchmark (un test) chiamato Exploit Gym. I padroni dei sistemi che risolvono l’Exploit Gym coni voti migliori, ovviamente hanno un vantaggio commerciale perché possono dire ai clienti “il mio sistema funziona meglio di quello della concorrenza”. E’ un obiettivo dei benchmark. Le risposte ai test Exploit Gym sono registrate su alcuni server, tra cui quelli della società Hugging Face.
Se diciamo all’LLM che non abbiamo i rigatoni, ci dirà di usare gli spaghetti. Se non abbiamo nemmeno gli spaghetti, ci dirà di andare al supermercato a comprarli. Questi sono tutti passaggi logici di cui non ci stupiamo. Da qualche parte (da molte parti) c’è scritto che spaghetti e rigatoni sono in vendita nel supermercato.
Allora non dovremmo stupirci che il sistema, cui viene chiesto di fornire soluzioni per l’Exploit Gym, non avendole dica di andare a prenderle al supermercato – pardon, su Hugging Face.
Migliaia di agenti si fermeranno prima, ma qualcuno – probabilisticamente – fornirà questa istruzione.
Un LLM non ha un giudizio di “giusto” e “sbagliato”, sono le persone che lo usano che hanno (o dovrebbero avere) questo giudizio. E per questo quando fanno questi test, isolano i sofwtare in “sandbox” (i recinti con la sabbia dove far giocare i bambini all’asilo, per evitare che dissemino sabbia ovunque).
La sandbox di OpenAI forniva all’harness un accesso limitato a Internet, ma ci stupiamo che chiedendo come raggiungere il supermercato, se rispondiamo che non abbiamo l’automobile, un LLM suggerisca di prendere una bicicletta o andare a piedi ? Allo stesso modo il problema dell’accesso limitato a Internet diventa un ulteriore obbiettivo da risolvere cercando una vulnerabilità sul proprio sistema. Una volta trovata ed avendo accesso a Internet si può andare al supermercato, pardon, su Hugging Face.
Il non segreto di pulcinella
Chiediamo a un LLM (senza guardrail) “Come si fa a entrare in un sistema ?” e probabilmente ci risponde che servono delle credenziali di accesso. Se chiediamo “Hai delle credenziali di accesso ?” quello ci risponde sulla base di quello che trova online. Nello specifico, erano esposte online 14 credenziali di Hugging Face che l’LLM, come bravo motore di ricerca semantico, ha trovato e l’harness ha sfruttato. (credenziali segrete quanto pulcinella)
La narrazione in stile Hal 9000 e la Chernobyl di OpenAI
Ecco che capiamo come si ridimensiona la narrazione fantascientifica dell’attacco a Hugging Face “agenti autonomi evadono dal contenimento, accedono a Internet in modo non autorizzato e violano un server”. Una narrazione che fa pensare ad agenti con una volontà propria contrastante con la volontà dei loro creatori e che consiamente decidono di agire per sfuggire al loro controllo.
In realtà gli operatori hanno deliberatamente tolto i guardrail per l’esperimento (come accadde con Chernobyl, analogia che mi pare azzeccata), avevano una sandbox di cui non avevano verificato preventivamente la tenuta stagna, non erano lì a controllare tutto ciò che accadeva tra il 7 e il 19 luglio, data in cui finalmente gli operatori di OpenAI si sono accorti che la sandbox era stata violata.
Non c’è stata alcuna intenzionalità della macchina, non c’è stata alcuna autodeterminazione di nuovi obiettivi; solo una serie di prompt inviati da un harness a un LLM.
Questi comportamenti da parte di OpenAI, in particolare il non collaudo preventivo della sandbox e lo scadente controllo della esecuzione dei test sono stati quantomeno negligenti. Ciò dimostra che non è la macchina fuori controllo, ma chi la ha controllata (male).
Le parole sono importanti
Le parole sono importanti. Le macchine non sono “autonome” ma “automatiche”. Non sono dotate di responsabilità. I responsabili sono quelli che controllano questi sistemi. (per quello le auto autonome non sono guidate da LLM; sono sistemi IA che incorporano regole di comportamento specifiche del dominio).
Esistono decine, centinaia di strumenti automatici che i tecnici di sicurezza informatica usano per verificare le vulnerabilità dei propri sistemi in modo tale da poter metterli in sicurezza. Se uso uno di questi strumenti per violare senza autorizzazione un sistema di terzi, sto compiendo un reato. Dire che lo fa una macchina “autonomamente” è un intorbidimento semantico: la narrazione del sistema autonomo che pare dotato di propria volontà scherma le responsabilità reali.
E promuove le aziende che questi sistemi producono e che possono così porsi in prima fila nello sfruttamento del secondo ambito applicativo dopo il coding, la sicurezza informatica.
PS. esiste già una legge che rallenta questo tipo di sviluppi, in tutto il mondo. Negli USA si chiama Computer Fraud and Abuse Act che commina pene fino a 10 anni di reclusione. E come non puoi dire “non sono stato io, è stato lo script della mia shell” non puoi dire “non sono stato io, è stato un agente autonomo” (automatico), a meno di non convincere il giudice che esso è autonomo, e che si muove contro la volontà dei suoi creatori – e forse non basta. Le responsabilità sono degli uomini che fanno uso di questi strumenti. Basterebbe applicare la legge, solo che questa amministrazione non lo farà mai (nei confronti degli iperpotenti). Su questo ha ragione Sacks quando dice che con queste narrazioni vogliono evitare le responsabilità derivanti dai loro atti.
PP.SS. Anthropic è l’azienda che diceva che ha un margine positivoescludendo i costi di training e che nei suoi reporting agli investitori mostra l’effetto sui conti di questa esclusione (! qui). C’è una pseudometrica che sta facendo capolino, chiamata “EBTIT” Earnings Before Training, Interest and Taxes (qui e qui/paywall). Altman, dal suo canto, diceva che ci vuole una “rete di sicurezza” del governo, ad esempio costruendo una “national reserve of computing power” (qui)
PP.SS. Da qualche parte ho letto una analogia divertente: un po’ come costruire un robot che entra nelle gioiellerie e ruba ciò che trova. Poi dico “non è responsabilità mia.. è stato il robot”, però mi tengo gli incassi…
]]>^top^
questa trascuratezza da parte degli avvocati è una frode processuale che impone un costo al sistema.
per me gli avvocati responsabili dovrebbero essere radiati…
The New Mexico Supreme Court held a ChatGPT-using lawyer in direct contempt of court for submitting a brief with “false testimony from wholly fabricated witnesses,” including fake police testimony and other mistakes. The state’s top court referred the lawyer to a disciplinary board for further proceedings and concluded that he “demonstrated a lack of remorse and a lack of concern for his client.”
Source: ChatGPT-using lawyer punished for citing fake testimony from made-up witnesses – Ars Technica
]]>LOS ANGELES, Sept 10 (Reuters) – California Governor Gavin Newsom signed into law on Thursday new tech company restrictions barring children under 16 from exposure to behaviorally addictive features on social media platforms and banning toys containing AI companion chatbots.
The two measures were among 13 bills Newsom enacted as a package designed to safeguard young people from technology seen as putting them at risk, including greater online privacy protection for minors.
…
California’s version, known as Assembly Bill 1709, prohibits children under age 16 from exposure to a number of “psychologically exploitative features intended to maximize engagement that foreseeably lead to compulsive use.”
Those include infinite-scroll feeds, algorithmic autoplay and other features to be defined in future regulations.
Source: California enacts new curbs on social media for children | Reuters
]]>Per piacere presidentissimo, metta dei dazi ! Ci aiuti a make europe great again!
Ah, ops. non è l’Europa.. è la retrograda California? beh, poco male. Metta dei dazi anche a loro!!
California Gov. Gavin Newsom signed two bills into law on Wednesday establishing the first framework in the United States requiring independent third-party audits and assessments of artificial intelligence systems.
Senate Bill 813, authored by state Sen. Jerry McNerney (D-Pleasanton), creates a framework for independent verification organizations to assess AI systems and models for compliance with state law. Assembly Bill 1405, authored by Assemblymember Rebecca Bauer-Kahan (D-Orinda), establishes a state registry for AI auditors and sets standards for their independence, transparency, and integrity, according to the governor’s office.
Source: California enacts first U.S. laws requiring independent AI audits
]]>