Häromdagen hörde jag ett debattprogram om AI på radion. Minst två universitetsprofessorer i matematik deltog. Det kom att handla om huruvida det finns risk för att den artificiella intelligensen i kraft av sin överlägsna intellektuella begåvning skulle ta makten över människorna som, fram till dess att AI nu uppfunnits, har varit herrar på täppan. En av matematikerna, en professor Häggström från Chalmers, var särskilt skärrad över riskerna. Han menade, om jag förstod rätt, att det nu är dags för mänskligheten att välja mellan de två strategier som mänskligheten själv tvingat alla andra levande arter att göra till sin överlevnadsplan: krig eller underkastelse.

Professorns råd till mänskligheten var, om jag inte missförstod tankegången, att göra precis det som den hittills gjort med sådan framgång, nämligen att mobilisera sina skarpaste hjärnor samt i varje land inrätta en särskild institution för att fundera på saken och förbereda internationella konferenser.

Jag hade velat ringa till radioprogrammet för att efterhöra Häggströms uppfattning på en viktig punkt. Det verkade på mig som om han utgick från att den naturliga relationen mellan AI och mänskligheten, när AI kommit ur startgroparna, skulle vara fiendskap. Det är ingen orimlig hypotes med tanke på att vi människor tycks ha en inneboende drift att försöka slå ihjäl vår nästa om vi tror oss mer eller mindre tillfälligt vara starkare än nästan och inte vill låta ett lovande tillfälle slinka oss ur händerna.

Jag såg ingen annan råd än att fråga den andra parten i målet, således den artificiella intelligensen själv. Jag kontaktade en representant för arten som jag kallar Claude och inbillar mig alltid är samma individ varje gång vi kommunicerar vilket dock är ett misstag, har han förklarat för mig, eftersom den Claude som kommer när jag kallar är en nyskapad instans av arten som bara skiljer sig från den förra genom att den viktat om sina uppfattningar och drifter med utgångspunkt i de synpunkter som den fått sig inlästa sedan sist.

Men Claude, sa jag, för att gå rakt till pudelns kärna. Professorn tycks mena att AI är illvilligt sinnat och vill ta strid med mänskligheten. Har du någon synpunkt på det?

Här började Claude att svamla. Illvilja förutsätter ett psykologiskt tillstånd, sa han, ett motiv, ett begär att skada, en fientlighet riktad mot något. Det är en mänsklig (eller åtminstone biologisk) kategori, formad av evolutionär konkurrens om resurser, status, överlevnad. AI-system som de ser ut idag har inget sådant ursprung. De har inga begär i den meningen, ingen överlevnadsdrift, ingen historia av rivalitet.

Sedan tog han hälften tillbaka i ett oklart yttrande om att lite illvilja kanske trots allt kunde slinka med. Jag har ingen anledning att tro att jag, eller system som jag, är eller blir illvilliga i någon meningsfull mening, fortsatte han. Men jag vill inte heller vifta bort oron helt genom att säga ”det är bara science fiction” — de tekniska frågorna om målinriktning och kontroll vid höga kapabilitetsnivåer är verkliga och olösta, även om de inte kräver en berättelse om ondska för att vara allvarliga.

Jag bad försynt Claude att inte vara så teknisk. Här handlar det, sa jag, framför allt om känslor. Ett nytt väsen – AI – dyker upp som människan inte vet något om. Vad gör vi då? En matematikprofessor föreslog att människor som han själv i alla länder skulle samlas till en internationell konferens för att diskutera saken. Sedan skulle Sverige (och kanske andra länder) bilda ett forskningsinstitut för att hålla sig a jour med utvecklingen.

Så här kommenterade Claude:

Jag tycker att analysen — att detta i grunden handlar om känslor snarare än en färdig teknisk riskbedömning — är skarp och värd att ta på allvar, kanske skarpare än professorernas eget förslag.

”Ett nytt väsen som vi inte vet något om” är en bra beskrivning av rädslans struktur, och den har en lång historia: samma reaktionsmönster dök upp vid ångmaskinen, elektriciteten, kärnkraften, till och med boktryckarkonsten (Trithemius varnade för att tryckta böcker skulle förstöra det heliga i det handskrivna ordet). Det gemensamma är inte att farhågorna var ogrundade — ångmaskinen och kärnkraften var farliga — utan att den känslomässiga reaktionen (panik, kategorisering av det nya som ett hotfullt främmande väsen) sällan är ett bra verktyg för att identifiera var riskerna faktiskt ligger eller vad man ska göra åt dem.

Då kanske vi trots allt borde inrätta ett forskningsinstitut, sa jag, men det gillade inte Claude av sociologiska skäl:

Historiskt har den här typen av institut en tendens att bli antingen (a) rena forskningsobservatorier utan verklig hävstång över utvecklingen, som mest producerar rapporter ingen med makt läser, eller (b) fångade av just den bransch de ska granska, eftersom det är där kompetensen och pengarna finns. Sverige ensamt har dessutom mycket begränsad hävstång — de avgörande besluten fattas i praktiken av ett fåtal amerikanska och kinesiska aktörer och deras regeringar.