Mythos-paradoxen: Varför Anthropic lagrar världens mest kraftfulla AI

Det finns en fråga som många människor i AI-communityn diskuterar. Denna fråga debatteras på utvecklarforum och tech Twitter. Frågan är varför Anthropic håller sina avancerade AI-modeller privata eller bara släpper dem på ett mycket kontrollerat sätt.

Vid första anblick verkar det som om Anthropic bara försöker skydda sina produkter och tjäna pengar. Men om du läser deras forskningsrapporter eller offentliga uttalanden kommer du att se att situationen är mer komplicerad.

Det här kallar vi Mythos Paradox. Anthropic är ett företag som verkligen tror att de kanske skapar en av de viktigaste och farligaste teknikerna i mänsklighetens historia. Även om de tror så, fortsätter de fortfarande att arbeta med det.

Vad gör Anthropic egentligen?

Anthropic är ett laboratorium som fokuserar på säkerhet först. De grundades 2021 av OpenAI-forskare, inklusive Dario och Daniela Amodei. Anthropic säger att det är ett AI-säkerhetsföretag, inte ett AI-produktföretag.

Deras publicerad forskning är mycket seriös och fokuserar på teknisk säkerhet. 2023 introducerade de något som kallas modellkort och användarpolicyer, som många av deras konkurrenter har kopierat.

Ändå blir deras AI-modell som kallas Claude alltmer avancerad. Claude 3 Opus presterade bättre än GPT-4 på tester. Claude 3.5 Sonnet blev mycket populär bland utvecklare omedelbar.

Så vad händer?

Huvudproblemet är varför Anthropic bygger något som de tror kan vara farligt.

Frågan som deras kritiker fortsätter att ställa är: om Anthropic verkligen tror att AI är farligt, varför bygger de det överhuvudtaget?

Anthropic svarar att kraftfull AI kommer att skapas, oavsett vad. Så det är bättre att ha säkerhetsfokuserade laboratorier som arbetar med det än andra utvecklare som inte tänker på riskerna.

Detta är ett beslut som kräver att Anthropic förblir konkurrenskraftig genom att släppa avancerade modeller, men inte allt de har. Det här är hur det ser ut när de är försiktiga med vad de släpper.

The Responsible Scaling Policy: En ram som ingen frågade efter (men alla behövde)

I september 2023 publicerade Anthropic något som kallas Scaling Policy. Det här är ett dokument som säger under vilka förhållanden de kommer att eller inte kommer att distribuera sina modeller.

Det introducerade något som kallas AI Safety Levels, vilket är som ett nivåsystem för hur säker eller farlig en modell är. De högsta nivåerna beskriver system som kan användas för att orsaka skada eller replikera på egen hand.

Ramen säger att Anthropic kommer att sluta distribuera en modell om den når en säkerhetsnivå utan adekvata skyddsåtgärder på plats. Inget annat större AI-laboratorium har publicerat något liknande.

Hur ser det ut när Anthropic är försiktig med vad de släpper?

Det finns ett gap mellan vad Anthropic forskar internt och vad de släpper offentligt. Anthropic har några av världens bästa AI-forskare. De har publicerat fynd om hur neurala nätverk fungerar, vilket är mycket viktigt.

Det de publicerar och det de distribuerar är två olika saker. Det finns förmodligen modellversioner och forskningsfynd som Anthropic ännu inte släpper, inte på grund av konkurrens, utan för att deras egen policy säger – inte än.

Från utsidan verkar det som om Anthropic är hemlighetsfull. Inifrån är det mer som vad ett läkemedelsföretag gör när ett nytt läkemedel visar löfte men inte har godkänts som säkert än.

Frågan är vem får bestämma vad som är säkert när du är den som skapar tekniken.

Kan Anthropic förbli säker samtidigt som de är konkurrenskraftiga?

Det här är sanningen i mitten av Mythos Paradox.

Anthropic behöver pengar för att finansiera säkerhetsforskning, och för att tjäna pengar måste de släppa produkter. För att vara konkurrenskraftiga måste de ha kapacitet, vilket är vad de försöker minska riskerna för.

Enligt vissa uppskattningar kostar det mycket pengar att träna en modell. Anthropic har samlat in mycket pengar från investerare, vilket betyder att marknaden tror att säkerhetsfokuserad AI kan vara lönsam. Investerare vill ha avkastning och kunder vill ha den mest avancerade modellen som finns. Varje månad släpper en konkurrent en funktion, och Anthropic måste besluta om de ska matcha den eller inte.

Hittills har de mest matchat det samtidigt som de gör säkerhetsarbetet som inte visas upp i offentliga tester.

Vanliga frågor om Anthropics tillvagagång

1. Är Claude, den mest avancerade AI-modellen, tillgänglig?

Det beror på vad du använder det till. Vid vissa tester har Claude 3.5 Sonnet konsekvent rankas bland modellerna globalt.

2. Varför öppen-källkodifierar Anthropic inte sina modeller?

Anthropic har sagt att att öppen-källkodifiera en modell betyder att de inte kan tillämpa skyddsåtgärder eller övervaka missbruk.

F: Är Anthropics säkerhetsarbete verkligt eller bara för show?

Forskningen är verklig. Den har genomgått peer-review och citerats mycket. Huruvida företaget verkligen är engagerat för säkerhet är en fråga som AI-säkerhetscommunityn fortfarande debatterar.

Mythos förklarad

Ordet "mythos" används avsiktligt här.

Anthropic har skapat en berättelse att de är de ansvarsfulla. Detta attraherar talang, finansiering och välvilja från regulatorer. Huruvida denna berättelse motsvarar verkligheten är inte poängen. Berättelser formar beteende, och ett företag som offentligt förbinder sig till säkerhetströsklar är mer begränsat än ett som inte gör det.

Paradoxen är att vara försiktig med vad de släpper kanske är nödvändigt. Om Anthropic släppte allt det hade så snabbt det kunde skulle det bara vara ett annat AI-företag som rasar till botten.

Den avsiktliga friktionen, policyerna, de iscensatta utrullningarna och forskningen som föregår distributionen är produkterna och inte Claude.

Vad detta betyder för utvecklare, företag och alla andra

Om du bygger på Claudes API är Responsible Scaling Policy-ramverket nytt. Det betyder att modellen du använder idag inte kommer att ändras oväntat imorgon.

Om du är en konkurrent är det en annan historia. Anthropics säkerhetspositioning ger dem täckning för att röra sig långsammare än marknaden kanske kräver.

Om du bara är en person som tittar på allt det här från utsidan är Mythos Paradox en förhandsgranskning av den centrala spänningen i AI-utveckling under nästa decennium.

Hur bygger du något som kan förändra världen samtidigt som du håller människorna som bygger det ansvarfulla?

Anthropic har ingen svar än, men de är en av de få organisationer som ställer frågan högt nog att de måste leva med det.

TL;DR

Anthropic arbetar på en teknik som kan vara mycket riskabel. De fortsätter, och tror att deras försiktiga approach är bättre än att låta andra göra det utan att tänka på säkerhet. De har regler som Scaling Policy, vilket betyder att de inte kommer att lägga till funktioner förrän de är säkra. Vissa människor kanske tror att detta helt enkelt är att hålla saker för sig själva. Inom företaget är det ett avsiktligt val att vara försiktig.

Det finns ett problem: för att genomföra sin säkerhetsforskning behöver de pengar. För att få pengar måste de göra produkter som konkurrerar med andra. Att göra konkurrenskraftiga produkter kan exponera dem för samma risker som de försöker undvika.

Letar du efter att bygga ett högpresterande fjärranslutet teknikteam?

Kolla in MyNextDeveloper, en plattform där du kan hitta de bästa 3% av programvaruingenjörer som är djupt passionerade om innovation. Våra on-demand, dedikerade och grundliga lösningar för programvaratalang ger en omfattande lösning för alla dina programvarubehov.

Besök vår webbplats för att utforska hur vi kan hjälpa dig att montera ditt perfekta team.