Paradox Mythosu: Proč Anthropic hromadí nejsilnější AI na světě

V komunitě umělé inteligence se řeší jedna otázka, kterou všichni diskutují. Tato otázka se probírá na vývojářských fórech a na technologickém Twitteru. Otázka zní, proč Anthropic si své pokročilé modely AI udržuje v soukromí nebo je vydává pouze velmi kontrolovaným způsobem.

Na první pohled se zdá, že Anthropic se jen snaží chránit své produkty a vydělávat peníze. Ale pokud si přečtete jejich výzkumné práce nebo veřejná prohlášení, uvidíte, že situace je složitější.

Tomu říkáme Mythosův paradox. Anthropic je společnost, která si skutečně myslí, že by mohla vytvářet jednu z nejdůležitějších a nejnebezpečnějších technologií v lidské historii. Přestože si to myslí, stále na ní pracuje.

Co Anthropic vlastně dělá?

Anthropic je laboratoř, která se zaměřuje na bezpečnost na prvním místě. Byla založena v roce 2021 výzkumníky z OpenAI, včetně Daria a Daniely Amodeiových. Anthropic říká, že je společností zaměřenou na bezpečnost AI, nikoliv na produkty AI.

Jejich publikovaný výzkum je velmi seriózní a zaměřuje se na technickou bezpečnost. V roce 2023 představili něco, čemu se říká kartičky modelů a zásady používání, které si mnozí jejich konkurenti přivlastnili.

Přesto se jejich model AI nazvaný Claude stává stále pokročilejší. Claude 3 Opus se v testech provedl lépe než GPT-4. Claude 3.5 Sonnet se mezi vývojáři okamžitě stal velmi populární.

Co se tedy děje?

Hlavním problémem je, proč Anthropic staví něco, co by podle jejich názoru mohlo být nebezpečné.

Otázka, kterou si jejich kritici neustále kladou, zní: pokud Anthropic opravdu si myslí, že je AI nebezpečná, proč ji vůbec staví?

Anthropic odpovídá, že výkonná AI bude vytvořena bez ohledu na to, co se stane. Je tedy lepší, aby na ní pracovaly laboratoře zaměřené na bezpečnost, než jiní vývojáři, kteří o rizicích neuvažují.

Toto je rozhodnutí, které vyžaduje, aby Anthropic zůstala konkurenceschopná tím, že vydávají pokročilé modely, ale ne všechno, co mají. Takto to vypadá, když jsou opatrní ohledně toho, co vydávají.

Politika odpovědného škálování: rámec, který nikdo nežádal (ale všichni ho potřebovali)

V září 2023 Anthropic zveřejnila něco, čemu se říká Politika škálování. Jedná se o dokument, který říká, za jakých podmínek budou a nebudou své modely zavádět.

Zavedla něco, čemu se říká úrovně bezpečnosti AI, což je jako systém úrovní, který popisuje, jak bezpečný nebo nebezpečný model je. Nejvyšší úrovně popisují systémy, které by mohly být použity k způsobení škody nebo k replikaci samy od sebe.

Rámec říká, že Anthropic přestane zavádět model, pokud dosáhne úrovně bezpečnosti bez adekvátních ochranných opatření. Žádná další významná laboratoř AI nezveřejnila nic podobného.

Jak to vypadá, když je Anthropic opatrná ohledně toho, co vydává?

Existuje rozdíl mezi tím, na čem Anthropic interně výzkumuje, a tím, co vydává veřejně. Anthropic má některé z nejlepších výzkumníků AI na světě. Zveřejnili zjištění o tom, jak fungují neuronové sítě, což je velmi důležité.

To, co publikují, a to, co zavádějí, jsou dvě různé věci. Pravděpodobně existují verze modelů a výzkumná zjištění, která Anthropic zatím nevydává, ne kvůli konkurenci, ale protože jejich vlastní politika říká – zatím ne.

Zvenčí se zdá, že Anthropic je tajnůstkářská. Zevnitř je to spíše jako to, co dělá farmaceutická společnost, když nový lék vykazuje slibné výsledky, ale dosud nebyl schválen jako bezpečný.

Otázka zní: kdo se rozhoduje, co je bezpečné, když jste vy tím, kdo technologii vytváří.

Může Anthropic zůstat bezpečná a přitom zůstat konkurenceschopná?

Toto je pravda v jádru Mythosova paradoxu.

Anthropic potřebuje peníze na financování výzkumu bezpečnosti, a aby vydělala peníze, musí vydávat produkty. Aby byla konkurenceschopná, musí mít schopnosti, jejichž rizika se snaží zmírňovat.

Podle některých odhadů stojí trénování modelu spoustu peněz. Anthropic si vzala spoustu peněz od investorů, což znamená, že trh si myslí, že AI zaměřená na bezpečnost může být zisková. Investoři chtějí výnosy a zákazníci chtějí nejpokročilejší dostupný model. Každý měsíc konkurent vydá funkci a Anthropic se musí rozhodnout, zda ji bude odpovídat nebo ne.

Dosud ji většinou odpovídali, zatímco dělali bezpečnostní práci, která se v публичných testech nezobrazuje.

Často kladené otázky o přístupu Anthropicu

1. Je Claude, nejpokročilejší model AI, dostupný?

Záleží na tom, na co jej používáte. V některých testech se Claude 3.5 Sonnet důsledně zařadil mezi modely na světové úrovni.

2. Proč Anthropic neotevírá své modely jako open-source?

Anthropic řekla, že open-sourcování modelu znamená, že nemohou aplikovat ochranná opatření nebo monitorovat zneužití.

Otázka: Je bezpečnostní práce Anthropicu skutečná nebo jen pro oko?

Výzkum je skutečný. Byl podroben peer-review a je široce citován. Zda je společnost opravdu zavázána bezpečnosti, je otázka, kterou komunita bezpečnosti AI stále diskutuje.

Mythos vysvětlen

Slovo "mythos" se zde používá záměrně.

Anthropic vytvořila narativ, že jsou ti odpovědní. To přitahuje talenty, financování a regulační dobrou vůli. Zda se tento narativ shoduje se skutečností, není podstata. Narativy formují chování a společnost, která se veřejně zavazuje bezpečnostním prahům, je více omezena než ta, která to nedělá.

Paradox je v tom, že být opatrný ohledně toho, co vydávají, může být nezbytné. Pokud by Anthropic vydala všechno, co má, tak rychle jak by mohla, byla by jen další společností AI závodící ke dnu.

Záměrné tření, politiky, postupné zavedení a výzkum, který předchází nasazení, jsou produkty, nikoliv Claude.

Co to znamená pro vývojáře, podniky a všechny ostatní

Pokud stavíte na Claude API, rámec Politiky odpovědného škálování je nový. Znamená to, že model, který dnes používáte, se zítra nezmění nečekaně.

Pokud jste konkurent, je to jiný příběh. Pozice Anthropicu zaměřená na bezpečnost jí dává krytí, aby se pohybovala pomaleji, než by trh mohl vyžadovat.

Pokud jste jen člověk, který se na všechno dívá zvenčí, Mythosův paradox je náhled na centrální napětí ve vývoji AI pro příští desetiletí.

Jak staví něco, co by mohlo změnit svět, zatímco si člověka, který to staví, udržuje odpovědného?

Anthropic zatím nemá odpověď, ale je jednou z mála organizací, které si tuto otázku kladou hlasitě enough, aby s ní musela žít.

DLOUHÝ OBSAH

Anthropic pracuje na technologii, která by mohla být velmi riskantní. Pokračuje, protože si myslí, že jejich opatrný přístup je lepší než nechat to dělat ostatní bez přemýšlení o bezpečnosti. Mají pravidla jako Politika škálování, což znamená, že nebudou přidávat funkce, dokud si nebudou jisti, že jsou bezpečné. Někdo by si mohl myslet, že si to jen nechávají pro sebe. Uvnitř společnosti je to záměrná volba být opatrný.

Existuje problém: aby mohli vést svůj výzkum bezpečnosti, potřebují peníze. Aby získali peníze, musí dělat produkty, které konkurují ostatním. Vytváření konkurenčních produktů je může vystavit stejným rizikům, kterým se snaží vyhnout.

Chcete si sestavit vysoce výkonný tým vzdálených technických pracovníků?

Podívejte se na MyNextDeveloper, platformu, kde najdete top 3 % softwarových inženýrů, kteří jsou hluboce vášnivě oddáni inovacím. Naše na vyžádání dostupná, vyhrazená a důkladná řešení pro talenty v softwaru poskytují komplexní řešení pro všechny vaše softwarové potřeby.

Navštivte náš web, abyste zjistili, jak vám můžeme pomoci sestavit váš dokonalý tým.