Před pár hodinami byla zveřejněná petice s až neuvěřitelným seznamem signatářů. Elon Musk, Steve Wozniak, Emad Mostaque (tvůrce Stable Diffusion AI), Connor Leahy, Yuval Noah Harari a řada předních výzkumníků AI podepsali petici za dobrovolné pozastavení dalšího trénování modelů silnějších než GPT-4 na 6 měsíců.
Jeden z nejlepších komentářů poskytl k problematice Filip Doušek, expert v oblasti umělé inteligence a analýzy dat. Zabývá se jejich dopadem na řízení firem i každodenní život. Dlouhodobě pracoval v Londýně, Hongkongu a Silicon Valley. V roce 2012 vydal dvousvazkový román Hejno bez ptáků, na kterém pracoval 12 let.
Doušek píše:
„Ať už si o rizicích AI myslíte cokoliv, jde díky váze signatářů o bezprecedentní výzvu. Ukazuje, jak silné jsou mezi řadou odborníků obavy z možného dalšího vývoje. Odkud tyto obavy pramení?
Petice zmiňuje řadu rizik, od toho, jak se na LLMs bude adaptovat pracovní trh, až po to, jak pracovat s generovanými fake news (nyní spíše alternativními realitami). Kvůli těmto rizikům by se ale k pozastavení vývoje zatím těžko sahalo. Největší, existenční rizika zřejmě souvisejí s tím, že AI založené na LLM (Logic learning machine je metoda strojového učení, pozn. red.) by mohly poměrně brzy dosáhnout autonomní agency ve smyslu udržení určitého záměru a jeho realizace po nějakou dobu.
Rozptyl možných budoucností po dosažení tohoto bodu je velký. Záměrně se zdržuji vyjadřování vlastního názoru na pravděpodobnostní rozdělení těchto budoucností, od optimistických až po katastrofické, protože to není podstatné. Není ani důležité, zda tento záměr prozatím určuje člověk nebo samotná AI. Sledujme raději rychlost reálného vývoje.
Ještě předevčírem jsem komentoval pod příspěvkem u David Grudl: Ale myslíš, že do roka nebude mít kontinuální učení, ukázky autonomní agency, sebereferenční volání nebo moduly pro navrhování a vyhodnocování experimentů v některých oblastech? To jsou funkce, které jsou algoritmicky v principu proveditelné, a přitom dohromady začnou tvořit autonomní entitu, jejíž základem je LLM, ale která zároveň dokáže rozvíjet určitý záměr a realizovat ho (například hledáním na internetu a spouštěním kódu).
Trvalo ne rok, ale 2 dny, než se na Twitteru objevilo několik prototypů těchto funkcí. Zde je GPT-4 zřejmě spuštěné v sebereferenčním, kontinuálním módu:
Stojí za všimnutí, že GPT-4 na těchto snímcích obrazovky dochází k závěru, že v současné době neexistuje způsob, jak zabránit AI, aby způsobilo apokalypsu, byť tím nejtriviálnějším způsobem. Tohle pořád můžeme brát jako bezobsažné sémantické cvičení jazykového modelu, nerozporuji. Ale naprogramovat autonomní agency není žádná hypotetická budoucnost nebo magie. Tady Eliezer Yudkowsky (v hezké spolupráci s GPT) vysvětluje princip: Fucking Christ, we’ve reached the point where the AGI understands what I say about alignment better than most humans do, and it’s only Friday afternoon.
Tady je mnohem detailnější, týden starý paper rozebírající, jak z LLM udělat autonomní agenty s dynamickou pamětí, sebereflexí a vlastní korekcí halucinací a nekonečných smyček:
To, že autonomní agent může něco dělat, také není budoucnost, to jsou ty pluginy do ChatGPT, o kterých jsem psal před pár dny. Pluginy pro vyhledávání na internetu, spouštění kódu, propojování s tisíci aplikací.
Co naopak nikdo neví, je to, jak se budou v takovémto módu LLMs chovat, k jakým cílům budou konvergovat a jak jejich vývoj přitom můžeme kontrolovat.
Pár otázek pro ty, komu to připadá triviální a rizika nafouknutá:
- Je možné, že si neplatíte GPT-4 a netušíte, jak velký skok je mezi GPT-3 a GPT-4?
- Je možné, že o rizicích víte méně než skupina signatářů výše? (Já ano.)
- Je možné, že si neumíte představit, jak autonomní agenty naprogramovat?
- Je možné, že jste zadali ChatGPT úkol, který vyřešil hůř než vy, a z toho široce zobecňujete?
- Je možné, že neberete v úvahu feedback loop mezi kontinuálním učením a autonomním rozhodováním?
Takže abych to shrnul, snad jsme stále na cestě ke zlatému věku lidstva. Jen v té petici mnoho inteligentních lidí signalizuje, že jejich interní predikční model vrací dost nepříjemně velký rozptyl možných budoucností a bylo by rozumné zpomalit. Tak uvidíme, jestli bude Microsoft souhlasit.“
Otevřený dopis
Systémy umělé inteligence s inteligencí srovnatelnou s lidskou inteligencí mohou pro společnost a lidstvo představovat vážná rizika, jak ukázal rozsáhlý výzkum a jak ostatně uznávají i špičkové laboratoře umělé inteligence.
Jak se uvádí v široce přijímaných zásadách umělé inteligence z Asilomaru, pokročilá umělá inteligence by mohla představovat zásadní změnu v historii života na Zemi a měla by být plánována a řízena s odpovídající péčí a prostředky. Bohužel k takovému plánování a řízení nedochází, přestože v posledních měsících se laboratoře umělé inteligence ocitly v nekontrolovatelném závodě o vývoj a nasazení stále výkonnějších digitálních myslí, které nikdo – ani jejich tvůrci – nedokáže pochopit, předvídat ani spolehlivě kontrolovat.
Současné systémy umělé inteligence se nyní stávají v obecných úkolech konkurenceschopnými vůči lidem a my si musíme položit otázku: Měli bychom nechat stroje, aby zaplavily naše informační kanály propagandou a nepravdou? Měli bychom automatizovat všechna zaměstnání, včetně těch, která člověka naplňují? Měli bychom vyvinout nelidské mozky, které by nás nakonec mohly přečíslit, přechytračit, zastoupit a nahradit? Měli bychom riskovat ztrátu kontroly nad naší civilizací?
Taková rozhodnutí nelze svěřovat nevoleným vedoucím pracovníkům v oblasti technologií. Výkonné systémy umělé inteligence bychom měli vyvíjet až poté, co si budeme jisti, že jejich účinky budou pozitivní a rizika zvládnutelná. Tato důvěra musí být dobře odůvodněná a musí se zvyšovat s rozsahem potenciálních účinků systému. V nedávném prohlášení organizace OpenAI týkajícím se obecné umělé inteligence se uvádí, že „v určitém okamžiku může být důležité získat nezávislý posudek před zahájením výcviku budoucích systémů a u nejpokročilejších snah se dohodnout na omezení rychlosti růstu výpočetní kapacity používané pro vytváření nových modelů.“. Souhlasíme. Tento okamžik nastal nyní.
Vyzýváme proto všechny laboratoře umělé inteligence, aby okamžitě alespoň na 6 měsíců pozastavily výcvik systémů umělé inteligence výkonnějších než GPT-4. Tato přestávka by měla být veřejná a ověřitelná a měla by zahrnovat všechny klíčové aktéry. Pokud se takovou pauzu nepodaří rychle zavést, měly by zasáhnout vlády a zavést moratorium.
Laboratoře umělé inteligence a nezávislí odborníci by měli tuto pauzu využít ke společnému vypracování a zavedení souboru sdílených bezpečnostních protokolů pro návrh a vývoj pokročilé umělé inteligence, které by byly přísně kontrolovány a dozorovány nezávislými externími odborníky. Tyto protokoly by měly zajistit, že systémy, které se jimi řídí, jsou nade vší pochybnost bezpečné.“ To neznamená pauzu ve vývoji umělé inteligence obecně, pouze ústup od nebezpečného závodu za stále většími nepředvídatelnými modely „černých skříněk“ s nově se rodícími (emergentními) schopnostmi.
Výzkum a vývoj umělé inteligence by se měl znovu zaměřit na to, aby dnešní výkonné a nejmodernější systémy byly přesnější, bezpečnější, interpretovatelnější, transparentnější, robustnější, sladěné se zadanými úkoly, důvěryhodnější a loajálnější.
Souběžně s tím musí vývojáři AI spolupracovat s tvůrci pravidel na výrazném urychlení vývoje robustních systémů řízení AI. Ty by měly zahrnovat přinejmenším: nové a kompetentní regulační orgány věnující se umělé inteligenci; dohled a sledování vysoce výkonných systémů umělé inteligence a velkých zdrojů výpočetních kapacit; systémy provenience a vodoznaků, které pomohou rozlišit skutečné systémy od syntetických a sledovat úniky modelů; robustní ekosystém auditu a certifikace; odpovědnost za škody způsobené umělou inteligencí; robustní veřejné financování technického výzkumu bezpečnosti umělé inteligence; a dobře vybavené instituce pro zvládání dramatických ekonomických a politických otřesů (zejména pro demokracii), které umělá inteligence způsobí.
Lidstvo se může těšit na prosperující budoucnost s umělou inteligencí. Poté, co se nám podařilo vytvořit výkonné systémy UI, si nyní můžeme užívat „léto UI“, kdy budeme sklízet plody, konstruovat tyto systémy k jasnému prospěchu všech a dávat společnosti šanci se přizpůsobit. Společnost si dala pauzu v případě jiných technologií s potenciálně katastrofálními dopady na společnost, můžeme tak učinit i zde. Užívejme si dlouhé léto s umělou inteligencí, nespěchejme nepřipraveni do podzimu.
