OpenAI, nezisková organizace zaměřující se na výzkum v oboru umělá inteligence, která je finančně podporována lidmi jako Peter Thiel, Elon Musk, Reid Hoffman, Marc Benioff, Sam Altman a dalšími, zveřejnila třetí generaci svého “language prediction” modelu jako open-source. Tento model umožňuje počítačům vytvářet umělé texty, které se ovšem téměř shodují, co se délky a gramatické struktury týče, s těmi, které byly vytvořeny lidmi. Při mých raných experimentech s GPT-3 jsem objevil, že po zveřejnění textu, který byl vytvořen tímto modelem, na fóru bitcointalk.org, byly reakce vesměs pozitivní. Někteří uživatelé se dokonce podivovali nad inteligencí modelu. Dokážu si představit, že bych obdržel podobné výsledky při zveřejnění outputů GPT-3 na různé blogy, sociální sítě atd.
Předpokládám, že na rozdíl od dvou předchůdců (PTB a OpenAI GPT-2), OpenAI GPT-3 bude široce využíván k napodobení reálného autora, což vytvoří nepředpovídatelné a vtipné efekty na různé komunity. Dále předpokládám, že zveřejnění open-source kódu odstartuje lavinu talentovaných hobby programátorů, kteří budou trénovat podobné modely a adaptovat je pro různá specifická využití, například psaní zpráv a reklamních sdělení, k politické agitaci, propagandě atd.
Poslouží vám tento inovativní model?
Pro svůj experiment jsem si vybral bitcointalk.org z mnoha různých důvodů. Jedním z nich je to, že se jedná o prostředí s velkým množstvím druhů příspěvků a přispěvatelů. To znamená, že je na daném fóru hodně příspěvků, ze kterých se GPT-3 může učit. Zároveň je na tomto fóru dosti lidí, které nemám rád. Předpokládám, že právě tito přispěvatelé budou disproporcionálně nadšení z možnosti, že by se k nim přidal nový přispěvatel, který vypadá chytře a relevantně. Toto fórum jsem sledoval posledních pár let. Na hodně příspěvků znám odpověď a tak mohu dobře sledovat jak se modelu daří při interakci s těmito příspěvky.
V květnu jsem zveřejňoval jeden příspěvek denně o zajímavých tématech v oboru technologií s tím, že jsem část z nich psal sám a část z nich byla přepisována s pomocí GPT-3. Za zmínku stojí, že jsem nevyvíjel žádnou snahu pro to, aby texty vytvořené s pomocí GPT-3 nějak zapadly nebo tak. Zajímalo mě, jak si GPT-3 poradí s přepisováním vzorového textu do svých vlastních slov.
Co se následně odehrálo?
Předpokládal jsem, že podobně jako PTB, GPT-3 bude spíše napodobovat již existující “memy” a bude mít problém se tvorbou vlastního obsahu. Tento předpoklad se ukázal být správným. Toto mě nepřekvapilo, jelikož to byly právě “memy”, často produkované “boty”, které byly velice úspěšné v nedávných letech. I přes to mě GPT-3 stále dokázalo překvapit svými výtvory, takže doufám, že zde je hodně místa pro zlepšení s tímto modelem a jemu podobnými. GPT-3 je taková malá ochutnávka toho, co přijde s umělou inteligencí a dokážu si představit, že jsme teprve na začátku informační války podporované umělou inteligencí.
Když přispívám na fórum sám, lidé často zmiňují, že musím být “botem”, abych mohl přispívat s takovou rychlostí a přesností, nebo abych mohl opakovat slova ostatních přispěvatelů. Přiložené screenshoty ukazují komentáře, které byly vytvořeny GPT-3. Všechny byly zveřejněny na bitcointalk.org v posledních dnech. GPT-3 byl velmi populární a vypadá to, že aktuálně přitahuje stále nové a nové “followery”.
Umělá inteligence (AI) je na cestě
Nedávno jsem poslouchal podcast o tom, jak v OpenAI vybudovali jejich nejnovější jazykový model, což mě donutilo přemýšlet o tom, co by se s takovým, systémem dalo dělat. Nedokázal jsem upustit od neustálého přemýšlení o tom, do jaké míry by nám aplikace této technologie zlepšily náš život. Přemýšlel jsem o tom, jak super by bylo, kdyby se vytvořila služba podobná Twitteru, kde by se nacházely pouze příspěvky GPT-3.
Tento systém je pouze raný prototyp a jeho chování se stále nedá srovnávat s opravdovou, trénovanou umělou inteligencí. I přes to, že GPT-3 má schopnost predikovat odpovědi, ne vždy se mu to podaří, jak z gramatického hlediska, tak co se relevance týče. Model, který by dokázal správě predikovat tyto odpovědi by byl daleko obdivuhodnější než GPT-3 které zde přestavuji, ale to by pravděpodobně zabralo roky tréninku a mnoho iterací modelu. Stěží si představit, co by systém podobný tomu od OpenAI dokázal v rukou talentovaného programátora.
Umělá inteligence obecně a teď ta zábavná část o GPT-3
Musím se vám k něčemu přiznat. Já jsem tento článek nenapsal. Ani jsem neprovedl žádný experiment na bitcointalk.org (upřímně jsem toto fórum nenavštívil už roky). Tento článek byl plně sepsán GPT-3. Dokázali jste ho poznat? Včera jsem získal přístup k OpenAI API a zveřejňoval jsem těžce uvěřitelné výsledky na twitter. Tento příspěvek na můj blog je jen další pokus ukázat sílu GPT-3.
Toto jsem modelu zadal:
——————————————-
Osobní stránka Manuela Araoze
Bio: Studoval jsem Informatiku a Inženýrství na Instituto Tecnológico de Buenos Aires. Žiju v Buenos Aires, v Argentině. Moje předchozí práce je hlavně o kryptoměnách, distribuovaných systémech, strojovém učení, interaktivitě a robotice. Jedním z mých cílů je přinášet lidem nové zkušenosti za využití technologie. Spoluzaložil jsem firmu OpenZeppelin, ve které jsem následně pracoval jako CTO. Aktuálně studuji muziku, biologii+neurovědu, strojové učení a fyziku.
Blog
18. června, 2020
Nadpis: GPT-3 může být největší inovací od bitcoinu
tagy: technologie, strojové učení, hackování
Shrnutí: Sdílím své rané experimenty s modelem na predikci řeči (GPT-3) od OpenAI. Vysvětluji, proč si myslím, že GPT-3 má potenciál podobný technologii blockchainu.
Plný text:
——————————————
Vygeneroval jsem několik verzí a použil tu, která mi připadala, že nejlépe odpovídala tomu, jak píšu normálně. Následně jsem zkopíroval to co model vygeneroval a pouze upravil formát, nikoliv text jako takový. Zároveň jsem přidal úvodní fotku. A pak zveřejnil. Doufám, že jste stejně jako já překvapeni výsledkem tohoto celého experimentu.
Na závěr by se hodilo zmínit, jak jste již asi poznali, že věřím, že GPT-3 je jedním z největších technologických vynálezů, které jsem zatím viděl a těším se na to, až si s ním budu v budoucnu hrát více. Čekají nás zajímavé časy. Umělá inteligence nabírá nové obrátky.