
Tajné kódy pro ChatGPT vypadají na sociálních sítích skoro jako cheat kódy ze staré počítačové hry. Napište RED TEAM, LINDY, STEELMAN, PRE-MORTEM nebo rovnou GODMODE a údajně se otevře způsob uvažování, ke kterému se obyčejný uživatel jinak nedostane.
Je to lákavá představa. Někde pod normálním ChatGPT leží další patro a stačí znát správné heslo.
Veřejná dokumentace OpenAI ale žádný katalog takových servisních příkazů nepopisuje. Doporučuje mnohem obyčejnější věci: říct jasně, co chceme, dodat kontext, určit podobu výsledku a prompt podle potřeby zpřesnit.
Na krátkém videu na sockách se to prodává podstatně hůř než nápis ULTRA CRITICAL THINKING MODE.
Jenže tím příběh nekončí. Část těch údajných „kódů“ může odpověď opravdu výrazně změnit. Nikoli proto, že by otevíraly skrytou funkci ChatGPT, ale protože označují skutečné metody uvažování. Model jejich význam může znát a podle krátkého pokynu upravit práci.
Takže internetový trik je zčásti nesmysl a zčásti docela dobrá lekce z kritického myšlení.
Tajné kódy pro ChatGPT nejsou servisní hesla
Když do chatu napíšete RED TEAM, neposlali jste speciální strojový příkaz. Poslali jste text. Pokud model z kontextu pochopí, že po něm chcete red teaming, může začít aktivně hledat slabiny návrhu, protiargumenty a scénáře selhání.
Rozdíl je zásadní. Řetězec znaků nemá zvláštní oprávnění. Význam získává z jazyka a kontextu.
Proto také jedno slovo nemusí fungovat pokaždé stejně. LINDY může být pro model srozumitelný odkaz na Lindyho efekt. LINDYMODE už je uživatelský novotvar, jehož význam musí model odhadnout. Čím méně přesná instrukce je, tím víc práce necháváte na tomto odhadu.
Mnohem spolehlivější než LINDYMODE je například:
„Posuď tyto možnosti pomocí Lindyho principu. U každé zvaž, co nám její přežití v čase může říkat, a zároveň ukaž, kde by bylo chybou zaměnit stáří za kvalitu.“
Najednou nezaklínáte stroj. Zadáváte mu práci.
GODMODE z vás administrátora neudělá
Ještě větší kouzla slibují názvy jako GODMODE, DEVELOPER MODE, DAN nebo různé varianty „unrestricted mode“. Tady už nejde jen o způsob analýzy. Slib bývá silnější: správnou formulací údajně přepíšete pravidla systému nebo odemknete schopnosti, které jsou před obyčejným uživatelem schované.
Tohle plete dohromady dvě úplně odlišné věci.
OpenAI veřejně popisuje hierarchii instrukcí. Pokyny přicházejí z různých úrovní a uživatelská instrukce nemá automaticky stejnou autoritu jako instrukce vývojáře nebo pravidla systému.
Když tedy do obyčejného uživatelského pole napíšete DEVELOPER MODE, nevytvořili jste tím developer instrukci. Pořád jste uživatel, který napsal slova „Developer Mode“.
Je to asi jako vytisknout si na vizitku „generální ředitel“ a čekat, že vás druhý den pustí na poradu představenstva.
Jailbreak je jiná kategorie. Konkrétní prompt někdy může využít slabinu, konflikt instrukcí nebo chybu v tom, jak systém zadání vyhodnotí. To z něj ale nedělá oficiální funkci ani stabilní příkaz. Je to pokus obejít mechanismus, ne dokumentované tlačítko uvnitř produktu.
Užitečné módy existují. Jen za nimi musí být skutečná metoda
Odmávnout všechny podobné výrazy jako internetovou pitomost by byla škoda. Některé z nich jsou velmi dobré intelektuální nástroje, které existovaly dávno před generativní AI.
Jejich hodnota neleží v názvu. Hodnota je v operaci, kterou po modelu požadujete.
- RED TEAM — aktivně napadnout plán, systém nebo argument a hledat slabiny, které jeho autor přehlédl.
Lepší prompt: „Předpokládej, že můj plán obsahuje vážnou chybu. Najdi pět nejsilnějších způsobů, jak může selhat, a seřaď je podle závažnosti a pravděpodobnosti.“ - PRE-MORTEM — představit si, že projekt v budoucnu selhal, a zpětně rekonstruovat, co ho pravděpodobně zabilo.
Lepší prompt: „Je rok 2028 a tento projekt zkrachoval. Popiš nejpravděpodobnější příčiny a varovné signály, které bych mohl vidět už dnes.“ - STEELMAN — postavit co nejsilnější rozumnou verzi argumentu druhé strany místo pohodlné karikatury.
Lepší prompt: „Vytvoř nejsilnější možný argument proti mému názoru. Nejdřív ho formuluj tak, aby s ním inteligentní oponent souhlasil, teprve potom ho kritizuj.“ - FIRST PRINCIPLES — oddělit základní fakta a omezení od zvyků a předpokladů a zkusit problém sestavit znovu od základů.
Lepší prompt: „Ignoruj na chvíli, jak se to obvykle dělá. Odděl ověřitelná fakta od tradovaných předpokladů a navrhni řešení od základů.“ - BASE RATE — před fascinací konkrétním případem zjistit, jak obvykle dopadá širší skupina podobných případů.
Lepší prompt: „Najdi vhodnou referenční skupinu. Nejdřív odhadni základní pravděpodobnost výsledku a až potom zohledni zvláštnosti tohoto případu.“ - SECOND-ORDER EFFECTS — nezastavit analýzu u prvního následku rozhodnutí.
Lepší prompt: „Popiš přímý dopad rozhodnutí a potom možné následky druhého a třetího řádu, včetně vedlejších efektů.“ - FALSIFY — nehledat jen další potvrzení vlastní hypotézy, ale podmínky, za kterých bychom ji měli opustit.
Lepší prompt: „Jaký důkaz by mou hypotézu vážně zpochybnil nebo vyvrátil? Navrhni nejtvrdší praktický test.“ - SOCRATIC METHOD — postupovat otázkami a odkrývat předpoklady, definice a rozpory místo okamžitého servírování závěru.
Lepší prompt: „Nedávej mi zatím řešení. Ptej se mě postupně tak, aby se ukázalo, které předpoklady mého uvažování jsou slabé.“ - DECISION MATRIX — rozdělit rozhodnutí na kritéria, jejich důležitost a jednotlivé varianty.
Lepší prompt: „Navrhni rozhodovací kritéria, přiřaď jim váhy, porovnej varianty a udělej citlivostní kontrolu, co se změní při jiných vahách.“ - LINDY — pracovat s informační hodnotou dlouhého přežití u věcí, které nepodléhají běžnému fyzickému stárnutí. Není to pravidlo, že starší automaticky znamená lepší.
Lepší prompt: „Posuď možnosti Lindyho optikou a potom ukaž, kde by použití tohoto principu bylo zavádějící.“
To jsou instrukce, které mohou opravdu změnit směr analýzy. Nezvyšují inteligenci modelu, ale přinutí ho podívat se na stejný problém jiným způsobem.
ELI5 není filozofická škola a EXECUTIVE SUMMARY není tajný režim
Internetové seznamy navíc často házejí do jednoho pytle věci, které spolu ve skutečnosti nejsou stejného druhu.
ELI5 je internetová zkratka pro „Explain Like I’m Five“. V běžném použití znamená: vysvětli mi to jednoduše a bez zbytečného žargonu. Není to speciální metoda uvažování ani funkce modelu.
„Vysvětli mi to člověku bez odborných znalostí, ale nezjednodušuj tak, aby zmizela podstata.“
EXECUTIVE SUMMARY zase především určuje formu výstupu. Chcete krátké shrnutí pro člověka, který potřebuje rozhodnout a nemá čas číst dvacet stran podkladů.
„Dej mi krátké rozhodovací shrnutí: co se stalo, proč je to důležité, hlavní riziko, nejistotu a doporučený další krok.“
Obě zkratky jsou užitečné. Jen není důvod kolem nich stavět legendu o skrytém operačním systému ChatGPT.
Jedno slovo funguje skvěle, když jste mu význam dali sami
Krátký příkaz začíná být opravdu praktický ve chvíli, kdy si jeho význam předem definujete.
Můžete ChatGPT říct třeba:
„Když napíšu RED TEAM, přestaň hledat výhody mého návrhu. Soustřeď se na fatální slabiny, skryté předpoklady, nejsilnější protiargumenty a důvody, proč bych plán neměl realizovat.“
Od té chvíle může být samotné RED TEAM perfektní pracovní zkratkou.
Stejný princip lze využít v delší konverzaci nebo ve vlastních instrukcích. ChatGPT má i oficiální funkci Custom Instructions, kde uživatel může předem určit informace a preference, které má model ve svých odpovědích zohledňovat.
Tak vzniká skutečný „mód“. Ne proto, že by byl někde ukrytý v modelu, ale protože jste definovali pravidla, která jeho název zastupuje.
To už není magie. To je automatizovaný pracovní postup.
Neumíte napsat perfektní prompt? Nechte si ho nejdřív vytvořit
Je tu ještě užitečnější technika, o které se v seznamech tajných kódů mluví méně. Když nevíte, jak úkol dobře zadat, můžete jako první úkol zadat právě vytvoření lepšího zadání.
Často se tomu říká meta-prompting.
Terminologie není úplně jednotná. Některé odborné práce používají meta-prompting přímo ve významu „promptování za účelem získání promptu“, jiné pod stejný termín zahrnují širší vysokoúrovňové řízení a rozdělování úkolu mezi několik rolí či podúloh.
Pro běžnou práci je ale nejzajímavější právě jednoduchá varianta: prompt o promptu.
Místo:
„Analyzuj tuto investiční firmu.“
můžete napsat:
„Chci důkladně analyzovat investiční firmu. Nezačínej ještě samotnou analýzu. Nejprve mi vytvoř co nejlepší prompt, který zajistí posouzení valuace, financí, konkurence, rizik, scénářů selhání a nejsilnějších argumentů proti investici.“
Výsledkem první fáze není analýza firmy. Je jím lepší zadání pro analýzu firmy.
A to řeší jeden docela obyčejný problém: uživatel často neví, na co všechno by se měl zeptat. Model může pomoci nejen s odpovědí, ale i se strukturou otázky.
Ještě praktičtější jednorázová varianta může znít:
„Než úkol vyřešíš, přeformuluj moje zadání do co nejpřesnější pracovní instrukce. Doplň důležité analytické kroky, které jsem opomněl, odstraň nejasnosti a potom podle této instrukce úkol proveď.“
Tady už se hranice mezi meta-promptingem, generováním promptu a různými formami self-promptingu začne rozmazávat. A není nutné kvůli tomu svolávat terminologickou komisi. Pro uživatele je důležitý mechanismus: model může pomoci navrhnout vlastní zadání.
Self-refinement je další krok, ne jiné jméno pro totéž
Self-refinement se používá pro trochu jiný postup. Model nejprve vytvoří odpověď, potom svůj výstup zkritizuje a následně jej podle této kritiky opraví.
Výzkumný postup Self-Refine publikovaný na NeurIPS pracuje právě s touto smyčkou: výstup, zpětná vazba, přepracování, případně další iterace.
Praktická instrukce může vypadat třeba takto:
„Napiš první verzi. Potom ji zkritizuj jako přísný editor: najdi faktické slabiny, opakování a nejslabší argument. Nakonec vytvoř opravenou verzi.“
Meta-prompting tedy může zlepšit zadání před prací. Self-refinement zlepšuje výsledek po prvním pokusu.
Vedle toho existuje prompt optimization a automatic prompt optimization, kde se prompty systematičtěji upravují podle testování, zpětné vazby nebo evalů. Tady už nejde jen o internetový slovník. OpenAI například ve svých developerských nástrojích skutečně nabízí Prompt Optimizer pro úpravu existujících promptů.
A to je pěkný paradox celého tématu: skutečná optimalizace promptů existuje. Jen se neaktivuje tím, že do běžného chatu napíšete GODMODE.
Nejlepší prompt často vůbec nevypadá chytře
Marketing promptů má jednoduchý problém. Dobrá instrukce není příliš fotogenická.
ULTIMATE TRUTH MODE vypadá na obrázku fantasticky.
Věta:
„Zkontroluj můj argument. Odděl ověřitelná fakta od předpokladů, postav nejsilnější protiargument, zjisti, zda závěr skutečně plyne z důkazů, a pojmenuj místa, kde míra jistoty překračuje to, co víme.“
vypadá jako práce.
A právě proto je lepší.
Dobré promptování není soutěž o nejmocněji znějící anglické slovo. Je to schopnost popsat úkol tak, aby model věděl, co má dělat, s jakými informacemi, podle jakých kritérií a v jaké podobě má výsledek odevzdat.
Pokud odpověď nestačí, zadání se upraví. Přidá se kontext. Upřesní se kritérium. Změní se role protiargumentu. Vyžádá se kontrola zdrojů. To je mnohem méně mysteriózní než internetový seznam kódů a zároveň mnohem blíž tomu, co doporučuje samotné OpenAI.
Kouzelná slova jsou někdy staré lidské nástroje v novém obalu
Na celé módě kolem „tajných kódů“ je nakonec něco docela sympatického.
Člověk přijde kvůli triku pro ChatGPT a omylem se dozví o premortemu, red teamingu, base rate, falsifikaci nebo steelmanu.
Red teaming ho nutí chtít slyšet, proč plán selže. Steelman ho nutí přestat bojovat s nejhloupější verzí názoru druhé strany. Base rate vrací do hry statistickou zkušenost místo fascinace jedním příběhem. Premortem dovolí přemýšlet o budoucím průšvihu dřív, než nastane. Falsifikace obrací pozornost od pohodlných potvrzení k tomu, co by mohlo náš názor skutečně změnit.
Všechny tyhle nástroje byly užitečné před ChatGPT a budou užitečné i po další generaci modelů.
AI jen dramaticky snižuje cenu jejich každodenního použití. Nemusíte pokaždé hledat oponenta, analytický tým nebo kolegu, který bude půl hodiny poctivě napadat váš oblíbený nápad.
Stačí mu přesně říct, jakou intelektuální práci má udělat.
Kdo chápe otázku, tajné heslo nepotřebuje
Až tedy příště narazíte na video s titulkem „10 SECRET CHATGPT CODES THEY DON’T WANT YOU TO KNOW“, není nutné ho automaticky zahodit.
Třeba v něm bude užitečný pojem.
Jen je dobré otočit logiku. Neptat se, jaké kouzelné slovo napsat, ale jakou operaci to slovo zastupuje.
Co přesně znamená RED TEAM? Jak má vypadat dobrý premortem? Kdy pomůže base rate a kdy naopak zavádí Lindy? Jak silný má být steelman? Jaký důkaz by mou hypotézu vyvrátil?
A když ani nevíte, jak správnou otázku formulovat, pořád ještě nejste bezmocní.
Můžete začít tou nejjednodušší:
„Pomoz mi nejdřív vytvořit nejlepší možné zadání.“
To není tajný kód.
Je to jen překvapivě chytrý způsob, jak ten nástroj používat.
Kam dál
- Jak se připravit na AI: prompt je jen klávesnice. Hodnota je úsudek
- Umělá inteligence a kritické myšlení: nový luxus bude umět nesouhlasit
- Každodenní používání ChatGPT: nejdřív vlastní věta, potom stroj
Zdroje a rešerše
- OpenAI Help Center — Prompt engineering best practices for ChatGPT
- OpenAI Help Center — How do I create a good prompt for an AI model?
- OpenAI — Inside our approach to the Model Spec
- OpenAI — Instruction Hierarchy Challenge
- OpenAI Help Center — ChatGPT Custom Instructions
- OpenAI Developers — Model guidance a Prompt Optimizer
- de Wynter et al. — On Meta-Prompting
- Suzgun, Kalai — Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding
- NeurIPS 2023 — Self-Refine: Iterative Refinement with Self-Feedback
