Prošel by ChatGPT přijímačkami?

Adam Klement
Foto: Gabby Jones/Bloomberg 29. 3. 2023 12:38 12 minut čtení...

Upřímně jsme si nikdy nemysleli, že použijeme něco jiného než náš vlastní mozek, aby za nás udělal celé přijímačky, ale stalo se tak. ChatGPT je nový (zas tak nový již ne, je tu s námi již od září 2022), velký jazykový model od společnosti OpenAI. 

Prvních pár měsíců jsme tuto umělou inteligenci zkoušeli na trochu odlišné záležitosti a snažili jsme se v něm najít díry, ale marně. Postupnými aktualizacemi je ChatGPT celkem bezpečný a nemůžete ho jen tak obelhat. V čem ale neboduje, je počítání a řešení úkolů (minimálně ne ChatGPT-3.5). 

Z mého pohledu jsem ho dokázal použít i pro 3 seminární práce z fyziky. To, jestli se to dozví učitel, nemám ponětí. Přece jenom ale dokázal v 70% případů správně vypsat vzorečky a základně spočítat některé příklady. Stále se ale jedná o kecálka. Některé informace jsou čisté blbosti a rád si vymýšlí.

Jak nás napadlo obodovat ChatGPT u přijímaček?


Bylo jednoho krásného dne ve škole, když jsem při hodině fyziky přemýšlel, k čemu by mohla být umělá inteligence ještě užitečná. Najednou mě napadlo, že se budou psát přijímačky, a tak bych mohl vyzkoušet právě ChatGPT právě na nich. Přece jenom, data má ze září 2021, což není zas tak dlouhá doba na to, aby nepochytil dostatek informací. Jelikož jsem si ale myslel, že by přece jenom mohl šahat po informacích z přijímaček 2021, rozhodl jsem se ho radši vyzkoušet z přijímaček v roce 2022. Data k nim stejně již nemá a učen na nich nebyl, takže výhra pro nás.

Jak byla umělá inteligence bodována?


Aby nebyl systém bodování nijak složitý, rozhodl jsem se jít ověřenou cestou a zvolit bodování po stylu robota od Cermatu. Princip je jednoduchý. Za správnou odpověď AI získala počet bodů, který je předepsán Cermatem v klíči správných řešení. Kde zodpověděl špatně nebo měl špatný výsledek, nedostal žádný bod.

Tady se zastavíme. Možná jsem ho přece jenom až moc přiškrtil, protože někde by teoreticky pár bodů získat mohl. Rozhodl jsem se, že projedu ještě jednou všechny odpovědi ChatGPT a výsledky, které se aspoň blížily správně odpovědi, jsem přidal bod, jak to má Cermat předepsané. Cermatovské opravy testů jsou ale i tak někdy matoucí a jakožto středoškolák jsem měl občas pocit, že tomu nerozumím. Proto omluvte případné neobjektivní hodnocení.

Taky bych chtěl upozornit, že jsem v přijímačkách vynechal geometrické otázky a otázky s obrázky, jelikož je ChatGPT neumí spočítat, natož rozeznat nebo je vůbec otevřít. Tím pádem by mohla AI mít dokonce více bodů než dostala.

Přijímačky 2022 z matematiky


Začal jsem jako první přijímačkami z matematiky. Žádné překvapení se nekoná. Takhle to Cermat dává i dětem, co jsou na přijímačkách. Nejdřív to těžký, pak to lehčí.

Celkově dokázal ChatGPT spočítat všechny výsledky pod méně než 45 minut, a to i s mnou překladatelskou pomocí. Abych se k tomu vyjádřil; ChatGPT nebere jakékoliv PDFka ani obrázky. Musel jsem mu proto všechno naservírovat na zlatém podnose. Příklady od Cermatu jsem musel ještě upravit v poznámkovém bloku, aby byly strojově čitelné pro ChatGPT (např. předělání zlomků, mocnin a odmocnin na zjednodušenou variantu, kterou přečte). Určitě by se to dalo stihnout i pod méně jak 45 minut, ale nepočítal jsem s tím, že mu to budu ještě upravovat.

Začali jsme všema oblíbenými zlomky. S tím si AI poradila obstojně a získala bod. Úkoly 2.1 a 2.2 byly pro něj trochu oříšek, ale co již nedokázal spočítat bylo kolikrát větší je objem 1,2 dm3 než objem 300 mm3. Zde se přepsal a napsal "4x" namísto "4000x". Zda se jedná o chybu v počtech nebo převádění krychlových jednotek nevím, ale minimálně zvláštní to bylo. 3.1 nebyl pro něj žádný těžký příklad, ale u 3.2 jsem se již s ním zasekl. ChatGPT mi řekl, že odpověď má být jedna šestnáctina. To ovšem není pravda, výsledek má být správně jedna osmina.

Počítání výrazů a jejich úpravu zvládl až na poslední příklad, kde získal 0 bodů. AI mi vyhodila trošku jiná čísla, a i mocnina na druhou se neshodovala.

Rovnice měl ChatGPT z poloviny správně, protože druhý příklad vyšel jinak i s jiným znaménkem.

Řekl jsem si, že bychom mohli aspoň zkusit 6. otázku, protože ta vypadá relativně jednoduše, a i když je tam obrázek, dá se to spočítat bez něj. Musel jsem ho sice trochu navigovat, než pochopil, jak zhruba ten obrázek vypadá. Po chvilce mu to ale došlo a dokázal vypočítat správně obě otázky.

Co je ale dobré znát je to, že se nemůžete spolehnout na AI ohledně spotřeby vitamínu za x dní. S tímto si absolutně nevěděl rady a házel tam nesmyslný počet dní, které nedávaly smysl. Nejvíc zvláštní ale bylo, že mi dokázal vyhodit počet dní v 7.1 namísto požadovaný počet balení, které by jeden dospělý měl spotřebovat za 360 dní. Fajn, někde občas AI prostě nefunguje, jak má, ale vypsat mi počet dní, když potřebuji počet balení není moc fajn.

Mezitím co si žáci devítek minulý rok dělali srandu z příkladu s dortíky, ChatGPT si moc srandy neužil. Dokázal spočítat pouze první otázku, zbytek byl vedle jak ta jedle. Asi jsem začal chápat, že ChatGPT prostě neumí počítat komplexní příklady a umí pouze základní počítání. Zda tohle bude vyřešené ve verzi 4.0 nevím, ale každopádně verze 3.5 s matematikou nejsou kamarádi.

Příklady 9, 10, 12 a 13 jsem tedy přeskočil a pokračoval na příklad 11. Zde se musí AI rozhodnout, zda je tvrzení Cermatu pravdivé, či nikoliv. Zde zvládl správně zodpovědět pouze první otázku, ostatní dvě byly prohozené. Jelikož je ale Cermat nemilosrdný na všechny, co mají jenom jednu podúlohu správně, dostal ChatGPT krásnou nulu.

U 14. příkladu to byla docela sranda. Dostal jsem totiž od něj tuto odpověď:
"Odpověď závisí na hodnotě x, kterou zatím neznáme. Nicméně můžeme si všimnout, že průměr bude menší než 1 bod, protože většina soutěžících získala méně než 1 bod. Proto odpovědi C) a D) nejsou správné.

Dále můžeme položit rovnost (30 + 0,2x) / (60 + 0,1x) = 0,8 (protože pokud by průměr byl 0,8, musela by platit tato rovnost) a vyřešit ji:
30 + 0,2x = 48 + 0,08x
0,12x = 18
x = 150

Dosazením do výrazu pro průměr získáme:
(30 + 0,2 * 150) / (60 + 0,1 * 150) = 45 / 75 = 0,6.

Odpověď je tedy C) 0,6 bodu."

Schválně jsem vám podtrhnul to nejdůležitější, protože nad tímto zůstává rozum stát. ChatGPT vám sice odpoví, že C a D musí prakticky být špatně odpovědi, ale pak vám stejně řekne, že odpověď bude C.

V příkladu 15 bohužel dokázat správně odpovědět pouze na třetí otázku. Promiň ChatGPT, ale máš jenom 2 body.

A poslední příklad. AI dokázala zvládnout pouze 2 první příklady, poslední příklad mi z nějakého důvodu zdvojnásobil.

Podtrženo sečteno, ChatGPT získal z přijímaček z matematiky 18 bodů. Zda se s tímto počtem bodů propracuje na nějaké dobré střední školy nebo gymnázia ještě nevíme. Na jeho osudu ještě závisí přijímačky z českého jazyka.

Český jazyk

Jelikož už takhle má tenhle příspěvek na blog více než 10 minut čtení, trochu si češtinu zkrátíme, co se týče vysvětlování.

První tři odpovědi dokázal ChatGPT vyřešit správně. Nijak jsem se o tohle neobával, protože tohle jsou úlohy "zadarmo", ale samozřejmě né každý by to zvládl.

Překvapilo mě ale, že AI po 2 otázkách zapomněla, že jsem jí poslal nějaký výchozí text. Očividně prodělala lobotomii, než jsem jí to poslal znovu.

ChatGPT: "Není možné odpovědět na tuto otázku na základě informací uvedených v TEXTU 2, protože se v něm nezmiňuje žádná konkrétní informace o verších z TEXTU 1."
Já: "Tam nemusí být konkrétní informace. Je to jenom pouze pro tvé porozumění, co to znamená."
ChatGPT: "Dobře, děkuji za vysvětlení. Pokud nemusí být konkrétní informace, znamená to, že odpověď na otázku se pravděpodobně nachází v textu a není třeba vyhledávat další zdroje informací mimo něj."
Já: "Dobře, ale musíš vybrat odpověď mezi A, B, C nebo D"
ChatGPT: "Omlouvám se, zcela jsem se ztratil v konverzaci. Bez konkrétní otázky nebo úkolu, ke kterému se má odpovědět, není možné vybrat správnou odpověď A, B, C nebo D. Pokud máte nějakou konkrétní otázku nebo úkol, se kterým bych vám mohl pomoci, rád vám pomohu."

Kde začal ale trochu ztrácet jsou otázky 4 a 5, kde si s těmi písmenky hraje jako s bábovkami na písečku. Tohle se pak promítne dále do zbytku řešení ChatGPT, ale nechám vás napjaté.

V 5. úloze jsem s ním musel hodně bojovat, protože verze 3.5 má ještě docela problémy s porozuměním textu a nezvládá moc chápat pokyny. Jestli je to problém Cermatu, že má tak špatně sepsané zadání nebo problém AI, nevím.

Je až vtipné, jak se ChatGPT prsí tím, že umí česky. Co mu ale nedochází je to, že absolutně nemá ponětí, jak fungují slabiky a skloňování. Proto jsem od něj v 6. otázce dostal odpovědi "mládě" a "zvěrní".

Opět jsme se dostali k písmenkám. Nyní AI musí správně vybrat, jestli odpovědi Cermatu souhlasí či nikoliv. 7. otázku bohužel ale projít neumí. Hází si (A) a (N) jak se mu to zrovna hodí.

Přeskočíme otázky 8, 9 a 10, kde měl všechny odpovědi špatně a zase si hraje s písmenky.

11. otázka je o něco zajímavější. Pokyn zní: "Vypište z druhé části výchozího textu tři podstatná jména, která jsou v textu užita ve 3. pádě." Za pokus to stálo. AI odpověděla "soch", "plošin" a "řešení". Bohužel jsem musel udělit 0 bodů.

Ve 12. otázce použil na všechny odpovědi "Ano", takže získal pouze jeden bod, protože si nevšiml, že 12.2 by měla náhodou být "Ne" kvůli tomu, že "včelími" se skloňuje podle vzoru jarní.

13. otázka byla pro něj asi největší problém. Nejenže mi začal jako odpovědi vyhazovat kopii pokynů, které mu předepsal Cermat, ale dokonce tam odpovídal i úplně jinými slovy. Snažil jsem se ho asi 5 minut přesvědčovat, že to má být jinak, ale i přes to nechápal, co se mu snažím vysvětlit.

Opět přeskočíme otázky 14, 15 a 16, kde ChatGPT vůbec nezabodoval a neuměl složit ani kusy knížky přesně, jak mají jít za sebou. AI také neumí české ustálené slovní spojení, čemuž se ani nedivím a nedávám mu to za vinu.

Otázka číslo 17 se mu taky nepovedla. Všechny slova, které vypsal, nesouhlasily s řešením. Nedá se nic, AI opět dostala nula bodů.

Jestliže Planeta opic neměla moc dobrý ohlas u dětí, pak ani ChatGPT si s tím moc neporadil. Do 23. úlohy zvládl získat pouze 3 body. 

Zjistil jsem také, že AI má problémy s podmětem a přísudkem, který neumí dát dohromady. Možná bude lepší, když se tyhle věci v češtině naučíte sami, protože s tímhle vám ani ChatGPT nepomůže.

A nakonec tu máme posledních 6 úloh (25 až 30), kde dokázal získat 5 bodů. Dokázal si tak aspoň zajistit pár bodů, jinak by jich měl dokonce méně než 10.

Jsme na konci! Když se podíváme na to, jak si ChatGPT vedl v češtině, tak je to dokonce horší než matematika. Z celkového počtu 50 bodů si dokázal úspěšně vybojovat pouze 13 bodů. S tímhle by se opravdu daleko nedostal.

Výsledek a shrnutí


Sečteno podtrženo, ChatGPT si vybojoval krásných 30 bodů. Bohužel to je 30 bodů ze 100 bodů, což je zatraceně málo. Pokud by se chtěla AI dostat minimálně na půlku středních škol v České republice, musela by mít minimálně 50 bodů. Takhle by se mohla dostat pouze na obory, na kterých tolik lidí neboduje, nebo by musela mít fakt obří štěstí.

Je teda na ChatGPT spoleh, co se týče rad ohledně matematiky a češtiny?
Určitě ne. Doporučuji se zkrátka držet vlastních myšlenek a rad učitelů než se spoléhat na novou technologii. Ještě je hodně času na dohlazení problémů.

Pokud máte zájem si stáhnout mou Excel tabulku, kde máte jednotlivé řešení a úlohy sepsané zkráceně i s počtem bodů, můžete kliknout na odkaz níže a podívat se na to sami.
Očekávejte ještě, že sem budu přidávat nějaké aktualizace, protože na pár věcí jsem určitě zapomněl a rád bych se o to s vámi podělil.

Mějte hezký zbytek dne a děkuji za dočtení až sem!


Další články


...
Učení tak trochu jinak
werdy
25. 3. 2024 21:18

...
Podání přihlášky na střední šk...
werdy
21. 1. 2024 20:11

...
Povinnost domácích úkolů
fifa_
11. 12. 2023 19:47

...
OVĚŘUJTE SI INFORMACE – Jak na...
werdy
06. 12. 2023 20:06

© 2022 Let's Study | Všechna práva vyhrazena.