Joel David Hamkins, přední matematik a profesor logiky na Notre Dame University, se ostře vyslovil proti velkým jazykovým modelům v oblasti matematického výzkumu. O těchto modelech se vyjadřuje jako o nástrojích, které jsou v zásadě k ničemu pro podporu matematické práce, a konstatuje, že poskytují „odpadní odpovědi, které nejsou matematicky správné“.
Během vystoupení v podcastu Lex Fridman Hamkins sdílel své frustrace se současnými systémy AI, přičemž vyzkoušel různé placené modely. „Hrál jsem si s tím a zkoušel experimentovat, ale vůbec jsem toho nenalezl užitečného,“ podotkl bez obalu.
Jistota AI, která se mýlí, připomíná frustrující lidské interakce
Nejvíce Hamkinsa znepokojuje nikoli občasná matematická chyba, ale způsob, jakým systémy AI reagují, když na konkrétní nedostatky ve svém uvažování upozorní. Když poukáže na konkrétní chyby, modely reagují ujištěním, jako například „To je naprosto v pořádku.“ Tento vzorec — sebevědomé, ale nesprávné odpovědi v kombinaci s odporem k nápravě — narušuje důvěru, která je základem matematického dialogu.
„Kdybych měl podobný zážitek s člověkem, jednoduše bych se s ním přestal bavit,“ vysvětlil Hamkins a zdůraznil, že chování AI připomíná proti produktivní lidské interakce, kterým by se vyhnul.
Rostoucí propast mezi standardy AI a aplikacemi ve skutečném výzkumu
Hamkinsova kritika přichází v době, kdy má matematická komunita smíšenou reakci na to, co AI dokáže. Někteří výzkumníci oznámili průlomová zjištění s pomocí AI při řešení problémů z Erdosovy kolekce; jiní, jako matematik Terrence Tao, varují, že AI produkuje dokonalé důkazy se subtilními chybami, které by žádný lidský recenzent neakceptoval.
Hodnocení explicitně ukazuje kritické napětí: impozantní výkon ve standardizovaných testech se nepřekládá do praktické užitečnosti pro odborníky v oboru. „Pokud jde o matematické uvažování, zdá se, že není spolehlivé,“ uzavřel Hamkins.
I když uznává, že budoucí systémy AI by se mohly zlepšit, Hamkins zůstává skeptický k aktuálním schopnostem. Jeho zkušenost slouží jako trýznivá připomínka, že vysoké investice firem vyvíjejících AI do schopností uvažování zatím neuzavřely propast mezi benchmarkovým výkonem a skutečnou pomocí, kterou matematici potřebují při výzkumu.
