Výzkumníci na Massachusetts Institute of Technology (MIT) provedli srovnání 59 vědeckých modelů umělé inteligence, které byly trénovány na různé úkoly, jako jsou chemické vzorce, 3D atomové koordináty a sekvence proteinů.
Přestože se tyto modely liší architekturou a daty pro trénink, vykazují podobné interní reprezentace molekul, materiálů a proteinů. Studie naznačuje, že silné systémy umělé inteligence se učí společnou reprezentaci fyzikální reality.
Tým vedený Sathyou Edamadakou a Soojung Yangem zkoumal 59 různých modelů, včetně specializovaných systémů pro molekuly, materiály a proteiny, a také velkých jazykových modelů jako DeepSeek a Qwen. Vědci extrahovali interní reprezentace každého modelu a porovnávali je pomocí různých metrik.
Větší modely konvergují více
Výsledky ukazují, že naučené reprezentace jsou významně uspořádány napříč různými formáty vstupů. Modely pro 3D koordináty, například, mají silnou shodu, stejně jako modely založené na textu. Překvapující je, že existují značné podobnosti i mezi těmito skupinami.
V případě, že je model úspěšný ve svém úkolu, jeho reprezentace se více přibližuje reprezentaci nejlepšího modelu. Jak vědci poznamenávají, to naznačuje, že výkonné modely se učí společné reprezentace fyzikální reality. Kromě toho složitost interních reprezentací všech modelů spadá do podobného úzkého rozsahu, což naznačuje univerzální strukturu.
Omezení u neznámých struktur
Analýza však také odhaluje omezení. Při známých strukturách, které se podobají tréninkovým datům, poskytují kvalitní modely souhlasné reprezentace, zatímco slabší modely vytvářejí vlastní, méně přenositelné řešení. Při zcela nových strukturách, které se výrazně liší od tréninkových dat, selhávají téměř všechny modely: jejich reprezentace se stávají povrchními a ztrácejí důležité chemické informace.
Aktuální modely pro materiály tedy zatím nedosáhly zakládajícího statusu, neboť jejich reprezentace jsou příliš silně určeny omezenými tréninkovými daty. Pro dosažení skutečné generality jsou zapotřebí mnohem rozmanitější datové sady. Vědci navrhují orientaci reprezentací jako nový benchmark: model dosáhne zakládajícího statusu pouze tehdy, pokud vykazuje vysoký výkon a silnou orientaci vůči jiným výkonným modelům.
Toto omezení generalizace mimo tréninková data se ukazuje jako známý základní problém současných modelů umělé inteligence. Výzkumné výsledky ukazují, že například architektury transformátorů systematicky selhávají při generalizaci mimo tréninkové data v úlohách komponování, tedy při kombinaci známých faktů do nových odvozených faktů.
Již v květnu 2024 studie ze stejného institutu ukázala, že rozdílné modely AI konvergují k společným reprezentacím při rostoucím výkonu. Vědci to nazvali „platonickou reprezentací“ ve smyslu Platónova podobenství o jeskyni. Nová studie přenáší tento koncept poprvé na vědecké modely a poskytuje důkaz, že i specializované systémy umělé inteligence pro chemii a biologii by mohly konvergovat k univerzální reprezentaci hmoty.
Čerstvě publikovaný SDE-benchmark pro vědecký výzkum odhaluje další formu konvergence: modely se často shodují na stejných chybných odpovědích při nejvíce obtížných otázkách. Zde opět byly nejlepší modely nejvíce shodné. To již dříve ukázala jiná studie, zde v kontextu dohledu procesů AI jinou AI. Podobnost v hodnocení by mohlo vést k slepým místům a novým chybným režimům.
Novinky o umělé inteligenci bez humbuku – kurátorováno lidmi. S předplatným THE-DECODER budete číst bez reklam a stanete se součástí naší komunity: diskutujte v komentářovém systému, dostávejte náš týdenní zpravodaj o AI, 6krát ročně „AI Radar“ zpravodaj s nejnovějšími vývojovými trendy z vrcholu výzkumu AI, až 25% sleva na AI pro akce a přístup k úplnému archivu posledních deseti let.
