Судоку се смета за вежба за мозокот. Потребно е малку трпение и логично размислување. Но, што се случува кога истата задача ќе ѝ се даде на вештачка интелигенција (ВИ)? Токму тоа го истражувале научниците од Универзитетот во Колорадо во Болдер, САД – со прилично изненадувачки резултат.
Некои модели на ВИ, таканаречени големи јазични модели (LLM), биле способни да решат едноставни судоку загатки. Сепак, дури и најдобрите од нив дале нејасни, неточни или апсурдни објаснувања за тоа како стигнале до решението.
2.300 судоку, многу грешки
За експериментот, тимот создал околу 2.300 судоку загатки во поедноставен 6×6 формат. Тестирани се неколку модели на ВИ, вклучувајќи го и ChatGPT-o1-preview, кој бил еден од најнапредните системи во тоа време.
Додека o1 правилно реши околу 65 проценти од судоку загатките, другите модели беа помалку од еден процент.
Предвидување на времето наместо пат до решение
Но, вистинскиот проблем се појави во следниот чекор: кога моделите со вештачка интелигенција требаше да го објаснат својот пат до решението.
„Понекогаш објаснувањата со вештачка интелигенција беа составени од факти“, вели Ашутош Триведи, коавтор на студијата и вонреден професор по компјутерски науки на Универзитетот во Колорадо Болдер.
Или не ги видоа очигледните објаснувања: „Значи, одговорот беше, да речеме, „Не може да има два овде, бидејќи веќе има два во истиот ред“, но тоа не беше случај.“
Во еден особено впечатлив пример, вештачката интелигенција одговори со временска прогноза од непознати причини.
„Во тој момент, вештачката интелигенција полуде и се збуни“, вели коавтор на студијата Фабио Соменци.
Точниот резултат не е исто што и разбирањето
Можеме да кажеме: главната работа е резултатот да е точен. Но, за истражувачите, тоа е премногу поедноставен став.
„За одредени видови судоку, повеќето LLM се сè уште несоодветни, особено кога станува збор за генерирање објаснувања што се на кој било начин корисни за луѓето“, вели Марија Пачеко, коавтор на студијата и доцент на Одделот за компјутерски науки. „Зошто се дојде до тоа решение? Кои се чекорите што треба да се преземат за да се стигне до таму?“
Тимот ги презентираше своите резултати на конференцијата ACL 2025. Трудот беше објавен и во списанието „Наоди на Здружението за компјутерска лингвистика“.
Размислување или погодување?
Целта на студијата не беше да се дискредитира вештачката интелигенција, туку да се открие како големите јазични модели (LLM) всушност „размислуваат“.
Сложувалката Судоку служеше како тест, „микрокосмос на машинско донесување одлуки“, како што ја нарекува Соменци, професор на Факултетот за електротехника, компјутерско и енергетско инженерство.
„Ако дозволите вештачката интелигенција да ја направи вашата даночна пријава, сакате да можете да му објасните на IRS зошто вештачката интелигенција го напишала она што го напишала.“
Централниот наод на експериментот е дека LLM генерално не решаваат судоку преку систематско расудување базирано на правила, туку преку статистичко нагаѓање.
Ова е исто така поради начинот на кој тие работат: за време на развојот на ChatGPT, на пример, програмерите прво ја хранеле вештачката интелигенција со речиси сè што некогаш е напишано на Интернет: во блогови, социјални мрежи, научни бази на податоци или информативни портали.
Нивната задача е да го предвидат најверојатниот следен збор во реченицата, а не логично да навлезат во проблемот. „Она што го прават е во суштина предвидување на следниот збор“, вели Пачеко.
Следен чекор
Пачеко, Соменци и нивниот тим се надеваат дека ќе развијат свој систем за вештачка интелигенција кој може да направи сè – да реши сложени загатки и да објасни како го прави тоа. За таа цел, тие започнуваат со друг вид загатка наречена Хитори, која, како и Судоку, содржи мрежа од броеви.
Тие се потпираат и на нов пристап: таканаречена невросимболична вештачка интелигенција, која сè уште е во раните фази на развој. Целта е да се комбинира меморијата на LLM со способноста на човечкиот мозок да размислува логично.
