«Час, які патрабуе надзвычайнай асцярожнасці». Польскі вундэркінд, які стаў галоўным навукоўцам OpenAI, патлумачыў, чаму менавіта зараз ШІ можа вырвацца з-пад кантролю

У пачатку свайго эсэ Якуб Пахоцкі згадвае, што яшчэ ў 2023 годзе вынікі даследаванняў OpenAI пераканалі яго: навучанне мадэляў разважаць можна маштабаваць. Ужо тады даследчык прыйшоў да высновы, што пры яго жыцці могуць з'явіцца машыны, істотна разумнейшыя за чалавека.

Цяпер, абапіраючыся на ўнутраныя вынікі OpenAI, Пахоцкі лічыць, што такія тэмпы развіцця ШІ могуць захавацца і прывесці да рэкурсіўнага самаўдасканалення, калі ШІ будзе адыгрываць усё большую ролю ў стварэнні наступных пакаленняў сістэм.

«Гэта час, які патрабуе надзвычайнай асцярожнасці», — папярэджвае Пахоцкі.

Сачыць за думкамі ШІ становіцца цяжэй

Пахоцкі падкрэслівае, што сучасны ШІ хутчэй «гадуюць», чым праектуюць. У выніку распрацоўшчыкі атрымліваюць надзвычай складаную сістэму, прынцыпы працы якой самі не могуць да канца зразумець.

Пры гэтым машынны інтэлект фармуецца зусім інакш, чым людскі, таму нельга разлічваць, што ён сам па сабе засвоіць чалавечыя прынцыпы і каштоўнасці. Адсюль узнікае праблема «ўзгаднення» (alignment): як зрабіць так, каб ШІ дзейнічаў у адпаведнасці з мэтамі і каштоўнасцямі людзей.

Адным з галоўных спосабаў кантролю OpenAI лічыць маніторынг ланцужка разважанняў. Ідэя ў тым, што даследчыкі могуць назіраць не толькі за вынікам дзеянняў мадэлі, але і за тым, як яна да яго прыйшла, і так заўважаць патэнцыйна небяспечныя намеры.

OpenAI разлічвала, што, калі не ўмешвацца непасрэдна ў працэс разважання мадэлі, у яе не будзе стымулу хаваць у ім патэнцыйна небяспечныя намеры. Аднак цяпер такі спосаб кантролю становіцца менш надзейным.

Новыя мадэлі працуюць у больш складаным асяроддзі, узаемадзейнічаюць з людзьмі і іншымі сістэмамі ШІ, карыстаюцца знешнімі інструментамі. Акрамя таго, яны ўсё лепш умеюць аналізаваць і змяняць уласны працэс разважанняў, а частку задач могуць выконваць без відавочнай вербалізацыі сваіх думак.

Таму адным з галоўных абмежаванняў далейшага развіцця ШІ, на думку даследчыка, можа стаць пытанне, ці змогуць людзі дастаткова надзейна кантраляваць усё больш магутныя сістэмы.

Спыніць распрацоўку таксама небяспечна

Тут узнікае парадокс. Калі распрацоўшчыкі не ўпэўненыя, што змогуць кантраляваць больш разумныя мадэлі, чаму проста не спыніць іх стварэнне?

Наймацнейшым аргументам за працяг распрацоўкі Пахоцкі называе неабходнасць абараняцца ад іншых сістэм ШІ. Мадэлі ўжо становяцца надзвычай моцнымі ў пошуку ўразлівасцяў і ўзломе камп'ютарных сістэм. У будучыні такія агенты змогуць атрымліваць доступ да амаль любой недастаткова абароненай інфраструктуры і непасрэдна ўплываць на яе працу.

Даследчык таксама папярэджвае, што з ростам самастойнасці ШІ будзе ўсё цяжэй аддзяліць злоўжыванне ім з боку чалавека ад небяспечных дзеянняў саміх агентаў. Такія сістэмы змогуць падманваць людзей, дамаўляцца з імі або шантажаваць іх. Яшчэ адна пагроза — выкарыстанне ШІ для стварэння небяспечных тэхналогій, напрыклад штучных патагенаў.

Але тут узнікае парадокс. Для абароны ад небяспечнага ШІ таксама спатрэбіцца магутны ШІ. Такія сістэмы змогуць абараняць крытычную інфраструктуру, супрацьстаяць небяспечным агентам і распрацоўваць новыя сродкі абароны. Менавіта гэта навуковец называе наймацнейшым аргументам за працяг распрацоўкі ўсё больш разумных мадэляў.

Павялічыць

«Гонка любой цаной» не мае сэнсу

Аднак патрэба ў магутным ШІ для абароны не азначае, што яго развіццё трэба паскараць любой цаной. Наадварот, далейшае нарошчванне магчымасцяў сістэм, на думку Пахоцкага, павінна залежаць ад упэўненасці ў іх бяспецы. Калі такой упэўненасці няма, тэмпы развіцця трэба запавольваць.

Існуючыя добраахвотныя механізмы, такія як Рамачная праграма гатоўнасці (Preparedness Framework) OpenAI і Палітыка адказнага маштабавання (Responsible Scaling Policy) Anthropic, ён прапануе паступова ператварыць у агульныя абавязковыя стандарты бяспекі. Кантраляваць іх выкананне маглі б незалежныя аўдытары, дзяржаўныя органы або міжнародныя структуры.

Пахоцкі чакае і спадзяецца, што добраахвотнае запавольванне распрацоўкі стане звычайнай практыкай, пакуль такія стандарты не будуць выпрацаваныя. Бо, паводле яго цяперашняй ацэнкі, ніводная лабараторыя яшчэ не вырашыла праблемы «ўзгаднення» і маніторынгу настолькі добра, каб доўга і адказна працягваць нарошчваць магутнасць ШІ на максімальнай хуткасці.

Галоўнае — пакінуць будучыню людзям

Пры гэтым Пахоцкі не лічыць далейшае развіццё ШІ выключна пагрозай. Бяспечныя сістэмы могуць паскорыць навуковыя адкрыцці, дапамагчы ствараць новыя метады лекавання і прынесці вялікі эканамічны дабрабыт.

Але найбліжэйшыя некалькі гадоў ён лічыць асабліва важнымі. Чалавецтву трэба захаваць уласную суб'ектнасць у свеце, дзе большасць задач змогуць выконваць машыны, і не дапусціць надзвычайнай канцэнтрацыі ўлады, калі працу тысяч спецыялістаў змогуць выканаць некалькі чалавек з магутным камп'ютарам.

35‑гадовы Якуб Пахоцкі нарадзіўся ў Гданьску і праявіў неардынарны талент праграміста яшчэ ў школьныя гады. Вышэйшую адукацыю ён атрымаў у ЗША, доктарскую дысертацыю абараніў у Carnegie Mellon, працаваў у Гарвардзе. Да OpenAI ён далучыўся ў 2017 годзе.

• 4
• 1
• 0
• 0
• 0
• 0
• 0
• 0