Гэты малады беларус стаяў ля вытокаў ChatGPT. Вось што ён зрабіў
Калі б не гамяльчук Дзмітрый Багданаў, ChatGPT і іншыя нейрасеткі маглі б выглядаць зусім інакш. Расказваем, як ідэі яго працы паўплывалі на тэхналогіі, вядомыя ва ўсім свеце.
Дзмітрый Багданаў. Фота: Dzmitry Bahdanau / LinkedIn
Яшчэ калі Дзмітрый Багданаў быў падлеткам, ён паказаў, што мае вялікі талент да праграмавання. У 2009‑м хлопец скончыў ліцэй БДУ і паехаў на міжнародную алімпіяду па інфарматыцы ў балгарскім Плоўдзіве, дзе заняў 13 месца з 301 удзельніка.
Далей хлопец вывучаў прыкладную матэматыку ў БДУ, а заадно працягнуў удзельнічаць у спаборніцтвах. У 2012 годзе Багданаў у складзе каманды з трох чалавек паехаў на прэстыжны студэнцкі чэмпіянат праграмавання ACM-ICPC. У сусветным фінале каманда беларусаў заняла пятае месца і абышла нават канкурэнтаў з Гарварда — тыя былі сёмымі.
Пасля БДУ гамяльчук паступіў у нямецкі ўніверсітэт Якабса, дзе атрымліваў магістарскую ступень, і ў 2014‑м паехаў на стажыроўку ў Манрэальскі ўніверсітэт. Там ён пазнаёміўся з Ёшуа Бенжыа — канадскім інфарматыкам і адным з «хросных бацькаў» штучнага інтэлекту, які яшчэ ў нулявыя распрацоўваў першыя нейрасеткі.
У 2014‑м разам з Бенжыа і Кёнхёнам Чо, аспірантам Манрэальскага ўніверсітэта, Багданаў напісаў артыкул, праз які і трапіў у гісторыю нейрасетак, прычым Дзмітрый у спісе аўтараў пазначаны першым. Той артыкул выйшаў пад назвай «Нейронны машынны пераклад з супольным навучаннем выраўнаванню і перакладу».
Што ж прыдумаў Багданаў з калегамі? Гаворка пра тое, каб навучыць камп’ютары па-іншаму ўспрымаць тэкст.
Уявіце, што вам трэба запомніць доўгі сказ. Калі вы паспрабуеце запомніць у ім кожнае слова паасобку, верагодна, частку словаў вы страціце і не зможаце потым узнавіць. Ды яшчэ ёсць рызыка, што ў страчанай вамі частцы сказа будзе нейкая важная па сэнсе інфармацыя. Зусім іншая гісторыя, калі вы паспрабуеце зразумець сэнс сказа і сувязі паміж словамі. Тады калі трэба будзе ўзнавіць сказ, то вы зробіце гэта з улікам тых словаў, што важныя ў непасрэдным кантэксце.
Прыкладна гэтаму Багданаў з калегамі і навучылі нейрасеткі: вызначаць, на якія часткі арыгінальнага сказа трэба звярнуць большую ўвагу.
Памятаеце машынны пераклад у 2000‑я і пачатак 2010-х? Тады Google Translate і іншыя падобныя праграмы маглі блытаць значэнні слоў, страчваць сувязі паміж часткамі доўгіх сказаў ці нават мяняць сэнс выказванняў. Але ў сярэдзіне 2010‑х шмат змянілася: Google Translate пачалі пераводзіць на нейрасеткавы пераклад, і, паводле звестак Google, якасць перакладу з часам палепшылася на 55-85% у параўнанні з мінулай тэхналогіяй. У тлумачэнні пераходу на такі пераклад Google спасылаецца ў тым ліку на артыкул Багданава, Бенжыа і Чо.
Але ж наступствы таго артыкула выйшлі далёка за межы машыннага перакладу, для якога механізм Багданава і распрацоўвалі. У 2017‑м з’явіліся трансформеры — нейрасеткі, якія апрацоўваюць інфармацыю шмат у чым паводле прынцыпаў удасканаленых механізмаў увагі. І якраз на трансформерах заснаваныя сучасныя моўныя мадэлі, у тым ліку і ChatGPT.
З часоў Багданава, аднак, той механізм увагі значна палепшылі, і гэта зразумела — бо прымяняюць яго зусім не толькі ў машынным перакладзе.
Але і ў ChatGPT, і ў Багданава ёсць адна агульная ідэя — нейрасетка сама выбірае, якія словы ў тэксце самыя важныя. ChatGPT працуе па прынцыпе, пры якім праграма сама задае словам шмат пытанняў і дзякуючы навучанню ведае, якія сувязі паміж імі трэба ўлічваць.
У 2020‑м Дзмітрый Багданаў атрымаў доктарскую ступень у Манрэалі, а ў 2021‑м узначаліў даследчыцкую праграму Conversational Assistant у стартапе ServiceNow. Працаваў ён у тым ліку над сістэмамі, здольнымі пісаць праграмы і разумець чалавечыя інструкцыі.
А з 2025‑га Багданаў — удзельнік каманды заснавальнікаў буйнога стартапа Periodic Labs, дзе спрабуюць аб’яднаць ШІ з сапраўднымі навуковымі эксперыментамі. Пры гэтым ён з’яўляецца запрошаным прафесарам у канадскім Універсітэце Макгіла, дзе працуе з маладымі даследчыкамі ШІ.
Унёсак беларуса ў развіццё ШІ значны, але было б няправільна казаць, што без яго мы б не мелі ChatGPT і добрых машынных перакладчыкаў. Калі б не Багданаў, Бенжыа і Чо, да тых жа рашэнняў маглі б прыйсці і іншыя навукоўцы. Але свет тэхналогій, што так укараніліся ў цяперашняе жыццё, тады мог бы быць іншы.