С(Ц)ИЕСТА СО БРАНИСЛАВ ГЕРАЗОВ: Кажи ми – поможи ми!

Од желбата напредните технологии да се искористат за помош на деца и луѓе со попреченост, на ФЕИТ се имаат изродено многу проекти. Бранислав Геразов ги претставува најуспешните.

Ако нашите написи ти значат, размисли да донираш преку претплата. Тоа е најдобриот начин да нè поддржиш во ова што го правиме.

Бранислав Геразов е вонреден професор на Институтот за електроника на Факултетот за електротехника и информациски технологии (ФЕИТ) на УКИМ. На ФЕИТ дипломирал, магистрирал и докторирал. Во својата истражувачка работа имал постдокторски престој во GIPSA-lab, во Гренобл во Франција и бил гостин истражувач при Институтот за биофизика и биомедицинско инженерство, при Факултетот за науки на Универзитетот во Лисабон, Португалија, како и на Истражувачкиот институт IDIAP во Мартињи, Швајцарија.

Области од особен интерес му се говорните технологии: синтеза и препознавање говор и препознавање говорник. Бранислав ја води Групата за говорни технологии на ФЕИТ (https://speech.feit.ukim.edu.mk/) и е претседател на Здружениот оддел за дигитално процесирање на сигнали и инженерство во медицината и биологијата во македонската секција на IEEE. 

Минатата среда беше гостин на С(ц)иеста, каде што се разговараше за последните проекти во областа на асистивните (говорни) технологии на ФЕИТ. 

Кажи ми да ти кажам со машините

Во поново време, сведоци сме на сè поголема застапеност на говорните технологии во нашето секојдневие. Тие овозможуваат поефикасна и поприродна комуникација меѓу луѓето и машините, но и помеѓу луѓето. Директно или индиректно, придонесуваат за подобрување на човековиот живот и особено се значајни за лицата со попречености, кои не можат да гледаат, да зборуваат или да слушаат.

Компјутерски генерираниот говор, како што кажува Бранислав, може да се создаде со: (1) артикулаторна синтеза, која се добива со 3Д-модел на движењето на органите за говор и повеќе се користи во науката; (2) синтеза со форманти, добиена врз основа на резонантните фреквенции, која ја користеше синтетизаторот на Стивен Хокинг; (3) синтеза со надоврзување, која работи врз основа на исечоци од снимен говор, на каква што работел и самиот тој за време на своите магистерски студии или во поновите системи; (4) со примена на машинското учење и (5) со длабоките невронски мрежи.

Бранислав работи во областа на говорните технологии од 2007 година. Во рамките на своите магистерски студии го изработува синтетизаторот „Зборувај македонски“, кој се базира на надоврзување на снимени говорни сегменти и техники за процесирање на сигналите. Притоа навлегол длабоко со истражување на прозодијата, односно интонацијата, ритамот и интензитетот на нашиот јазик. Со своите знаења и анализи придонел и во новата Фонетика и фонологија на македонскиот стандарден јазик. „Последнава деценија, со машинското учење и со новите модели на длабоко учење со невронски мрежи настана вистинска револуција. Квалитетот на синтетизираниот говор направи голем скок и веќе е тешко да се препознае дали генерираниот говор е од машина или од човек“, вели тој, укажувајќи на синтетизаторот Такотрон 2 на Гугл од 2017 година. Еден попознат пример на ваков синтетизатор на македонски, пак, е Маика, а во 2021 Групата за говорни технологии го промовира синтетизаторот Везилка.

Групата за говорни технологии работи и на препознавање на говор. Во 2014 година, во рамките на своите докторски, Бранислав развива систем за контрола на интелигентни уреди со говорни наредби. Во 2019-та групата работи на систем за автоматска транскрипција на говор од медиуми и има процент на грешка од 8%, односно прави ситни грешки на ниво на знак или збор, кои најмногу се должат на шумовите во оригиналната снимка.

Кажи ми – поможи ми

Благодарение на ентузијазмот и на желбата напредните говорни технологии да се впрегнат за помош на луѓе кои имаат потреба од тоа, студентите на ФЕИТ работат  на повеќе проекти за асистивна говорна технологија во склоп на повеќегодишната и плодна соработка со Здружението за асистивна технологија „Отворете ги прозорците“ :

1. Комуникатор за деца со пречки во говорот Говорко. Преку него децата кои не зборуваат можат да кажат некои основни работи. Апликацијата се состои од снимени секвенци и располага со конечен број на зборови, кои може да ги изговара машки или женски глас.   

2. Локализација на македонски и албански на апликацијата Сиборд. Станува збор за светска апликација чиј развој е поддржан од УНИЦЕФ, која е дизајнирана да им помогне на децата кои имаат тешкотии во комуникацијата и нарушувања на говорот да комуницираат и да ги искажат своите потреби, чувства и мисли. Локализацијата е направена во соработка со УНИЦЕФ и во суштина е локализација на глобалната апликација Cboard. Дополнително, на македонски е направен и нов женски глас, наречен Сузе, според спикерката што го позајмила гласот, Сузана Тодоровска. Поради потребата гласот да работи и офлајн, тој е направен со метод кој овозможува контрола на брзината на зборување, што е особено важно, на пример, за слепите лица, за кои е поважно информацијата да стигне побргу за сметка на природноста. На локализацијата се работело една година и пред еден месец во ИНОФЕИТ се промовирале завршните резултати. 

3. Алатка за знаковен јазик. Идејата е во неа да може да се внесе текст/природен јазик на македонски и таа да го синтетизира со знаковен јазик.

4. Синтеза на говор од мозочни сигнали. Станува збор за комуникација на релација мозок-компјутер преку ЕЕГ. Се поставуваат електроди на делот од моторниот кортекс што го контролира вокалниот тракт – ја отвора устата, го мрда јазикот, ги активира гласилките... и тука може да се фатат сигналите и да се протолкуваат. На овој начин со мисли може да се генерира говор. Работата на овој проект потекнува од лабораторијата на Едвард Ченг, „Chang Lab“ од Сан Франциско. Тие имаат ослободено дел од податоците и, како што вели Бранислав, на ФЕИТ малку си играле со нив. Слободните податоци се на база на слогови, согласка и самогласка и синтезата на говорот на крај не е природна, ама е разбирлива. Со ова, во еден момент, би можело и слушањето да се однесе на ниво на електроди што значи дека на некој начин комуникацијата би одела меѓу мозоци, односно телепатски.

Бранислав спомена уште неколку проекти произлезени од работата на студентите на ФЕИТ во соработка со „Отворете ги прозорците“, кои се поврзани и со неговорни асистивни технологии. Меѓу нив се:

• детекторот на пречки за слепи лица со сонар – прототип на уред со ултразвучни сензори за откривање пречки, за помош на слепи лица при движење, кој наместо да бипка, тресе за да може слепото лице да продолжи да ја слуша акустиката на средината, која му помага во ориентацијата;

• контролор на протеза за нога преку мускулна активност. Ова е еден вид на квази вештачко колено, кое работи на ЕМГ сигнали. Сондите се ставаат на натколеницата и со контракција на мускулите коленото се исправа или се свиткува;

• проектот за контрола на инвалидска количка со поглед и

• проектот за препознавање на емоции од ЕЕГ. 

Презентирањето на овие напредни говорни и асистивни технологии ставени во служба на луѓе на кои навистина можат да им го олеснат животот, Бранислав го заокружи со зборовите:

Ми претставува големо задоволство што ја имам можноста да работам со талентирани млади луѓе и со нив да придонесеме кон подобар свет за сите!