Vědci využívají umělou inteligenci k vytváření obrazů z mozkové aktivity

Datum 12.03.2023

Grafika: DALL-E

Vědci z Ósacké univerzity použili pokročilý model umělé inteligence ke zpracování lidské mozkové aktivity a znovuvytvoření obrazů, které testovaný člověk krátce předtím viděl. Na rozdíl od dřívějších pokusů o čtení lidských mozkových vln nevyžadoval difuzní model použitý v této studii rozsáhlé školení ani dolaďování a výsledky jsou velmi přesné.

Při vytváření rekonstruovaných snímků začali vědci se snímky funkční magnetické rezonance (fMRI). Účastníkům studie byly zobrazovány různé snímky, zatímco lékařské přístroje shromažďovaly údaje o mozkové aktivitě. Některé dřívější experimenty prováděly podobnou práci s daty z fMRI, například při rekonstrukci obličeje, který byl někomu ukázán. Tyto modely jsou však omezeny generativními algoritmy umělé inteligence, které je třeba trénovat na velkých souborech dat. Tréninkových dat z oblasti neurověd prostě není k dispozici příliš mnoho. Klíčem k novému výzkumu bylo použití difuzního modelu.

V difuzních modelech umělá inteligence vnáší do dat náhodný šum a pak se ho učí odstraňovat. Model pak může aplikovat proces odstraňování šumu a vytvořit tak realistický obraz. Čím více podnětů v mozku, tím více šumu v datech. A s větším množstvím šumu získáte větší rozlišení výsledného obrazu. V této studii byl použit generátor obrazu Stable Diffusion, který společnost Qualcomm nedávno zmenšila tak, aby jej bylo možné provozovat na chytrém telefonu.

V horní řadě jsou v červeném rámečku obrázky, které byly danému člověku ukázány a ve spodní řadě jsou počítačově rekonstruované pomocí fMRI z jeho mozkové aktivity. Snímky: Ósacká univerzita

Výše uvedené příklady ukazují prezentované snímky v horním řádku a verze vygenerované umělou inteligencí níže. I bez toho, aby bylo sděleno, co zobrazoval původní obrázek, je umělá inteligence schopna vygenerovat něco relativně blízkého jen z dat fMRI.