報告題目：大腦如何表征圖片的語義內(nèi)容：基于卷積神經(jīng)網(wǎng)絡(luò)模型的探索

報告人：徐華偉博士

報告時間：2023年6月8日 上午10:30

報告地點(diǎn)：教育科學(xué)學(xué)院303會議室

報告摘要：能夠?qū)崿F(xiàn)物體識別功能的卷積神經(jīng)網(wǎng)絡(luò)為腹側(cè)視覺通路的研究提供了重要工具——二者在功能和結(jié)構(gòu)上的相似性吸引了大量的研究者深入其中。使用卷積神經(jīng)網(wǎng)絡(luò)作為腹側(cè)視覺通路計算模型的研究不僅使得“讀心”成為可能并進(jìn)一步促使了深度學(xué)習(xí)和認(rèn)知神經(jīng)科學(xué)的融合。然而，卷積神經(jīng)網(wǎng)絡(luò)自身是一個黑箱。這就使得任何試圖通過卷積神經(jīng)網(wǎng)絡(luò)理解腹側(cè)視覺通路的研究最終會面臨用一個黑箱解釋另一個黑箱的困境——雖然經(jīng)由卷積神經(jīng)網(wǎng)絡(luò)獲得的深度特征可以預(yù)測腹側(cè)神經(jīng)通路的神經(jīng)活動，但是由于深度特征自身的意義不明，這種預(yù)測難以增進(jìn)我們對腹側(cè)視覺通路神經(jīng)機(jī)制的理解。因此，這一新興研究領(lǐng)域正面臨巨大爭議。

在本研究中，我們借助于卷積神經(jīng)網(wǎng)絡(luò)的一個有趣應(yīng)用試圖在一定程度上繞過黑箱困境——由神經(jīng)風(fēng)格轉(zhuǎn)換算法(Neural style transfer)可知，從VGG19中的CONV4_2提取的深度特征可以看作是對圖片語義內(nèi)容的表征。因此，我們可以借助這一具有明確意義的深度特征在編碼模型的框架下探討腹側(cè)視覺通路是如何表征圖片的語義內(nèi)容這一問題。結(jié)合編碼模型和表征相似性分析的結(jié)果，我們可以觀察到用于表征圖片語義內(nèi)容的深度特征其所能夠預(yù)測的體素主要分布在早期視覺皮層(V1、V2、V3)并且圖片的語義內(nèi)容既與圖片標(biāo)簽的語義相關(guān)又同時在一定程度上保留了圖片的具體細(xì)節(jié)。該結(jié)果主要涉及大腦中的信息表征格式這一基本問題并在雙重編碼理論和扎根認(rèn)知理論這兩個相互矛盾的理論解釋之間為后者提供了初步的證據(jù)支持。

本研究于2022年10月發(fā)表在《Neural Networks》 （中科院1區(qū)TOP，IF=9.657，https://doi.org/10.1016/j.neunet.2022.06.034）。

報告人簡介：徐華偉，華南師范大學(xué)心理學(xué)博士。主要研究方向：結(jié)合腦功能磁共振成像技術(shù)(fMRI)與深度學(xué)習(xí)方法探索視覺物體識別功能以及表象功能在大腦中的具體實(shí)現(xiàn)過程。