近日，安徽大學(xué)集成電路學(xué)院吳秀龍教授團(tuán)隊(duì)與北京大學(xué)楊玉超教授團(tuán)隊(duì)合作,，針對(duì)如何高效地提取基于事件型的語(yǔ)音信號(hào)的時(shí)空特征與簡(jiǎn)化語(yǔ)音識(shí)別的脈沖神經(jīng)網(wǎng)絡(luò)復(fù)雜度,，提高硬件系統(tǒng)的計(jì)算能效等研究挑戰(zhàn)，首次提出了一種基于具有可調(diào)節(jié)衰減時(shí)間核的LiCoO₂動(dòng)態(tài)憶阻器的硬件DTSN神經(jīng)元(dynamic time-surface neurons),，其中衰減時(shí)間核的結(jié)構(gòu)包括zero-sum時(shí)間核(K_tzs)和指數(shù)時(shí)間核（K_t）兩種形式,，該神經(jīng)元具有高效提取音頻信號(hào)中事件流的時(shí)空特征功能。

該項(xiàng)成果以“Spatiotemporal audio feature extraction with dynamic memristor-based time-surface neurons”為題,，發(fā)表在《科學(xué)?進(jìn)展》（Science Advances）上 (DOI: 10.1126/sciadv.adl2767),。其中，安徽大學(xué)為第一單位,，我院21級(jí)博士生吳旭磊和北京大學(xué)集成電路學(xué)院2020級(jí)博士生黨丙杰為共同第一作者,，吳秀龍教授和北京大學(xué)楊玉超教授為共同通訊作者。

相關(guān)研究工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃,、國(guó)家杰出青年基金,、后摩爾重大研究計(jì)劃、集成電路高精尖創(chuàng)新中心等項(xiàng)目的資助,。

研究人員設(shè)計(jì)的硬件DTSN神經(jīng)元由薄膜晶體管（TFT）與Au/CoLiO₂/Au動(dòng)態(tài)憶阻器串聯(lián)集成（1TFT1R）,其中TFT作為可調(diào)電阻和分壓器件,。DTSN神經(jīng)元在接收固定脈沖信號(hào)條件下，DTSN神經(jīng)元的動(dòng)力學(xué)具有可重構(gòu)特性,，隨著柵極電壓的增大可以實(shí)現(xiàn)zero-sum時(shí)間核到指數(shù)時(shí)間核的轉(zhuǎn)換,。

在這項(xiàng)工作中，基于DTSN神經(jīng)元的時(shí)間核動(dòng)力學(xué)可將語(yǔ)音信號(hào)中的時(shí)空特征轉(zhuǎn)化為時(shí)間表面（time-surface）表示,，作為后端脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的語(yǔ)音信號(hào)特征值,，實(shí)現(xiàn)了具有低功耗、高能效計(jì)算的輕量級(jí)脈沖神經(jīng)網(wǎng)絡(luò)模型的語(yǔ)音識(shí)別硬件系統(tǒng),。

該硬件系統(tǒng)由基于DTSN神經(jīng)元的語(yǔ)音事件信號(hào)特征提取層與淺層脈沖神經(jīng)網(wǎng)絡(luò)分類器兩部分構(gòu)成,，實(shí)現(xiàn)了前端的語(yǔ)音信號(hào)處理和后端語(yǔ)音識(shí)別過程識(shí)別一體化,。

由于基于憶阻器的DTSN神經(jīng)元的zero-sum時(shí)間核具有高效的語(yǔ)音事件信號(hào)特征提取能力和抗噪聲能力，極大地簡(jiǎn)化了針對(duì)語(yǔ)音識(shí)別的脈沖神經(jīng)網(wǎng)絡(luò)硬件化復(fù)雜度,、提高了語(yǔ)音識(shí)別的精度（95.91%）與魯棒性,。

吳秀龍，民盟盟員,，現(xiàn)任民盟安徽省委委員,、民盟安徽大學(xué)總支主委，安徽大學(xué)安徽大學(xué)集成電路學(xué)院院長(zhǎng),、教授,、博士生導(dǎo)師。

（來源：安徽大學(xué)集成電路學(xué)院）