引言
人(ren)工(gong)智(zhi)能現在(zai)應(ying)用最好(hao)的一個領域就是基(ji)于視(shi)頻(pin)(pin)圖像的應(ying)用,尤其是基(ji)于深度卷(juan)積神(shen)經網絡在(zai)視(shi)頻(pin)(pin)圖像領域的應(ying)用最為(wei)火熱。安防(fang)是人(ren)工(gong)智(zhi)能技術最好(hao)的實踐(jian)領域,安防(fang)每天(tian)產生(sheng)的全天(tian)候的海量視(shi)頻(pin)(pin)圖像數據為(wei)人(ren)工(gong)智(zhi)能提供了(le)最佳實踐(jian)基(ji)礎。
圖1 安防人工智能應用三大基礎
除了海量(liang)(liang)數據、深(shen)(shen)(shen)(shen)度(du)卷積神(shen)(shen)經(jing)網絡(luo)(luo)(luo)算(suan)(suan)(suan)法,還有(you)GPU 或(huo)(huo)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)硬(ying)件(jian)加速(su)引擎也在(zai)快速(su)安防(fang)應用(yong)領域廣泛應用(yong)。海量(liang)(liang)視頻圖像、深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)算(suan)(suan)(suan)法、GPU 或(huo)(huo)深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)硬(ying)件(jian)加速(su)器,這(zhe)三(san)者共同(tong)推(tui)動者人(ren)工智(zhi)能在(zai)安防(fang)領域的實(shi)踐,如圖1所示。其中(zhong)GPU 和深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)加速(su)器的發(fa)展(zhan)驅動力來(lai)自于深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)算(suan)(suan)(suan)法的發(fa)展(zhan)。所以在(zai)這(zhe)三(san)者中(zhong),深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)算(suan)(suan)(suan)法的發(fa)展(zhan)是核心,它決定著(zhu)深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)硬(ying)件(jian)平臺的發(fa)展(zhan),同(tong)時也關系著(zhu)視頻圖像進行標(biao)注行為(wei)。所以本文著(zhu)重從(cong)深(shen)(shen)(shen)(shen)度(du)神(shen)(shen)經(jing)網絡(luo)(luo)(luo)算(suan)(suan)(suan)法的角度(du),介紹(shao)人(ren)工智(zhi)能在(zai)安防(fang)領域的實(shi)踐應用(yong)。
深度卷積神經網絡發展
最早(zao)的(de)卷(juan)(juan)積神經(jing)網絡模型(比如LeNet和(he)AlexNet)很是(shi)簡單,如圖2所示,使用堆(dui)棧式(stack)單卷(juan)(juan)積或者多卷(juan)(juan)積加單池(chi)化(pooling)的(de)結構(gou),卷(juan)(juan)積層做特(te)(te)征(zheng)提取,池(chi)化層進行空間下采樣。輸(shu)(shu)入(ru)特(te)(te)征(zheng)映射(inputfeature maps), 即輸(shu)(shu)入(ru)神經(jing)元(inputneurons)經(jing)過(guo)帶有權值(weights)的(de)卷(juan)(juan)積核(conv kernel)進行多維卷(juan)(juan)積,在(zai)輸(shu)(shu)出(chu)(chu)神經(jing)元(output neurons)上(shang)得到輸(shu)(shu)出(chu)(chu)特(te)(te)征(zheng)映射(outputfeature maps)。
圖2 簡單卷積網絡
之(zhi)(zhi)后(hou)的卷(juan)(juan)積(ji)神(shen)經網絡(luo)版本(ben),融合了Network In Network 來(lai)增加隱(yin)層提升非線性表達,它(ta)使(shi)用1x1卷(juan)(juan)積(ji)映射到(dao)隱(yin)含空(kong)間(jian)(jian),再在隱(yin)含空(kong)間(jian)(jian)做卷(juan)(juan)積(ji)。同(tong)時考慮(lv)到(dao)多尺(chi)度(du),在單層卷(juan)(juan)積(ji)層中用多個不同(tong)大小的卷(juan)(juan)積(ji)核來(lai)卷(juan)(juan)積(ji),最后(hou)把結果(guo)串(chuan)聯起來(lai)得(de)到(dao)輸出特征映射。這(zhe)一結構(gou),被(bei)稱之(zhi)(zhi)為“Incepti on”,由谷歌提出,如圖3所示,代表模式有Inception-v1、Inception-v2、Inception-v3、Inception-v4等版本(ben)。
圖3 Inception模塊
圖4 簡化版Inception
圖5 簡化版Inception另一種描述方式
逐層可分(fen)離卷積(Depthwise SeparableConvolution)可以認為是Inception 的(de)擴展(zhan),它(ta)是Inception 結構的(de)極(ji)限版(ban)本,如圖4所示,一個(ge)簡化(hua)版(ban)本的(de)Inception,我(wo)們可以看做一整個(ge)輸入(ru)做1x1卷積,然后切成三段(duan),分(fen)別進(jin)行(xing)3x3卷積后相連,如圖5所示。圖4和(he)圖5兩(liang)個(ge)形(xing)式(shi)是等價的(de),即Inception 的(de)簡化(hua)版(ban)本又可以用如下(xia)形(xing)式(shi)表(biao)達(da):
假若不是(shi)(shi)分(fen)成(cheng)三段,而是(shi)(shi)分(fen)成(cheng)五段或者更(geng)多,那模型(xing)的表達能力是(shi)(shi)不是(shi)(shi)更(geng)強呢?于是(shi)(shi)我們就切(qie)(qie)更(geng)多段,一直切(qie)(qie)到不能再切(qie)(qie)為止,此(ci)時正好(hao)是(shi)(shi)輸(shu)出(chu)通道(output channels)的數(shu)量(liang)(極限版本),如圖6所示:
圖6 Inception極限版本
這(zhe)就(jiu)是(shi)逐層(ceng)卷(juan)(juan)積(ji)(ji)(depthwise convolution),逐層(ceng)卷(juan)(juan)積(ji)(ji)是(shi)對輸入的(de)(de)(de)每一(yi)個(ge)(ge)通(tong)道(dao)(channel)獨立的(de)(de)(de)用對應通(tong)道(dao)的(de)(de)(de)所有卷(juan)(juan)積(ji)(ji)核(he)去卷(juan)(juan)積(ji)(ji),假設(she)卷(juan)(juan)積(ji)(ji)核(he)的(de)(de)(de)形狀是(shi)filter_height*filter_width*in_channels* channel_multiplier,那(nei)么每個(ge)(ge)輸入通(tong)道(dao)(in_channel)會輸出channel_multiplier 個(ge)(ge)通(tong)道(dao),最后(hou)的(de)(de)(de)特征(zheng)(zheng)映射面(feature map)就(jiu)會有in_channels *channel_multiplier 個(ge)(ge)通(tong)道(dao)。反(fan)觀普通(tong)的(de)(de)(de)卷(juan)(juan)積(ji)(ji),輸出的(de)(de)(de)特征(zheng)(zheng)映射面一(yi)般就(jiu)只有channel_multiplier 那(nei)么多個(ge)(ge)通(tong)道(dao)。
在(zai)圖(tu)(tu)像(xiang)(xiang)分割(ge)領域,圖(tu)(tu)像(xiang)(xiang)輸入到深(shen)度卷積(ji)(ji)神(shen)經網絡(luo)中,先(xian)對圖(tu)(tu)像(xiang)(xiang)做卷積(ji)(ji)再池化(hua)(即下(xia)采(cai)(cai)樣(yang)),降低圖(tu)(tu)像(xiang)(xiang)尺(chi)(chi)寸(cun)的同時增大感受(shou)(shou)野,但是(shi)由于(yu)圖(tu)(tu)像(xiang)(xiang)分割(ge)預(yu)測(ce)是(shi)逐個(ge)像(xiang)(xiang)素(su)輸出(chu)的,所以要(yao)將池化(hua)后較小尺(chi)(chi)寸(cun)的圖(tu)(tu)像(xiang)(xiang)上采(cai)(cai)樣(yang)到原始圖(tu)(tu)像(xiang)(xiang)尺(chi)(chi)寸(cun)進行預(yu)測(ce)。上采(cai)(cai)樣(yang)一般采(cai)(cai)用反卷積(ji)(ji)(deconv)操作,使得每個(ge)像(xiang)(xiang)素(su)預(yu)測(ce)都(dou)能看到較大感受(shou)(shou)野。因此圖(tu)(tu)像(xiang)(xiang)分割(ge)卷積(ji)(ji)神(shen)經網絡(luo)中有兩個(ge)關鍵,一個(ge)是(shi)池化(hua)減小圖(tu)(tu)像(xiang)(xiang)尺(chi)(chi)寸(cun)增大感受(shou)(shou)野,另一個(ge)是(shi)上采(cai)(cai)樣(yang)擴大圖(tu)(tu)像(xiang)(xiang)尺(chi)(chi)寸(cun)。在(zai)先(xian)減小再增大尺(chi)(chi)寸(cun)的過程(cheng)中,就會有信(xin)息損(sun)失(shi)。所以就設計出(chu)一種新(xin)的操作:空洞(dong)卷積(ji)(ji)(dilated conv)或者卷積(ji)(ji)核膨脹,即不通(tong)過池化(hua)也能有較大的感受(shou)(shou)野,如圖(tu)(tu)7所示。
圖7 空洞卷積
圖(tu)7中(zhong)(zhong)的(de)(de)(de)(de)(a) 圖(tu)對應(ying)3x3的(de)(de)(de)(de)1-dilatedconv,和普通的(de)(de)(de)(de)卷(juan)(juan)(juan)積操作(zuo)一(yi)樣,(b) 圖(tu)對應(ying)3x3的(de)(de)(de)(de)2-dilated conv,實際的(de)(de)(de)(de)卷(juan)(juan)(juan)積核(he)尺(chi)(chi)寸還(huan)是3x3,但(dan)是空洞為(wei)1,也就是對于(yu)一(yi)個(ge)7x7的(de)(de)(de)(de)圖(tu)像塊,只有9個(ge)紅(hong)色(se)的(de)(de)(de)(de)點(dian)和3x3的(de)(de)(de)(de)卷(juan)(juan)(juan)積核(he)進行(xing)卷(juan)(juan)(juan)積操作(zuo),其余的(de)(de)(de)(de)點(dian)(綠(lv)色(se)點(dian))略過。也可以(yi)理(li)解為(wei)卷(juan)(juan)(juan)積核(he)的(de)(de)(de)(de)尺(chi)(chi)寸實際為(wei)7x7,但(dan)是只有圖(tu)(b) 中(zhong)(zhong)的(de)(de)(de)(de)9個(ge)點(dian)的(de)(de)(de)(de)權重不(bu)為(wei)0,其余都為(wei)0。 可以(yi)看到雖然卷(juan)(juan)(juan)積核(he)尺(chi)(chi)寸只有3x3,但(dan)是這個(ge)卷(juan)(juan)(juan)積的(de)(de)(de)(de)感(gan)受(shou)(shou)野(ye)已經增大(da)到了7x7。(c) 圖(tu)是4-dilated conv 操作(zuo),能(neng)達到15x15的(de)(de)(de)(de)感(gan)受(shou)(shou)野(ye)。空洞卷(juan)(juan)(juan)積的(de)(de)(de)(de)好(hao)處是不(bu)做池化帶來(lai)損失信息(xi)的(de)(de)(de)(de)情(qing)況下,加大(da)了感(gan)受(shou)(shou)野(ye),讓每個(ge)卷(juan)(juan)(juan)積輸出都包含較大(da)范圍的(de)(de)(de)(de)信息(xi)。
還有一種卷(juan)(juan)積(ji)神(shen)經網(wang)絡(luo)稱為可(ke)形(xing)變(bian)(bian)卷(juan)(juan)積(ji)(Deformable convolutions)神(shen)經網(wang)絡(luo),其思想很巧妙:它認為規則形(xing)狀的(de)(de)(de)卷(juan)(juan)積(ji)核(he)(比如(ru)一般(ban)用的(de)(de)(de)正方形(xing)3x3卷(juan)(juan)積(ji))可(ke)能會限(xian)制特征的(de)(de)(de)提取(qu)(qu),如(ru)果賦(fu)予卷(juan)(juan)積(ji)核(he)形(xing)變(bian)(bian)的(de)(de)(de)特性,讓神(shen)經網(wang)絡(luo)根(gen)據標注標簽反向傳播回來的(de)(de)(de)誤(wu)差自(zi)動的(de)(de)(de)調(diao)整卷(juan)(juan)積(ji)核(he)的(de)(de)(de)形(xing)狀,適應網(wang)絡(luo)重點(dian)關注的(de)(de)(de)感興趣的(de)(de)(de)區(qu)域,就(jiu)可(ke)以提取(qu)(qu)更好(hao)的(de)(de)(de)特征。如(ru)圖(tu)(tu)8所(suo)示(shi),神(shen)經網(wang)絡(luo)會根(gen)據原位置(zhi)(zhi)(a),學習一個偏移量(liang),得到(dao)新的(de)(de)(de)卷(juan)(juan)積(ji)像素點(dian)位置(zhi)(zhi)(b) 圖(tu)(tu),那么(me)一些特殊(shu)情況就(jiu)會成為這個更泛化的(de)(de)(de)模型的(de)(de)(de)特例(li),例(li)如(ru)圖(tu)(tu)(b) 中圖(tu)(tu)表示(shi)從不同尺度(du)物(wu)體的(de)(de)(de)識別(bie),圖(tu)(tu)(b) 右圖(tu)(tu)表示(shi)旋(xuan)轉物(wu)體的(de)(de)(de)識別(bie)。
圖8 變形卷積
圖9 變形卷積
這個(ge)(ge)思想的實(shi)現方法也很常規(gui),上(shang)圖9中包含兩(liang)(liang)處卷(juan)(juan)積,第一處是獲取(qu)偏(pian)(pian)移(yi)(yi)(yi)(offsets)的卷(juan)(juan)積,即我(wo)(wo)們(men)(men)對(dui)輸(shu)入特征(zheng)(zheng)映(ying)射面(inputfeature map)做卷(juan)(juan)積,得到(dao)一個(ge)(ge)輸(shu)出(offsetfield),然后再在(zai)這個(ge)(ge)輸(shu)出上(shang)取(qu)對(dui)應位置的一組值(zhi)(zhi)作為(wei)(wei)偏(pian)(pian)移(yi)(yi)(yi)。假設(she)輸(shu)入特征(zheng)(zheng)映(ying)射面的形狀為(wei)(wei)batch*height*width*channels,我(wo)(wo)們(men)(men)指定(ding)輸(shu)出通道(dao)變(bian)(bian)成兩(liang)(liang)倍,卷(juan)(juan)積得到(dao)的偏(pian)(pian)移(yi)(yi)(yi)域(offset field) 就是batch*height*width*2×channels。為(wei)(wei)什么指定(ding)通道(dao)變(bian)(bian)成兩(liang)(liang)倍呢?因(yin)為(wei)(wei)我(wo)(wo)們(men)(men)需(xu)要在(zai)這個(ge)(ge)偏(pian)(pian)移(yi)(yi)(yi)域里面取(qu)一組卷(juan)(juan)積核(he)的偏(pian)(pian)移(yi)(yi)(yi),而(er)一個(ge)(ge)偏(pian)(pian)移(yi)(yi)(yi)肯定(ding)不能一個(ge)(ge)值(zhi)(zhi)就表示的,最少也要用(yong)兩(liang)(liang)個(ge)(ge)值(zhi)(zhi)(x方向上(shang)的偏(pian)(pian)移(yi)(yi)(yi)和y 方向上(shang)的偏(pian)(pian)移(yi)(yi)(yi))所以,如果我(wo)(wo)們(men)(men)的卷(juan)(juan)積核(he)是3x3,那(nei)意味著(zhu)我(wo)(wo)們(men)(men)需(xu)要3x3個(ge)(ge)偏(pian)(pian)移(yi)(yi)(yi),一共需(xu)要2x3x3個(ge)(ge)值(zhi)(zhi)。取(qu)完了這些值(zhi)(zhi),就可以順利(li)使(shi)卷(juan)(juan)積核(he)形變(bian)(bian)了。第二處就是使(shi)用(yong)變(bian)(bian)形的卷(juan)(juan)積核(he)來卷(juan)(juan)積,這個(ge)(ge)比較常規(gui)。
還有(you)一種(zhong)卷積(ji)神經網(wang)(wang)絡稱為(wei)“特(te)(te)(te)征(zheng)(zheng)重標定卷積(ji)神經網(wang)(wang)絡”,這個(ge)卷積(ji)是(shi)對(dui)(dui)(dui)特(te)(te)(te)征(zheng)(zheng)維(wei)度(du)(du)作改(gai)進的(de)(de)(de)。一個(ge)卷積(ji)層(ceng)中(zhong)往往有(you)數以千計(ji)的(de)(de)(de)卷積(ji)核,而且我們知道(dao)卷積(ji)核對(dui)(dui)(dui)應了(le)特(te)(te)(te)征(zheng)(zheng),可是(shi)那么多特(te)(te)(te)征(zheng)(zheng)要(yao)怎樣(yang)區分呢?這種(zhong)網(wang)(wang)絡就(jiu)是(shi)通(tong)(tong)過(guo)學習的(de)(de)(de)方式來自動獲(huo)取(qu)到每個(ge)特(te)(te)(te)征(zheng)(zheng)通(tong)(tong)道(dao)的(de)(de)(de)重要(yao)程(cheng)(cheng)度(du)(du),然后(hou)依照計(ji)算出(chu)來的(de)(de)(de)重要(yao)程(cheng)(cheng)度(du)(du)去提(ti)升有(you)用(yong)的(de)(de)(de)特(te)(te)(te)征(zheng)(zheng)并(bing)抑制對(dui)(dui)(dui)當前任務用(yong)處不大(da)的(de)(de)(de)特(te)(te)(te)征(zheng)(zheng)。如圖(tu)10所示(shi),首先做(zuo)普通(tong)(tong)的(de)(de)(de)卷積(ji),得(de)(de)到了(le)輸出(chu)特(te)(te)(te)征(zheng)(zheng)映(ying)射(she)(she)面(output feature map),它的(de)(de)(de)形狀為(wei)C*H*W,這個(ge)特(te)(te)(te)征(zheng)(zheng)映(ying)射(she)(she)面的(de)(de)(de)特(te)(te)(te)征(zheng)(zheng)很混亂。然后(hou)為(wei)了(le)獲(huo)得(de)(de)重要(yao)性的(de)(de)(de)評價指(zhi)標,直接對(dui)(dui)(dui)這個(ge)特(te)(te)(te)征(zheng)(zheng)映(ying)射(she)(she)面進行全(quan)(quan)局平均池化,就(jiu)得(de)(de)到了(le)長度(du)(du)為(wei)C的(de)(de)(de)向量(liang)(liang)。然后(hou)對(dui)(dui)(dui)這個(ge)向量(liang)(liang)加兩個(ge)全(quan)(quan)連接層(ceng),做(zuo)非線性映(ying)射(she)(she),這兩個(ge)全(quan)(quan)連接層(ceng)的(de)(de)(de)參數,也就(jiu)是(shi)網(wang)(wang)絡需要(yao)額外學習的(de)(de)(de)參數。最后(hou)輸出(chu)的(de)(de)(de)向量(liang)(liang),我們可以看做(zuo)特(te)(te)(te)征(zheng)(zheng)的(de)(de)(de)重要(yao)性程(cheng)(cheng)度(du)(du),然后(hou)與特(te)(te)(te)征(zheng)(zheng)映(ying)射(she)(she)面對(dui)(dui)(dui)應通(tong)(tong)道(dao)相乘就(jiu)得(de)(de)到特(te)(te)(te)征(zheng)(zheng)有(you)序的(de)(de)(de)特(te)(te)(te)征(zheng)(zheng)映(ying)射(she)(she)面了(le)。
圖10 特征重標定卷積神經網絡Squeeze-and-Excitation模塊
2017年6月,宇視科技(uniview)與英(ying)特爾(intel)聯(lian)合發布VDC12500系列視圖數(shu)據(ju)中心一體機『昆侖二代』,采用(yong)融合業務架構(gou),支持(chi)CPU 通用(yong)計算板卡、GPU 計算板卡混插,實現通用(yong)計算業務、智(zhi)(zhi)能(neng)(neng)(neng)分析(xi)業務、大(da)數(shu)據(ju)業務,廣泛應用(yong)于人工智(zhi)(zhi)能(neng)(neng)(neng)城市的(de)建設:一臺可(ke)并(bing)發處(chu)理2.4億大(da)庫(ku)智(zhi)(zhi)能(neng)(neng)(neng)搜(sou)索、或(huo)200億人車物的(de)結構(gou)化數(shu)據(ju)分析(xi)、或(huo)8億數(shu)據(ju)秒級(ji)“以圖搜(sou)索”應用(yong),具備強(qiang)勁的(de)高并(bing)發處(chu)理能(neng)(neng)(neng)力和集群化管理能(neng)(neng)(neng)力。
昆侖(lun)(lun)二代高性能(neng)專用(yong)計(ji)算平臺(tai),插(cha)CPU 板(ban)卡可進行海量數(shu)據的(de)處理,能(neng)夠快速存(cun)儲和(he)索(suo)引,多種數(shu)據進行時(shi)空碰撞;插(cha)GPU 板(ban)卡則繼承全(quan)部(bu)(bu)昆侖(lun)(lun)一代的(de)智能(neng)分析功(gong)能(neng)。昆侖(lun)(lun)二代=CPU 通(tong)用(yong)計(ji)算+ 大(da)數(shu)據內(nei)存(cun)計(ji)算+GPU 智能(neng)計(ji)算,實(shi)現視頻調(diao)度(du)、大(da)數(shu)據、智能(neng)等全(quan)部(bu)(bu)安防算力的(de)融合。
圖11 英特爾助力昆侖二次進化,成為高性能專用計算平臺,采用彈性可擴展硬件架構,未來可以持續升級
總結
現在越(yue)(yue)來越(yue)(yue)多的(de)卷(juan)積神經網絡(luo)模(mo)(mo)型(xing)從(cong)巨(ju)型(xing)網絡(luo)到(dao)輕量(liang)化網絡(luo)一(yi)步(bu)步(bu)演(yan)變(bian),模(mo)(mo)型(xing)準(zhun)確率(lv)也越(yue)(yue)來越(yue)(yue)高。當前(qian)人(ren)工智能實(shi)踐中追(zhui)求的(de)重點已經不只是(shi)準(zhun)確率(lv)的(de)提升,更都聚焦于速(su)度與準(zhun)確率(lv)的(de)平衡(heng),都希(xi)望模(mo)(mo)型(xing)又快又準(zhun)。因此從(cong)原來AlexNet、VGGNet,到(dao)體積小(xiao)一(yi)點的(de)Inception、ResNet 系(xi)列,到(dao)目(mu)前(qian)能移植(zhi)到(dao)移動端(duan)的(de)MobileNet、ShuffleNet,我們可以看到(dao)這樣一(yi)些(xie)趨勢:
卷積核方面:
◆ 大卷積核用多個小卷積核代替;
◆ 單一尺寸卷積核用多尺寸卷積核代替;
◆ 固定形狀卷積核趨于使用可變形卷積核;
◆ 使(shi)用1×1 卷(juan)積(ji)核(he)。
卷積層通道方面:
◆ 標準卷積用逐層卷積代替;
◆ 使用分組卷積;
◆ 分組卷積前使用通道重組(channel
shuffle);
◆ 通道加權計算。
卷積層連接方面:
◆ 使用忽略連接(skip connection),讓模型更深;
◆ 稠密連接(densely connection),使每一(yi)層都(dou)融合上其(qi)它層的特征輸出(chu)(DenseNet)
由(you)此(ci)可見,應用于安防(fang)領域(yu)(yu)的人(ren)工智(zhi)能(neng)中的深度卷(juan)積神經網絡模型(xing)結構(gou),研究(jiu)領域(yu)(yu)為了(le)更(geng)快、更(geng)準(zhun)的檢測識(shi)別目(mu)標,一直在持(chi)續更(geng)新模型(xing)結構(gou),由(you)此(ci)也帶來了(le)安防(fang)應用的不斷推陳出新。
杰夫? 辛(xin)頓(dun)(Geoffrey Hinton,1947-),以“深(shen)(shen)度(du)(du)(du)(du)學(xue)習(xi)(xi)(xi)之父”和“神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)網(wang)(wang)(wang)絡先驅”聞名(ming)于(yu)世,其對深(shen)(shen)度(du)(du)(du)(du)學(xue)習(xi)(xi)(xi)及神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)網(wang)(wang)(wang)絡的諸多核心(xin)算法(fa)和結構(包括“深(shen)(shen)度(du)(du)(du)(du)學(xue)習(xi)(xi)(xi)”這個名(ming)稱本身,反向(xiang)傳播算法(fa),受(shou)限玻爾茲曼機,深(shen)(shen)度(du)(du)(du)(du)置信網(wang)(wang)(wang)絡,對比散度(du)(du)(du)(du)算法(fa),ReLU 激活單元,Dropout 防止(zhi)過擬合(he),以及深(shen)(shen)度(du)(du)(du)(du)學(xue)習(xi)(xi)(xi)早期在語音(yin)方面突(tu)破)做(zuo)出(chu)了(le)(le)(le)基礎性(xing)的貢獻。他近幾年以“卷積神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)網(wang)(wang)(wang)絡有什么問題?”為主題做(zuo)了(le)(le)(le)多場報道,提出(chu)了(le)(le)(le)膠囊(Capsule)計(ji)劃。Hinton 似乎毫不(bu)掩飾要(yao)推翻自己盼了(le)(le)(le)30多年時間才(cai)建(jian)立起來(lai)的深(shen)(shen)度(du)(du)(du)(du)學(xue)習(xi)(xi)(xi)帝國的想(xiang)法(fa),他根據(ju)神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)解剖學(xue)、認知神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)科學(xue)、計(ji)算機圖形學(xue)的啟(qi)發(fa),對卷積神(shen)(shen)經(jing)(jing)(jing)(jing)(jing)網(wang)(wang)(wang)絡產生了(le)(le)(le)動搖(yao)。他的這種精神(shen)(shen)也獲得(de)了(le)(le)(le)同行(xing)李飛飛(ImageNet 創始者)等人肯定。
這標(biao)志著(zhu)人工(gong)(gong)智能(neng)算(suan)(suan)法(fa)(fa)并沒(mei)有完(wan)全成熟(shu)起來(lai),雖然現在(zai)在(zai)安防領(ling)域得到大量應(ying)(ying)用,但(dan)每種(zhong)應(ying)(ying)用并不(bu)是(shi)很完(wan)美。這種(zhong)不(bu)完(wan)美既有工(gong)(gong)程實(shi)踐(jian)問(wen)題(ti),更有理(li)論模型問(wen)題(ti)。在(zai)未來(lai)的人工(gong)(gong)智能(neng)應(ying)(ying)用道路上,卷積神經網絡或者只是(shi)一(yi)個暫時的表(biao)現很優秀的算(suan)(suan)法(fa)(fa),將來(lai)必將會出現更加優秀的算(suan)(suan)法(fa)(fa)。
參考文獻
[1]//zhuanlan.zhihu.com/p/29367273
[2]//prlab.tudelft.nl/sites/default/files/Deformable_CNN.pdf
[3]//arxiv.org/pdf/1610.02357.pdf
[4]//zhuanlan.zhihu.com/p/28749411
[4]//zhuanlan.zhihu.com/p/29435406