伴隨著城(cheng)市(shi)化進(jin)程的(de)不斷加快和(he)城(cheng)市(shi)經濟的(de)高(gao)速增長,以及人們安全意識(shi)的(de)不斷提高(gao),對視頻監控的(de)需(xu)求越來(lai)越強烈,其應(ying)用場(chang)景(jing)和(he)使用環境也越來(lai)越豐富。不同的(de)場(chang)景(jing)需(xu)求對視頻監控技(ji)術提出了更(geng)(geng)高(gao)更(geng)(geng)復雜的(de)要求,不僅僅要高(gao)清(qing),更(geng)(geng)要智能。顯然已經從過去(qu)的(de)“看(kan)(kan)得見”、“看(kan)(kan)得清(qing)”到如今的(de)“更(geng)(geng)好(hao)看(kan)(kan)”、“更(geng)(geng)易看(kan)(kan)”。
“更好看”——對視頻圖像處理技術的更高要求
就像(xiang)(xiang)(xiang)(xiang)對手(shou)機(ji)拍照(zhao)像(xiang)(xiang)(xiang)(xiang)素需求(qiu)(qiu)的(de)(de)與(yu)日(ri)俱增一樣,人(ren)們現(xian)今已經(jing)很難再接受分辨率低、噪(zao)聲(sheng)大、動態范圍低的(de)(de)視頻圖(tu)(tu)像(xiang)(xiang)(xiang)(xiang)了(le)。這不(bu)僅要求(qiu)(qiu)安(an)防(fang)企(qi)業在光學部件(jian)的(de)(de)選(xuan)擇上不(bu)斷(duan)追求(qiu)(qiu)更高的(de)(de)品質,在視頻圖(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處理(li)技術上更是不(bu)能落后。目前主流的(de)(de)視頻圖(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處理(li)技術都在與(yu)時(shi)俱進,以滿足(zu)用戶(hu)不(bu)斷(duan)變化的(de)(de)需求(qiu)(qiu),這里介紹一下當今比較熱(re)門、比較前沿的(de)(de)圖(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處理(li)技術的(de)(de)發展情況。
低照技術示意圖
一、低照技術
這只(zhi)是一個(ge)很(hen)(hen)籠統的(de)(de)(de)稱(cheng)呼,對(dui)低照表現(xian)的(de)(de)(de)要求是指在(zai)缺少光照的(de)(de)(de)環境條件(jian)下(xia)仍然能(neng)展現(xian)出清晰明亮、色(se)彩豐富、較(jiao)低噪聲的(de)(de)(de)視頻(pin)圖像(xiang),宇視星(xing)光級相(xiang)機就是在(zai)這種需求下(xia)應運而生(sheng)的(de)(de)(de)。該技術不僅對(dui)傳感(gan)器、鏡頭的(de)(de)(de)品質(zhi)有很(hen)(hen)高的(de)(de)(de)要求,還涵蓋了ISP(圖像(xiang)信號(hao)處理(li))中的(de)(de)(de)夜間圖像(xiang)增(zeng)強、2D 降噪、3D 降噪等(deng)技術, 同(tong)時如何權衡以上(shang)功能(neng),以得(de)到最優質(zhi)的(de)(de)(de)畫面表現(xian),也(ye)是對(dui)ISP 調(diao)校(xiao)技術的(de)(de)(de)考驗。
二、寬動態技術
寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)技(ji)(ji)術可以分為數(shu)(shu)字(zi)寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)和(he)多(duo)幀(zhen)寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)兩(liang)種。數(shu)(shu)字(zi)寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)是指,對(dui)單幀(zhen)圖(tu)像利(li)用(yong)色(se)調(diao)映射(she)技(ji)(ji)術使得(de)畫面的(de)暗區和(he)亮區同時能夠(gou)看清,即增(zeng)大圖(tu)像動(dong)(dong)態(tai)范(fan)圍(wei)。而多(duo)幀(zhen)寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)則是通(tong)過對(dui)同一場(chang)景(jing)獲(huo)(huo)取多(duo)幀(zhen)曝(pu)光程度不(bu)同的(de)圖(tu)像,然(ran)后利(li)用(yong)圖(tu)像融合(he)和(he)運動(dong)(dong)估計技(ji)(ji)術,將多(duo)幀(zhen)畫面合(he)成一幅,以達(da)到(dao)同樣的(de)目的(de)。由于多(duo)幀(zhen)寬(kuan)(kuan)(kuan)動(dong)(dong)態(tai)獲(huo)(huo)得(de)的(de)信息較(jiao)單幀(zhen)多(duo),因此通(tong)常情況下可以獲(huo)(huo)得(de)更(geng)大的(de)動(dong)(dong)態(tai)范(fan)圍(wei),和(he)更(geng)自(zi)然(ran)的(de)視覺感觀(guan)。
數字寬動態處理前(左)和處理后對比 | 多幀寬動態處理前(左)和處理后對比 |
三、去模糊技術
品質再高清(qing)的相機,也(ye)可能由(you)于(yu)人為拍攝的原因或者被拍攝物體(ti)本(ben)身(shen)的運(yun)(yun)動(dong)而(er)導致模(mo)(mo)糊(hu),分為失焦(jiao)模(mo)(mo)糊(hu)和(he)運(yun)(yun)動(dong)模(mo)(mo)糊(hu)兩種情況(kuang)。模(mo)(mo)糊(hu)本(ben)身(shen)在數(shu)學上來(lai)說,是清(qing)晰(xi)圖像與擴散函(han)數(shu)卷(juan)積(ji)的結果,因此去模(mo)(mo)糊(hu)就是一個(ge)逆卷(juan)積(ji)的過(guo)程,失焦(jiao)模(mo)(mo)糊(hu)和(he)運(yun)(yun)動(dong)模(mo)(mo)糊(hu)的主要(yao)差別是擴散函(han)數(shu)形式上的差異。
失焦模糊處理前(左)和處理后對比 | 運動模糊處理前(左)和處理后對比 |
四、透霧增強技術
視頻(pin)圖(tu)像透(tou)霧增(zeng)強技術(shu),一般(ban)指(zhi)將(jiang)因霧氣、水氣和灰塵等導致畫面朦(meng)朧不清(qing)(qing)的(de)(de)因素去除,使畫面重(zhong)新變得清(qing)(qing)晰(xi)通(tong)透(tou),恢復原有(you)的(de)(de)色(se)調、飽和度(du),獲得了良好的(de)(de)圖(tu)像質量與視覺感受。宇視的(de)(de)透(tou)霧技術(shu),已不再局限于簡(jian)單的(de)(de)對(dui)比(bi)度(du)增(zeng)強而(er)已,而(er)是通(tong)過對(dui)霧霾濃度(du)建模,獲得大(da)氣分(fen)布情況(kuang),進而(er)有(you)針(zhen)對(dui)性的(de)(de)去除,保(bao)持畫面自然(ran),并且(qie)不會丟失任何有(you)用(yong)信(xin)息(xi)。
基于大氣模型的透霧技術與對比度增強技術對比示意圖
另外值(zhi)得(de)一提的(de)是,與(yu)利(li)用圖(tu)像處理算(suan)法進行(xing)透(tou)(tou)霧增強技術各有(you)所(suo)長的(de),還有(you)宇視(shi)的(de)光(guang)學透(tou)(tou)霧技術。其原理主要是利(li)用近紅外波(bo)段對大氣的(de)穿透(tou)(tou)性(xing)要優(you)于可見光(guang)波(bo)段,因而能在濃霧霾情況下,獲得(de)可見光(guang)圖(tu)像所(suo)獲取不到的(de)信息(xi)。
光學透霧處理前(左)和處理后對比
五、超分辨率重建技術
提高圖像分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)最直(zhi)接的(de)(de)辦(ban)法就是(shi)提高采集設備的(de)(de)傳感器密(mi)度,然而高密(mi)度的(de)(de)圖像傳感器價格相對昂貴(gui),在一般的(de)(de)應用中難以承受,同時傳感器陣列密(mi)度目前也已接近極限(xian)。解決這一問(wen)題的(de)(de)有(you)效途徑(jing)是(shi)采用基于信(xin)號處理的(de)(de)軟件方法對圖像的(de)(de)空間(jian)(jian)分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)進(jin)行(xing)提高,超分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)重建技術可(ke)以分(fen)(fen)為單(dan)幀(zhen)超分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)重建和多(duo)(duo)幀(zhen)超分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)重建。單(dan)幀(zhen)超分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)通常是(shi)利用學習的(de)(de)方法對低分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)圖像進(jin)行(xing)恢復;多(duo)(duo)幀(zhen)超分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)的(de)(de)核(he)心(xin)思想(xiang)是(shi)用時間(jian)(jian)帶寬(獲取同一場景(jing)的(de)(de)多(duo)(duo)幀(zhen)圖像序列)換取空間(jian)(jian)分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv),實現時間(jian)(jian)分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)向空間(jian)(jian)分(fen)(fen)辨(bian)(bian)(bian)率(lv)(lv)(lv)的(de)(de)轉換。
“更易看”——減少使用者的工作量,智能必不可少
近幾(ji)年來隨著監(jian)控(kong)行業的發展以及平安(an)城市等大型工(gong)(gong)程的建(jian)設, 成千上萬的視頻(pin)圖像給廣大工(gong)(gong)作人員帶來無力管理和監(jian)看等問題(ti)。應用(yong)智(zhi)能(neng)分析(xi)技術對視頻(pin)畫面中的海量數據進(jin)行高速分析(xi), 過濾掉用(yong)戶不關心的信息(xi), 僅僅為監(jian)控(kong)者提供有(you)用(yong)的關鍵信息(xi), 從(cong)而解決了(le)視頻(pin)量大工(gong)(gong)作人員無力監(jian)管等問題(ti), 因此受到越(yue)來越(yue)多的關注。
目前(qian)國內智能分析技術已經(jing)不(bu)再局(ju)限于檢(jian)(jian)(jian)測(ce)(ce)和識(shi)(shi)(shi)(shi)(shi)別(bie)(bie),還逐(zhu)漸發展為(wei)(wei)跟(gen)蹤預(yu)測(ce)(ce)、行(xing)(xing)(xing)(xing)為(wei)(wei)分析等眾多應用(yong)。檢(jian)(jian)(jian)測(ce)(ce)是指通過前(qian)景提取等方法對畫面(mian)中(zhong)物(wu)體(ti)的(de)(de)移動(dong)(dong)(dong)進(jin)(jin)行(xing)(xing)(xing)(xing)檢(jian)(jian)(jian)測(ce)(ce),通過設(she)定規則來區(qu)分不(bu)同的(de)(de)行(xing)(xing)(xing)(xing)為(wei)(wei),例(li)如拌(ban)線(xian)、周界(jie)等;識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)是指利用(yong)模式(shi)識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)技術對畫面(mian)中(zhong)所需要(yao)監控的(de)(de)物(wu)體(ti)進(jin)(jin)行(xing)(xing)(xing)(xing)針對性的(de)(de)建模,從(cong)而達到(dao)對視(shi)頻中(zhong)的(de)(de)特定物(wu)體(ti)進(jin)(jin)行(xing)(xing)(xing)(xing)檢(jian)(jian)(jian)測(ce)(ce)、識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)、分類等相關應用(yong),例(li)如智能檢(jian)(jian)(jian)測(ce)(ce)與(yu)識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)、車型識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)等;跟(gen)蹤是指對識(shi)(shi)(shi)(shi)(shi)別(bie)(bie)到(dao)的(de)(de)特定物(wu)體(ti)的(de)(de)運(yun)動(dong)(dong)(dong)軌跡進(jin)(jin)行(xing)(xing)(xing)(xing)跟(gen)蹤預(yu)測(ce)(ce),在視(shi)頻圖(tu)像序列中(zhong)表示感興趣(qu)的(de)(de)物(wu)體(ti)或(huo)者(zhe)將不(bu)同時間序列中(zhong)出現的(de)(de)物(wu)體(ti)濃縮進(jin)(jin)短(duan)短(duan)幾分鐘(zhong)的(de)(de)畫面(mian),例(li)如視(shi)頻濃縮、摘要(yao)等;行(xing)(xing)(xing)(xing)為(wei)(wei)分析是指對運(yun)動(dong)(dong)(dong)物(wu)體(ti)的(de)(de)行(xing)(xing)(xing)(xing)為(wei)(wei)進(jin)(jin)行(xing)(xing)(xing)(xing)判(pan)斷(duan),并在使用(yong)者(zhe)設(she)定的(de)(de)條件下進(jin)(jin)行(xing)(xing)(xing)(xing)自(zi)動(dong)(dong)(dong)告(gao)警與(yu)記錄,如離(li)崗、徘徊(huai)、打架斗毆以及表情分析等。
智(zhi)能(neng)處理(li)的(de)(de)壓力(li)通常集中在(zai)性能(neng)上,如何(he)在(zai)有限的(de)(de)服務器資源(yuan)上同時滿足更多(duo)路智(zhi)能(neng)分(fen)析(xi)的(de)(de)需求(qiu),是除(chu)了(le)算(suan)法效果以外(wai)開(kai)發(fa)者需要(yao)關(guan)注的(de)(de)另一個重要(yao)問(wen)題。目前越來越多(duo)的(de)(de)高速(su)處理(li)器得到普及,除(chu)了(le)DSP 以外(wai),GPU 和FPGA 的(de)(de)主流(liu)廠(chang)家如Intel、Nvidia、AMD、Altera 等紛(fen)(fen)紛(fen)(fen)推出基(ji)于OpenCL 平臺的(de)(de)通用(yong)計算(suan)開(kai)發(fa),宇視(shi)也基(ji)于GPU 和FPGA 進行了(le)一系列的(de)(de)智(zhi)能(neng)分(fen)析(xi)算(suan)法的(de)(de)優化加(jia)速(su)。
GPU 與CPU 的差別在于更(geng)少(shao)(shao)的邏輯(ji)控(kong)制單(dan)元和更(geng)多的算術運算單(dan)元。由于GPU在邏輯(ji)判(pan)斷方(fang)面的弱勢,導致其通常不會用作主(zhu)控(kong)芯片,而是與CPU 配合(he)使用,處理大量(liang)數(shu)據(ju)計算問題(ti)(ti)。而針對(dui)數(shu)據(ju)交互的瓶(ping)頸問題(ti)(ti), 各大廠家也各自開發(fa)出(chu)unifymemor y 等解(jie)決方(fang)案,減少(shao)(shao)數(shu)據(ju)拷貝。
GPU 與CPU 資源對比
按應用類型可以分:
控制密(mi)集型(xing)(Control Int ensive),例如searching、parsing 等(deng)等(deng),適(shi)合于(yu)CPU 的(de)任務并(bing)(bing)行處理(li)。數(shu)據密(mi)集型(xing)(Data Intensive),例如圖像處理(li)、數(shu)據挖掘等(deng)等(deng),適(shi)合于(yu)GPU 的(de)數(shu)據并(bing)(bing)行處理(li)。
計(ji)算密(mi)集型(Compute Int ensive),例(li)如迭代操作(zuo)、金融建模等等, 適合(he)于(yu)FPGA 的流水線并(bing)行處理。
GPU 的(de)單(dan)指(zhi)令(ling)多數(shu)據并行(xing)(SIMDParallelism)工作方式(shi)和FPGA 的(de)流水線并行(xing)(Pipeline Parallelism) 工作方式(shi)對比如下圖10 所示。GPU 是硬件固定的(de)(fixed hardware), 同(tong)一個(ge)(ge)處理(li)單(dan)元在每(mei)個(ge)(ge)時(shi)鐘(zhong)周期(qi)可以加載不(bu)同(tong)的(de)指(zhi)令(ling),但(dan)是在每(mei)個(ge)(ge)時(shi)鐘(zhong)周期(qi)都是處理(li)的(de)同(tong)一條(tiao)指(zhi)令(ling),并且無論處理(li)何種指(zhi)令(ling),都必然占用一整個(ge)(ge)流處理(li)器(qi)的(de)資(zi)源(包括指(zhi)令(ling)發射(she)器(qi)、寄存(cun)器(qi)等);而FPGA 相當(dang)于是指(zhi)令(ling)固定的(de)(fixed instructions),每(mei)個(ge)(ge)時(shi)鐘(zhong)周期(qi)數(shu)據流水似的(de)經過不(bu)同(tong)的(de)處理(li),這(zhe)在運行(xing)過程中不(bu)會(hui)發生變化,而不(bu)同(tong)的(de)操作會(hui)消耗不(bu)同(tong)的(de)資(zi)源,這(zhe)在關注Performance PerWatt 時(shi)可能會(hui)有更好的(de)表現(xian)。
另外一(yi)(yi)個重要的(de)差別是遇到分(fen)支時,盡管GPU 和FPGA 都(dou)不像CPU 那樣善于處(chu)理分(fen)支,它們會把分(fen)支都(dou)進(jin)行處(chu)理,但二(er)者的(de)做法(fa)也很(hen)不一(yi)(yi)樣。GPU 由于為單指令多(duo)數據(ju)操作(zuo),只(zhi)能通過時間上的(de)“堆疊”,一(yi)(yi)條(tiao)分(fen)支一(yi)(yi)條(tiao)分(fen)支的(de)處(chu)理,這種情(qing)況下GPU 的(de)效(xiao)率明(ming)顯降(jiang)低; 而FPGA 可以通過硬(ying)件的(de)“堆疊”來同時處(chu)理多(duo)個分(fen)支,當(dang)然(ran)需要以犧牲資源為代價,如下圖11 所(suo)示(shi)。
SIMD 并行與流水線并行對比 | SIMD 并行和流水線并行分支行為的對比 |
總結——展望:萬物聯網
視頻圖像處理技(ji)術(shu)未(wei)來的(de)發展(zhan)趨勢(shi),絕對不僅僅是局限在(zai)技(ji)術(shu)本(ben)身而已。如何與其他技(ji)術(shu)結合、融合,來創造(zao)出更靈活、更人性(xing)化(hua)的(de)應(ying)用,適應(ying)物聯(lian)網浪(lang)潮的(de)發展(zhan),才是未(wei)來值(zhi)得(de)關注的(de)方(fang)向(xiang)。