一.技術(shù)背景
視頻監(jiān)控已經(jīng)成為現(xiàn)代安防、公共安全不可缺少的技術(shù)手段，但是視頻的監(jiān)視和瀏覽的低效問題一直都困擾著人們。通常一個(gè)案件涉及的視頻錄像長達(dá)幾十甚至成百上千小時(shí)數(shù)，需要幾個(gè)或十幾個(gè)人，快進(jìn)瀏覽也需要看上幾個(gè)甚至十幾個(gè)小時(shí)。效率十分低下，也容易喪失破案的時(shí)機(jī)。
此外，很多重要的線索或活動(dòng)對(duì)象，在監(jiān)控畫面中僅僅出現(xiàn)十幾秒甚至數(shù)秒，而這樣的信息，散落在數(shù)十小時(shí)的視頻中，人工查看視頻時(shí)，極易遺漏這些轉(zhuǎn)瞬即逝的重要信息。據(jù)一項(xiàng)研究實(shí)驗(yàn)表明，在連續(xù)觀察12分鐘的視頻圖像時(shí)，觀察者會(huì)錯(cuò)過45%的場景，而在連續(xù)觀察22分鐘后會(huì)錯(cuò)過95%的場景，從而忽略了許多重要細(xì)節(jié)。這使得視頻錄像和視頻監(jiān)控系統(tǒng)的真正有效使用率大為降低。即使有足夠的人力和時(shí)間，通過人工查看原始視頻的方式來捕捉轉(zhuǎn)瞬即逝的線索，也是有很大風(fēng)險(xiǎn)的。
如何讓人在能夠集中精力的數(shù)分鐘內(nèi)，高效的瀏覽所有數(shù)小時(shí)的視頻內(nèi)容，有效的捕捉線索和可疑對(duì)象，這是一個(gè)高度面向應(yīng)用的技術(shù)課題，由此視頻摘要智能分析技術(shù)應(yīng)運(yùn)而生。視頻摘要智能分析技術(shù)在國內(nèi)尚處于研究的起步階段。視頻摘要可以縮短查看視頻的時(shí)間，視頻分析則可以縮小對(duì)象搜索范圍，兩者結(jié)合能有效解決觀看視頻費(fèi)時(shí)、費(fèi)力等弊端，特別適用于公安刑偵破案、重要場所區(qū)域監(jiān)控，它打破了傳統(tǒng)觀看監(jiān)控錄像的弊端，將分析人員從繁雜而枯燥的“盯屏幕”任務(wù)解脫出來，可有效的提高預(yù)防和打擊各類違法犯罪行為。
二.產(chǎn)品實(shí)現(xiàn)
shineton視頻摘要智能分析系統(tǒng)的基本原理是對(duì)視頻的結(jié)構(gòu)和內(nèi)容進(jìn)行分析，從原始視頻文件中提取出有意義的部分，并將它們以某種方式進(jìn)行組合，形成簡潔且能夠充分表現(xiàn)原始視頻內(nèi)容的概要，它包括視頻摘要和視頻分析兩大功能。
（1）、視頻摘要。視頻摘要就是從時(shí)域、空域兩方面去除視頻的冗余信息，提供一個(gè)能夠概括原始視頻主要內(nèi)容，但長度卻比原始視頻短而精煉的摘要視頻。研究技術(shù)主要包括視頻內(nèi)容提取、摘要合成、摘要表現(xiàn)等。內(nèi)容提取，就是對(duì)視頻內(nèi)容進(jìn)行理解和分析，將視頻切分成合理的基本單位，如：場景、關(guān)鍵幀、元素、軌跡等；再采用模式識(shí)別或視頻結(jié)構(gòu)探測等方法，獲取能夠被計(jì)算機(jī)直接處理或能夠被人的感觀直接感覺到的信息。摘要合成，該技術(shù)可與視頻分析技術(shù)相結(jié)合，通過播放速度、播放密度等參數(shù)，將重要的元素組合在一起，完成視頻片段的重鑄，形成某種形式的視頻流。摘要表現(xiàn)，主要涉及基于內(nèi)容的視頻分析，考慮符合人類的感觀和便于瀏覽的原則，可以設(shè)置視頻總體摘要和單個(gè)事件軌跡摘要等瀏覽方式。視頻摘要需要遵循“先分后合”的原則，將一段長的視頻，通過濃縮處理，縮短成一段短視頻的過程。實(shí)現(xiàn)時(shí)，可以通過對(duì)對(duì)象前景與背景的分割，從原始視頻中提取對(duì)象的活動(dòng)信息，將視頻對(duì)象活動(dòng)重排序?qū)崿F(xiàn)視頻的摘要。視頻摘要包含了原視頻中所有的對(duì)象活動(dòng)細(xì)節(jié)，通過觀看視頻摘要來取代觀看原始視頻，可以幾倍、幾十倍地提高觀看視頻的效率。比如，一個(gè)1小時(shí)的視頻在濃縮后，可能形成一段5分鐘的視頻摘要。觀看5分鐘的視頻摘要，就相當(dāng)于觀看1小時(shí)的原視頻。

（2）、視頻分析。視頻分析就是根據(jù)用戶通過提供的對(duì)象特征（人車類別，顏色、高度、方向、速度等）、一幅樣照或素描圖，來分析已摘要視頻中的相似對(duì)象并返回結(jié)果顯示。視頻分析主要針對(duì)的是視頻中的對(duì)象，主要包括解析和反饋兩個(gè)過程。解析過程首先使用一種有效的運(yùn)動(dòng)分割方法提取出運(yùn)動(dòng)的對(duì)象，而后提取這些運(yùn)動(dòng)對(duì)象的基本特征作為元數(shù)據(jù)，并存放到數(shù)據(jù)庫。反饋過程則要求系統(tǒng)首先提取解析輸入的特征，并比對(duì)數(shù)據(jù)庫中已經(jīng)存儲(chǔ)好的對(duì)象特征，而非直接處理視頻，最后將擁有足夠高相關(guān)度的視頻對(duì)象重組后顯示出來。視頻分析可進(jìn)一步提高工作效率，比如：在一個(gè)案件中，若知道嫌疑對(duì)象的一些特征，則可以通過視頻分析技術(shù)縮小對(duì)象搜索范圍，提高辦案效率。此外，視頻分析還可以基于語義進(jìn)行，如采用對(duì)象識(shí)別技術(shù)對(duì)對(duì)象進(jìn)行標(biāo)注和解析，構(gòu)建基 存儲(chǔ)，實(shí)現(xiàn)基于語義的分析。

三.應(yīng)用說明
本系統(tǒng)中，專業(yè)巡查人員（管理人員）瀏覽濃縮視頻列表，可以調(diào)節(jié)不同的播放速度和播放密度，發(fā)現(xiàn)感興趣的目標(biāo)以后，選中目標(biāo)將暫停播放，雙擊目標(biāo)將播放目標(biāo)出現(xiàn)時(shí)的原始視頻，右擊目標(biāo)將提供保存對(duì)象視頻段或?qū)ο箨P(guān)鍵幀。系統(tǒng)提供了對(duì)象的物標(biāo)、時(shí)標(biāo)、流量統(tǒng)計(jì)等信息，同時(shí)根據(jù)對(duì)象大小、運(yùn)動(dòng)方向、對(duì)象顏色和指定“關(guān)注區(qū)”對(duì)對(duì)象進(jìn)行過濾分析，提供更小范圍的摘要視頻。本系統(tǒng)相比于傳統(tǒng)視頻播放查找對(duì)象或事件，能提供效率數(shù)十倍，有效減輕巡查隊(duì)伍的工作負(fù)荷。