以碎形特徵侦测镜头转换

1、以碎形特徵偵測鏡頭轉換shot change detection by fractal signature 問題起因 影音技術的普及+網路的廣泛應用 影音資料大量產出及散佈 副產物：影音資料的氾濫及冗餘 新一代的影音技術在於追求快速的影音資料管理及檢索：mpeg 7 應用: 位圖書，教育等的影音資庫的存儲和檢 多媒體編輯:個人化的電子新聞服務、媒體編輯 多媒體目服務:電話簿黃頁，遊客資訊 廣播媒體選擇:廣播頻道查尋，電視節目查尋 .為何以影像內容進行檢索 傳統以人工方法對影片內容下註解：耗費人力、無法精準反應映片內容。 較理想方法：由電腦依影片內容分段，取出片段內之靜態特徵存入資料庫 使用者以

2、影片內容對資料庫進行搜尋影片階層分類鏡頭變換種類 突然鏡頭轉換(abrupt cut)漸進式鏡頭轉換（gradual transition） 基本轉換過程表示 , 為開始及目的端片段在時間t時畫面上座標(i,j)之像素 , 為合成畫面 座標(x,y)中開始及目的端片段所佔之比例)(tpij)(tqijxyijaxyijb)(trxyijijijxyijijxyijxytqbtptatr)()()()(淡入淡出(fade in/fade out) 溶解(dissolve) 搖攝(wipe)例子push wipe之變形，作用過程非取代而是將原畫面推擠出去常見之判斷特徵 1. 像素(pixel)2.

3、 直方圖(histograms)3. 邊緣追蹤(edge tracking) 像素(pixel)frame nframe n + 1xyyxpyxpiidxxyyii111| ),(),(|) 1,(對攝影鏡頭的動作太過敏感對畫面內物體移動太過敏感kasturi ,likelihood ratio ,1991 1,221,1,*22ikikikikikikvvmmvv為改善物體及鏡頭移動影響引入區塊的概念計算畫面間相對應區塊差異值:統計明顯變化區塊數量，用以判別是否有鏡頭轉換 直方圖(histograms)nagasaka,1998 630121),(),(),()(jtctctccutjfi

4、hjfihjfihid引入區塊的概念，將原圖切割為16區塊僅取各區塊中8個差值較小者並取其平均平均值和臨界值比較判別是否有鏡頭轉換zabith,1995ioutiiniseseratiochangeedgeecr,max)(11不同類型轉換之ecr( edge change ratio)動機 漸進式鏡頭轉換依然缺乏有效的解決方法 漸進式鏡頭轉換是人為刻意的安排 現今的判斷法，必須倚靠臨界值 臨界值無法反映漸進式鏡頭轉換的變數： 影片的類型、轉換的類型、轉換時間的長度 碎形(fractal) 自我相似性 影像分割 range block domain blockvines (1993)，碎形正交

5、基底 利用複數個之 (orthonormal basis vectors)去產生range方塊之近似domain方塊 在同一訓練圖i分為r、g、b三個平面訓練orthonormal basis vectors 每個range方塊對三個平面orthonormal basis vectors編碼取得索引畫面間差異量化 將比對影像之索引檔以nonatree方法切割為兩層之子圖索引，並扣除重複者 子圖之索引檔取出後，搜尋比對畫面中最相似之子圖 將子圖之個別差值加總即可得到兩張不同影像間之差異值 dissolve開始及目的片段所佔比例由轉換時間長度及經過時間所決定 ： 轉換過程畫面上任意點由p轉換到q之

6、像素在時間軸t到t+1之表示式: 時間t時之組成： 時間t+1時之組成： 其差為定值：etsqsestpsete2) 1(2) 1(qsestpsete2) 1() 1(2) 1() 1(2sepqdissolve轉換中相鄰畫面差為定值2)1()(2)1()(sesttbseteta可能轉換過程位置 精鍊起終點位置 )()(max)(yxxiyixfxynxfpl定義：bpl定義:)()(min)(xyyixixbnxyx檢查點位置之影響多個可能點之判斷量化fpl機率：txbtxbtxbxbxpb)(,1)(0,)(0)(,0)(量化bpl機率：0)(,0)(,1)(2)/ )(xfexfxp

7、nnxff參考參數紅線：終止點綠線：中位點籃線：corner point多個可能點之判斷例子搜尋效能 p(n)：搜尋輸出影像總數 n 求得之precision值 r(n)：搜尋輸出影像總數 n 求得之recall值比對方法 b. yeo ,1995 各畫面和其後第k個畫面進行差值比對 將轉過過程區域凸顯成”高原” 偵測”高原”的條件：siiisijfordtocloseisdkjki, 1, 1,) 1,)212/2/kkikikikidldordld zhang ,1993, twin-comparison 使用兩臨界值 臨界值是動態產生的： btst使用之測試片段 trec (text r

8、etrieval conference) 2001 video track video titlevideo titletotaltotalframeframetotaltotaltransitiontransitionfilenamefilenamehow water won the west 20310132bor19nasa 25th anniversary show segment 91230065anni009nasa 25th anniversary show segment 51137027anni005bor19total transitiondetectedfalsereca

9、llprecisionsfobsfob132132808078780.6060.606 0.5060.506b.yeob.yeo132132626296960.470.470.390.39zhangzhang13213260601121120.450.450.350.35anni009total transitiondetectedfalserecallprecisionsfobsfob6565353532320.5380.538 0.5520.552b.yeob.yeo6565222238380.3380.338 0.3670.367zhangzhang6565292968680.4460.446 0.2910.291anni005total transitiondetectedfalserecallprecisionsfobsfob2727191923230.7030.703 0.4520.452b.yeob.yeo2727161652520.5920.592 0.2350.235zhangzhang2727161641410.5920.592 0.2800.280nad57total transitiondetectedfalserecallprecisionsfobsfob2323141427270.6080.608 0.3410.