基于內(nèi)容的信息存取與MPEG-7

MPEG-7強(qiáng)調(diào)的是提供新的視聽內(nèi)容描述方案。因此，文本不是MPEG-7的描述目標(biāo)，但視聽內(nèi)容可以包含或引用文本。因此，MPEG-7將考慮現(xiàn)有的其他標(biāo)準(zhǔn)組織開發(fā)的文本處理方案，并適當(dāng)?shù)刂С诌@些標(biāo)準(zhǔn)。

四、 如何描述多媒體數(shù)據(jù)的內(nèi)容

1.描述原則

在MPEG-7中，考慮了全面的描述原則。

(1) 多重和分層描述

由于描述特征在相應(yīng)的應(yīng)用中具有相應(yīng)的含義，對于不同的用戶領(lǐng)域和不同的應(yīng)用，描述特征將是不同的。

這意味著相同的資料可以使用不同類型的特征進(jìn)行描述，以適應(yīng)具體的應(yīng)用領(lǐng)域。這里涉及到多重描述和分層描述的問題。在描述上，MPEG-7 允許不同的顆粒度，提供不同的鑒別級別。

多重描述就是在多媒體數(shù)據(jù)生成處理的各階段，支持對相同資料進(jìn)行多重描述的能力，并可以把描述附加到相同資料的多份拷貝上。

分層描述基于多媒體資料的抽象級別。分層機(jī)制可以允許在不同的抽象級別上描述多媒體內(nèi)容。抽象級別與特征抽取的方式有關(guān)，許多低級特征可以全自動地抽取，而高級特征則需要更多的人工交互。另外，還可以從不同的應(yīng)用需求角度來描述媒體資料，例如從子對象的角度、運(yùn)動分析的序列角度、視頻的情節(jié)結(jié)構(gòu)等角度描述多媒體內(nèi)容。

描述模式支持不同描述子的分層表示，第N層描述是 N-1層描述的增強(qiáng)、精煉或補(bǔ)充，以便查詢能有效地一層一層地處理，支持高效的查詢。

(2) 關(guān)系描述

用描述模式來表達(dá)描述子之間的各種關(guān)系，允許描述子在多個(gè)描述模式中使用。

MPEG-7支持描述子與不同時(shí)間范圍相關(guān)聯(lián)，可以是層次型的，即描述子與整個(gè)數(shù)據(jù)和部分時(shí)間子集關(guān)聯(lián);或順序型的，描述子與時(shí)間段順序關(guān)聯(lián)。

(3) 支持查詢方面

支持音頻、視覺或其他描述子在交叉模式下的查詢，如允許基于視覺描述的查詢?nèi)z索音頻數(shù)據(jù)或相反的過程。

描述模式支持描述子的優(yōu)先級，以便更有效地處理查詢，同時(shí)優(yōu)先級可以反映信任或可靠級。另外，還可以支持描述子作為句柄，直接引用數(shù)據(jù)，操縱多媒體資料。

2.多媒體特征類型

MPEG-7支持各種類型的多媒體特征，如:

N維時(shí)空特征 對于空間類型，從微觀上看，是對象的紋理和形狀，從宏觀上看，是對象的空間關(guān)系和表現(xiàn)空間;時(shí)間類型，指對象隨時(shí)間變化的軌跡，如音樂區(qū)段的持續(xù)時(shí)間等。

客觀特征 反映視聽數(shù)據(jù)本身具備的特性。如對象的顏色、形狀、紋理、音頻頻率等。

主觀特征 人對視聽數(shù)據(jù)的主觀感知。如對情緒(快樂、憤怒)和風(fēng)格的描述。

產(chǎn)品特征 如記錄作者、生產(chǎn)者、導(dǎo)演等信息。

合成信息 包括場景合成、編輯信息、用戶的喜好等。

概念 用于描述事件和活動等概念。

在許多情況下，利用文本信息作為描述是可取的。但必須注意到，有用的描述盡可能獨(dú)立于語言范疇，采用清楚的描述形式，如用作者、影片、地名的文本形式。

除了內(nèi)容的描述，還需要包含其他類型有關(guān)多媒體數(shù)據(jù)的信息：

形式 如編碼模式、數(shù)據(jù)大小。該信息幫助確定資料是否對用戶是“可讀”的。

存取資料的條件 可以包含版權(quán)、許可證和授權(quán)信息以及價(jià)格數(shù)據(jù)。

類別 可以包含父等級，用于歸入預(yù)定的類。

到其他相關(guān)資料的鏈 支持其他信息與數(shù)據(jù)的關(guān)聯(lián)。

上下文 資料記錄的場合，如“1996年奧運(yùn)會男子200 米障礙決賽” 中描述的時(shí)間和地點(diǎn)。

交互活動 支持交互活動工具，允許說明與描述相關(guān)的交互活動。如與廣告相關(guān)的遠(yuǎn)程購物中的交互。

MPEG-7數(shù)據(jù)可以物理上與相關(guān)的AV資料在一起或在相同的數(shù)據(jù)流或在相同的存儲系統(tǒng)中，但描述也可以放在全球的任何其他地方。當(dāng)內(nèi)容和它的描述不在一個(gè)地方時(shí)，需要鏈接AV資料和它們的MPEG-7描述的機(jī)制，這些鏈應(yīng)該是雙向的。

3. 視覺數(shù)據(jù)的描述

MPEG-7具體對視覺方面的描述子和描述模式有以下方面的要求：

(1) 特征類型

視覺描述允許以下特征(與查詢中使用的信息類型有關(guān))：顏色、視覺對象、紋理、輪廓(草圖)、形狀、靜止和動態(tài)圖像、體積、空間關(guān)系(相對于圖像和圖像序列中的對象空間和拓?fù)潢P(guān)系，這個(gè)關(guān)系是空間合成關(guān)系)、運(yùn)動(如視頻鏡頭中的運(yùn)動，用于利用時(shí)間合成信息來檢索等方面)、變形(如對象的彎曲)、視覺對象的源和它的特性(如源對象、源事件、源屬性、事件、事件屬性等)、模型(如MPEG-4 SNHC)。

(2) 利用描述進(jìn)行數(shù)據(jù)可視化

MPEG-7數(shù)據(jù)描述應(yīng)該容許被索引數(shù)據(jù)或多或少地粗略可視化。

(3) 可視數(shù)據(jù)的格式

支持以下可視數(shù)據(jù)格式：數(shù)字視頻和電影(例如MPEG- 1/2/4)、模擬視頻和電影、電子形式的靜態(tài)圖像(如JPEG)或紙上的圖像、圖形、3D模型以及與視頻關(guān)聯(lián)的編輯數(shù)據(jù)。

(4) 可視數(shù)據(jù)類型

可以是自然視頻、靜態(tài)圖像、圖形、動畫、三維模型、編輯信息。

4.聽覺數(shù)據(jù)的描述

同樣，對音頻數(shù)據(jù)的描述子和描述模式有以下要求：

(1) 特征類型

頻率輪廓線、音頻對象、音色、和聲、頻率特征、振幅包絡(luò)、時(shí)間結(jié)構(gòu)(包括節(jié)奏)、文本內(nèi)容(語音或歌詞)、聲波近似值(通過哼唱一段旋律或發(fā)出一種聲音效果來生成)、原型聲音(典型的用于示例查詢)、空間結(jié)構(gòu)(用于多通道聲源，如立體聲、5.1通道等，每個(gè)聲道有特定的映像)、聲源和它的特性(例如源對象、源時(shí)間、源屬性、事件、事件屬性和典型的關(guān)聯(lián)場景)、模型(如MPEG-4 SAOL)。

(2) 描述數(shù)據(jù)的聽覺化

類似視覺數(shù)據(jù)的要求。

(3) 聽覺數(shù)據(jù)格式

數(shù)字音頻(如MPEG-1音頻、CD)、模擬音頻(如錄音帶介質(zhì))、MIDI(包括一般的MIDI和Karaoke格式)、基于模型的音頻、產(chǎn)品數(shù)據(jù)。

(4) 聽覺數(shù)據(jù)類

聲音軌跡(自然音頻場景)、音樂、原子聲音效果(如掌聲)、語音、符號音頻表示(MIDI、SNHC音頻)、混音信息(包括效果)。