時(shí)間：2023-06-13 09:27:15
緒論：在尋找寫(xiě)作靈感嗎？愛(ài)發(fā)表網(wǎng)為您精選了8篇神經(jīng)網(wǎng)絡(luò)文本分類(lèi)，愿這些內(nèi)容能夠啟迪您的思維，激發(fā)您的創(chuàng)作熱情，歡迎您的閱讀與分享！
法，并介紹了在TMS320C540
>> 一種新的基于改進(jìn)的ADALINE神經(jīng)網(wǎng)絡(luò)的DTHF解碼器方案 AVS解碼器流水線(xiàn)控制機(jī)制的一種改進(jìn)設(shè)計(jì) 一種SoC架構(gòu)的AVS硬件解碼器設(shè)計(jì)方案 一種基于BP神經(jīng)網(wǎng)絡(luò)整定的PID控制器的算法改進(jìn) 一種基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法 基于一種改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法的教學(xué)質(zhì)量評(píng)價(jià)研究 一種基于ART2神經(jīng)網(wǎng)絡(luò)的算法改進(jìn) 一種基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)T/R組件溫度的方法 一種基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的高效模糊聚類(lèi)算法 一種基于模糊神經(jīng)網(wǎng)絡(luò)的印刷品字符識(shí)別器 一種基于遺傳神經(jīng)網(wǎng)絡(luò)文本分類(lèi)器的研究 一種新的基于灰色關(guān)聯(lián)分析的BP神經(jīng)網(wǎng)絡(luò)剪枝算法 一種新的基于神經(jīng)網(wǎng)絡(luò)的IRT項(xiàng)目參數(shù)估計(jì)模型 一種基于短語(yǔ)統(tǒng)計(jì)機(jī)器翻譯的高效柱搜索解碼器 一種基于SOM神經(jīng)網(wǎng)絡(luò)的污水處理工藝方案比選方法 一種基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)控機(jī)床伺服系統(tǒng)控制器 一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法在入侵檢測(cè)中的應(yīng)用 一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)車(chē)牌識(shí)別算法的研究 一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法分析 一種ART2神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法 常見(jiàn)問(wèn)題解答 當(dāng)前所在位置：中國(guó) > 科技 > 一種新的基于改進(jìn)的ADALINE神經(jīng)網(wǎng)絡(luò)的DTHF解碼器方案 一種新的基于改進(jìn)的ADALINE神經(jīng)網(wǎng)絡(luò)的DTHF解碼器方案 雜志之家、寫(xiě)作服務(wù)和雜志訂閱支持對(duì)公帳戶(hù)付款！安全又可靠！ document.write("作者：未知 如您是作者，請(qǐng)告知我們")
申明:本網(wǎng)站內(nèi)容僅用于學(xué)術(shù)交流，如有侵犯您的權(quán)益，請(qǐng)及時(shí)告知我們，本站將立即刪除有關(guān)內(nèi)容。 摘 要：本文提出了一種新的基于改進(jìn)的AD址INE神經(jīng)網(wǎng)絡(luò)DTMF信號(hào)檢測(cè)算
法，并介紹了在TMS320C5402和TLV320AICl0上采用此算法的DTMF
關(guān)鍵詞：極限學(xué)習(xí)機(jī)；稀疏自動(dòng)編碼器；集成學(xué)習(xí)；文本分類(lèi)
1 概述
隨著現(xiàn)代社會(huì)的發(fā)展，互聯(lián)網(wǎng)成為了人們獲取文本信息的重要手段。然而網(wǎng)上的信息雜亂無(wú)章，使得人們很難快速而準(zhǔn)確的獲得所需要的文本信息。因此如何有效的對(duì)文本進(jìn)行分類(lèi)，幫助用戶(hù)找到所需的信息成為當(dāng)代信息技術(shù)領(lǐng)域的一個(gè)重要課題[1]。
本文提出利用深度學(xué)習(xí)中的稀疏自動(dòng)編碼器自動(dòng)選取文本的特征，然后利用極限學(xué)習(xí)機(jī)作為基分類(lèi)器進(jìn)行文本的分類(lèi)，最后結(jié)合Adaboost集成學(xué)習(xí)方法將極限學(xué)習(xí)機(jī)作為基分類(lèi)器組合成一個(gè)效果更好的分類(lèi)器。實(shí)驗(yàn)結(jié)果表明，該算法在文本分類(lèi)方面，可以有效地提高文本分類(lèi)的準(zhǔn)確性。
2 相關(guān)理論基礎(chǔ)
2.1 稀疏自動(dòng)編碼器
稀疏自動(dòng)編碼器（sparse auto encoder，SAE）是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)構(gòu)造而成的網(wǎng)絡(luò)。稀疏自動(dòng)編碼器的訓(xùn)練過(guò)程分為兩個(gè)步：第一步是預(yù)訓(xùn)練，即先利用無(wú)監(jiān)督的方法將SAE的輸入層和隱含層全部初始化，然后再利用逐層貪心訓(xùn)練算法確定網(wǎng)絡(luò)的參數(shù)。第二步是微調(diào)，其思想是整個(gè)網(wǎng)絡(luò)視為一個(gè)整體，用有監(jiān)督學(xué)習(xí)的方法優(yōu)化整個(gè)網(wǎng)絡(luò)的參數(shù)，由于SAE訓(xùn)練過(guò)程的復(fù)雜性，具體過(guò)程可參考文獻(xiàn)[2]。
2.2 極限學(xué)習(xí)機(jī)
針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程時(shí)間漫長(zhǎng)，優(yōu)化困難等缺點(diǎn)，新加坡南洋理工大學(xué)的黃廣斌教授提出了一種全新的單隱層前饋神經(jīng)網(wǎng)絡(luò)-極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）[3]，該網(wǎng)絡(luò)能夠以極快的學(xué)習(xí)速度達(dá)到較好的泛化性能，從而解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度緩慢的限制。該網(wǎng)絡(luò)主要由輸入層，隱藏層和輸出層組成，其中隱藏層的神經(jīng)元通過(guò)激活函數(shù)把輸入的數(shù)據(jù)進(jìn)行變換，然后把變換后的數(shù)據(jù)輸出到輸出層，在網(wǎng)絡(luò)中輸入層和隱藏層的權(quán)值是隨機(jī)設(shè)置的，只有隱藏層到輸出層的權(quán)值需要求解，因此加快了網(wǎng)絡(luò)的學(xué)習(xí)速度。
2.3 Adaboost分類(lèi)器
由于單個(gè)分類(lèi)器通常無(wú)法滿(mǎn)足分類(lèi)任務(wù)的要求，因此需要通過(guò)集成學(xué)習(xí)來(lái)構(gòu)建并結(jié)合多個(gè)分類(lèi)器來(lái)完成分類(lèi)任務(wù)，這其中最著名的是在1995年由Freund等提出的Adaboost[4]算法。該算法的核心思想是先從初始訓(xùn)練集訓(xùn)練出一個(gè)基學(xué)習(xí)器，再根據(jù)基學(xué)習(xí)器的變現(xiàn)對(duì)訓(xùn)練樣本分布進(jìn)行調(diào)整，使得先前基學(xué)習(xí)器做錯(cuò)的訓(xùn)練樣本在后續(xù)收到更多關(guān)注，然后基于調(diào)整后的樣本分布來(lái)訓(xùn)練下一個(gè)基學(xué)習(xí)器；如此重復(fù)進(jìn)行，直到基學(xué)習(xí)器數(shù)目達(dá)到指定的值，最終將這幾個(gè)基學(xué)習(xí)器進(jìn)行加權(quán)結(jié)合。Adaboost是一種迭代算法，具體訓(xùn)練過(guò)程可參考南京大學(xué)周志華教授編寫(xiě)的機(jī)器學(xué)習(xí)課本中關(guān)于Adaboost算法的章節(jié)。
3 SEA文本分類(lèi)算法
在本文中，結(jié)合稀疏編碼器，極限學(xué)習(xí)機(jī)與Adaboost這三種機(jī)器學(xué)習(xí)方法提出SEA文本分類(lèi)算法，該算法的工作流程如圖1所示。
該分類(lèi)算法的第一步為輸入，輸入的是經(jīng)過(guò)了向量化表示的文本，但沒(méi)有經(jīng)過(guò)任何的手工特征提取。第二步是利用SAE算法對(duì)數(shù)據(jù)的重建能力自動(dòng)選擇文本的特征，用SAE算法選擇的文本特征可以有效地復(fù)原原始文本信息。第三步是利用ELM分類(lèi)器作為該算法的基分類(lèi)器，ELM作為第四步中的基分類(lèi)器參與訓(xùn)練，最后一步是輸出該文本屬于哪一類(lèi)。
4 實(shí)驗(yàn)結(jié)果與分析
4.1 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)
本文選用的分類(lèi)文本數(shù)據(jù)來(lái)源于新聞數(shù)據(jù)集[5]，該數(shù)據(jù)集復(fù)旦大學(xué)計(jì)算機(jī)信息與技術(shù)系李榮陸提供，數(shù)據(jù)集標(biāo)注比較規(guī)范，規(guī)模適中，適合于進(jìn)行文本分類(lèi)的仿真實(shí)驗(yàn)。
在文本分類(lèi)中常用的評(píng)價(jià)指標(biāo)有準(zhǔn)確率P（Precision）和召回率R（Recall），公式如下：
P=M/（M+N），R=M/（M+T）
其中，M為正確分類(lèi)到該類(lèi)的文本數(shù)，N為錯(cuò)分到該類(lèi)中的文本數(shù)，T為屬于該類(lèi)確誤分為別類(lèi)的文本數(shù)。
4.2 實(shí)驗(yàn)結(jié)果
為驗(yàn)證本文提出的SEA文本分類(lèi)模型，需要將文本數(shù)據(jù)集進(jìn)行預(yù)處理，對(duì)于SEA模型來(lái)說(shuō)，就是進(jìn)行文本分詞。本實(shí)驗(yàn)文本分詞采用的是NLPIR漢語(yǔ)分詞系統(tǒng)，其主要功能包括中文分詞，詞性標(biāo)注，命名實(shí)體識(shí)別，用戶(hù)字典功能等，是國(guó)內(nèi)比較成熟，用戶(hù)較多的中文文本分詞系統(tǒng)。經(jīng)過(guò)文本預(yù)處理后，按照本文提出的SEA文本分模型進(jìn)行實(shí)驗(yàn)，并和幾種經(jīng)典的分類(lèi)算法做對(duì)比。在本實(shí)驗(yàn)中Adaboost集成學(xué)習(xí)算法中基分類(lèi)器的個(gè)數(shù)設(shè)置為10個(gè)，基分類(lèi)器ELM中隱藏層的個(gè)數(shù)設(shè)置為輸入層的0.75倍，稀疏自動(dòng)編碼器中隱藏層數(shù)設(shè)置為4，實(shí)驗(yàn)結(jié)果如表1和表2所示。
從表1和表2可以看出隨著文本數(shù)量的增加，SEA模型的分類(lèi)準(zhǔn)確率和召回率逐漸提高，這是由于在訓(xùn)練數(shù)據(jù)集較小時(shí)，稀疏編碼器對(duì)自動(dòng)提取的文本特征變現(xiàn)地不是很理想，容易造成SEA分類(lèi)模型產(chǎn)生過(guò)擬合現(xiàn)象，從而影響分類(lèi)準(zhǔn)確率和召回率。SVM算法在訓(xùn)練數(shù)據(jù)集比較小時(shí)，變現(xiàn)良好，這是由于在訓(xùn)練數(shù)據(jù)較少時(shí)，可以較容易地找到分類(lèi)超平面，在數(shù)據(jù)量變大時(shí)，由于計(jì)算量的增大，使得計(jì)算量變大，導(dǎo)致計(jì)算得到的超平面效果不好，使得分類(lèi)準(zhǔn)確率和召回率不斷下降。BP和ELM算法都隨著訓(xùn)練數(shù)據(jù)的增大，其分類(lèi)準(zhǔn)確率和召回率在不斷變大，這是由于隨著訓(xùn)練數(shù)據(jù)的增大，BP和ELM可以更有效的提取輸入數(shù)據(jù)的特征，但ELM算法相比BP算法變現(xiàn)得更好，這是由于BP算法可能無(wú)法收斂到最優(yōu)值，導(dǎo)致分類(lèi)算法的準(zhǔn)確率下降。
綜上所述，本文提出的SEA文本分類(lèi)模型可以有效的提高文本分類(lèi)的準(zhǔn)確率和召回率，尤其是隨著訓(xùn)練數(shù)據(jù)集的不斷增大。
5 結(jié)束語(yǔ)
文本分類(lèi)在文本處理中占據(jù)著重要的地位，其分類(lèi)的好壞直接影響著后續(xù)的文本處理，如何有效地對(duì)文本分類(lèi)是一個(gè)重要的研究課題。本文結(jié)合稀疏自動(dòng)編碼器，極限學(xué)習(xí)機(jī)與Adaboost集成學(xué)習(xí)方法提出SEA文本分類(lèi)方法，實(shí)驗(yàn)結(jié)果表明該分類(lèi)方法可以有效將文本分類(lèi)過(guò)程中的特征提取和分類(lèi)器結(jié)合在一起，從而提高了分類(lèi)結(jié)果的準(zhǔn)確性。
參考文獻(xiàn)
[1]秦勝君，盧志平.稀疏自動(dòng)編碼器在文本分類(lèi)中的應(yīng)用研究[J].科學(xué)技術(shù)與工程，2013，13（31）：9422-9426.
[2]Baldi P， Guyon G， Dror V， et al. Autoencoders， Unsupervised Learning， and Deep Architectures Editor： I[J].Journal of Machine Learning Research，2012.
[3]Huang G B， Zhu Q Y， Siew C K. Extreme learning machine： Theory and applications[J]. Neurocomputing， 2006，70（1-3）：489-501.
[4]Freund， Yoav， Schapire， Robert E. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer & System Sciences， 1999，55（1）：119-139.
關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；語(yǔ)言模型；分析
1 卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型
CNN語(yǔ)言模型基本結(jié)構(gòu)包括輸入層、卷積層、池化層及后續(xù)的分類(lèi)層。輸入層是表示語(yǔ)言的矩陣，該矩陣可以是通過(guò)Google word2vec或GloVe預(yù)訓(xùn)練得到的詞嵌入表示，也可以是從原始數(shù)據(jù)重新訓(xùn)練的語(yǔ)言的向量表示。輸入層之后是通過(guò)線(xiàn)性濾波器對(duì)輸入矩陣進(jìn)行卷積操作的卷積層。在NLP問(wèn)題中，輸入矩陣總是帶有固定順序的結(jié)構(gòu)，因?yàn)榫仃嚨拿恳恍卸急硎倦x散的符號(hào)，例如單詞或者詞組等。因此，使用等寬的濾波器是非常合理的設(shè)置。在這種設(shè)置下，僅需要考慮濾波器的高度既可以實(shí)現(xiàn)不同尺寸的濾波器做卷積操作。由此可知，在處理NLP問(wèn)題時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的濾波器尺寸一般都是指濾波器的高度。
然后，將卷積層輸出的特征映射輸入池化層，通過(guò)池化函數(shù)為特征映射進(jìn)行降維并且減少了待估計(jì)參數(shù)規(guī)模。一般的，CNN池化操作采用1-max池化函數(shù)。該函數(shù)能夠?qū)⑤斎氲奶卣饔成浣y(tǒng)一生成維度相同的新映射。通過(guò)池化操作，可以將卷積層生成的特征連接成更抽象的高級(jí)特征，所得到的高級(jí)特征尺寸與輸入的句子不再存在直接關(guān)系。
最后，將得到的高級(jí)特征輸入softmax分類(lèi)層進(jìn)行分類(lèi)操作。在softmax層，可以選擇應(yīng)用dropout策略作為正則化手段，該方法是隨機(jī)地將向量中的一些值設(shè)置為0。另外還可以選擇增加l2范數(shù)約束，l2范數(shù)約束是指當(dāng)它超過(guò)該值時(shí)，將向量的l2范數(shù)縮放到指定閾值。在訓(xùn)練期間，要最小化的目標(biāo)是分類(lèi)的交叉熵?fù)p失，要估計(jì)的參數(shù)包括濾波器的權(quán)重向量，激活函數(shù)中的偏置項(xiàng)以及softmax函數(shù)的權(quán)重向量。
2 卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型應(yīng)用分析
CNN語(yǔ)言模型已經(jīng)廣泛應(yīng)用于諸如文本分類(lèi)，關(guān)系挖掘以及個(gè)性化推薦等NLP任務(wù)，下面將對(duì)這些應(yīng)用進(jìn)行具體的介紹與分析。
2.1 CNN在文本分類(lèi)中的應(yīng)用分析
kim提出了利用CNN進(jìn)行句子分類(lèi)的方法。該方法涉及了較小規(guī)模的參數(shù)，并采用靜態(tài)通道的CNN實(shí)現(xiàn)了效果很優(yōu)異的句子分類(lèi)方法。通過(guò)對(duì)輸入向量的調(diào)整，進(jìn)一步提高了性能實(shí)現(xiàn)了包括情感極性分析以及話(huà)題分類(lèi)的任務(wù)。在其基礎(chǔ)上為輸入的詞嵌入設(shè)計(jì)了兩種通道，一種是靜態(tài)通道，另一種是動(dòng)態(tài)通道。在卷積層每一個(gè)濾波器都通過(guò)靜態(tài)與動(dòng)態(tài)兩種通道進(jìn)行計(jì)算，然后將計(jì)算結(jié)果進(jìn)行拼接。在池化層采用dropout正則化策略，并對(duì)權(quán)值向量進(jìn)行l(wèi)2約束。最后將該算法應(yīng)用于MR、SST-1與SST-2、Subj、TREC、CR以及MPQA等數(shù)據(jù)集。MR數(shù)據(jù)集為電影評(píng)論數(shù)據(jù)集，內(nèi)容為一句話(huà)的電影評(píng)論，其分類(lèi)包括積極情感極性與消極情感極性?xún)深?lèi)。SST-1與SST-2數(shù)據(jù)集為斯坦福情感樹(shù)庫(kù)是MR數(shù)據(jù)集的擴(kuò)展，但該數(shù)據(jù)集已經(jīng)劃分好了訓(xùn)練集、驗(yàn)證集及測(cè)試集并給出了細(xì)粒度的標(biāo)記，標(biāo)記包括非常積極、積極、中性、消極、非常消極等情感極性。Subj數(shù)據(jù)集為主觀性數(shù)據(jù)集，其分類(lèi)任務(wù)是將句子分為主觀句與客觀句兩類(lèi)。TREC數(shù)據(jù)集為問(wèn)題數(shù)據(jù)集，其分類(lèi)任務(wù)是將所有問(wèn)題分為六類(lèi)，例如關(guān)于數(shù)字、人物或位置等信息的問(wèn)題。CR數(shù)據(jù)集為評(píng)論數(shù)據(jù)集，包括客戶(hù)對(duì)MP3、照相機(jī)等數(shù)碼產(chǎn)品的評(píng)論，其分類(lèi)任務(wù)是將其分為積極評(píng)價(jià)與消極評(píng)價(jià)兩類(lèi)。MPQA數(shù)據(jù)集是意見(jiàn)極性檢測(cè)任務(wù)數(shù)據(jù)集。通過(guò)實(shí)驗(yàn)證明，該方法在這幾個(gè)典型數(shù)據(jù)集上都能取得非常優(yōu)異的效果。
2.2 CNN在關(guān)系挖掘中的應(yīng)用分析
Shen等人提出了一種新的潛在語(yǔ)義模型，以詞序列作為輸入，利用卷積-池化結(jié)構(gòu)為搜索查詢(xún)和Web文檔學(xué)習(xí)低維語(yǔ)義向量表示。為了在網(wǎng)絡(luò)查詢(xún)或網(wǎng)絡(luò)文本中捕捉上下文結(jié)構(gòu)，通過(guò)輸入單詞序列上下文時(shí)間窗口中的每個(gè)單詞來(lái)獲取詞匯級(jí)的n-gram語(yǔ)法特征，將這些特征聚合成句子級(jí)特征向量。最后，應(yīng)用非線(xiàn)性變換來(lái)提取高級(jí)語(yǔ)義信息以生成用于全文字符串的連續(xù)向量表示。該模型的不同之處在于，輸入層與卷積層之間加入了word-n-gram層與letter-trigram層，它們能夠?qū)⑤斎氲脑~序列轉(zhuǎn)變?yōu)閘etter-trigram表示向量。在卷積層通過(guò)上下文特征窗口發(fā)現(xiàn)相鄰單詞的位置特征，并變現(xiàn)為n-gram形式。然后通過(guò)max池化將word-n-gram特征合并為句子級(jí)的高級(jí)特征。在池化層之后增加了語(yǔ)義層來(lái)提取更高級(jí)的語(yǔ)義表示向量。
2.3 CNN在個(gè)性化推薦中的應(yīng)用分析
Weston等人提出了一種能夠利用標(biāo)簽（hashtag）有監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)帖子短文本特征表示的卷e嵌入模型（Convolutional Embedding Model）。該方法利用提出的CNN模型在55億詞的大數(shù)據(jù)文本上通過(guò)預(yù)標(biāo)注的100，000標(biāo)簽進(jìn)行訓(xùn)練。該方法除了標(biāo)簽預(yù)測(cè)任務(wù)本身能取得好的效果外，學(xué)習(xí)到的特征對(duì)于其它的文本表示任務(wù)也能起到非常有效的作用。該模型與其它的詞嵌入模型類(lèi)似，輸入層為表示文本的矩陣，但是，在用查找表表示輸入文本的同時(shí)將標(biāo)簽也使用查找表來(lái)表示。對(duì)于給定的文檔利用10萬(wàn)條最頻繁出現(xiàn)的標(biāo)簽通過(guò)評(píng)分函數(shù)對(duì)任何給定的主題標(biāo)簽進(jìn)行排序。
其中，econv（w）表示CNN的輸入文檔，elt（t）是候選標(biāo)簽t的詞嵌入表示。因此，通過(guò)對(duì)分?jǐn)?shù)f（w，t）進(jìn)行排序可以獲取所有候選主題標(biāo)簽中排序第一的話(huà)題進(jìn)行推薦。實(shí)驗(yàn)數(shù)據(jù)集采用了兩個(gè)大規(guī)模語(yǔ)料集，均來(lái)自流行的社交網(wǎng)絡(luò)文本并帶有標(biāo)簽。第一個(gè)數(shù)據(jù)集稱(chēng)作people數(shù)據(jù)集，包括搜集自社交網(wǎng)絡(luò)的2億1000萬(wàn)條文本，共含有55億單詞。第二個(gè)數(shù)據(jù)集被稱(chēng)作pages，包括3530萬(wàn)條社交網(wǎng)絡(luò)文本，共含有16億單詞，內(nèi)容包括企業(yè)、名人、品牌或產(chǎn)品。
3 結(jié)束語(yǔ)
卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)言模型已經(jīng)取得了非常大的發(fā)展，對(duì)于自然語(yǔ)言處理中的各項(xiàng)任務(wù)均取得了優(yōu)異的結(jié)果。本文通過(guò)對(duì)幾項(xiàng)典型工作的分析，探討了不同卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)在不同任務(wù)中的表現(xiàn)。通過(guò)綜合分析可以得出以下結(jié)論。首先，CNN的輸入采用原始數(shù)據(jù)訓(xùn)練的向量表示一般效果會(huì)優(yōu)于預(yù)訓(xùn)練的詞嵌入表示；其次，在卷積層濾波器的尺寸一般采用寬度與輸入矩陣寬度相等的設(shè)置；最后，為了優(yōu)化結(jié)果可以采用dropout正則化處理。
關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò)；蔬菜；病害；診斷
中圖分類(lèi)號(hào)：TP182；S435 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：0439-8114（2013）17-4224-04
Research on vegetables Disease Diagnosis Model Based on Fuzzy Neural Network
WEI Qing-feng，LUO Chang-shou，CAO Cheng-zhong，GUO Qiang
（Institute of Agriculture Science and Technology Information， Beijing Academy of Agriculture and Forestry Sciences， Beijing， 100097）
Abstract： To explore the effective method for the diagnosis of vegetables diseases， through reasonable division of symptoms， using input vector construction method which contained characteristics of symptoms and membership grade， a vegetables disease diagnosis of fuzzy neural network model was constructed. The experimental results showed that the input vector construction method had effectively expressed the disease diagnosis rule， the model had strong fault tolerant ability， and the average diagnostic accuracy was 85.5%.
Key words： fuzzy neural network； vegetable； disease； diagnosis
收稿日期：2013-01-30
基金項(xiàng)目：國(guó)家現(xiàn)代農(nóng)業(yè)科技城綜合信息“三農(nóng)”服務(wù)平臺(tái)建設(shè)項(xiàng)目（PT01）；北京市自然科學(xué)基金項(xiàng)目（9093019）；北京農(nóng)業(yè)科學(xué)院信息所
創(chuàng)新基金項(xiàng)目（SJJ201203）
作者簡(jiǎn)介：魏清鳳（1983-），女，湖北武漢人，助理研究員，碩士，主要從事農(nóng)業(yè)信息技術(shù)的研究工作，（電話(huà)）13439026360（電子信箱）
；通訊作者，羅長(zhǎng)壽，副研究員，（電話(huà)）010-51503387（電子信箱）。
病害是影響蔬菜優(yōu)質(zhì)生產(chǎn)的重要制約因素之一。我國(guó)農(nóng)村基層還相對(duì)缺乏有經(jīng)驗(yàn)的病害診斷專(zhuān)家，對(duì)蔬菜病害不能正確判斷，不但延誤了防治最佳時(shí)機(jī)，還嚴(yán)重降低了蔬菜品質(zhì)。
當(dāng)前農(nóng)業(yè)病害診斷技術(shù)方法主要有圖像分析診斷[1-4]、專(zhuān)家系統(tǒng)診斷[5-7]以及人工神經(jīng)網(wǎng)絡(luò)診斷[8]等?；趫D像分析的病害診斷方法其圖像的獲取受環(huán)境光照的影響較大，且需要專(zhuān)業(yè)人員在室內(nèi)進(jìn)行數(shù)據(jù)分析和識(shí)別，時(shí)效性差，無(wú)法實(shí)時(shí)滿(mǎn)足具體生產(chǎn)實(shí)踐的要求。基于專(zhuān)家系統(tǒng)的診斷方法，采用 IF-THEN產(chǎn)生式推理，存在診斷知識(shí)獲取有瓶頸、推理規(guī)則更新難、容錯(cuò)能力差、串行搜索運(yùn)行效率低等不足。近年基于人工神經(jīng)網(wǎng)絡(luò)的方法無(wú)需建立推理規(guī)則，具有自學(xué)習(xí)及并行處理能力，較引人注目，但存在對(duì)病害癥狀的典型性、非典型性模糊特點(diǎn)無(wú)法區(qū)分度量，樣本診斷規(guī)律學(xué)習(xí)不充分等問(wèn)題。模糊神經(jīng)網(wǎng)絡(luò)可以將不確定的癥狀信息通過(guò)模糊隸屬集來(lái)表示，能解決診斷系統(tǒng)中的不確定性知識(shí)表示、并行推理等問(wèn)題，對(duì)具有模糊性復(fù)雜性的蔬菜病害診斷非常適用。此文利用模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，在對(duì)病害特征模糊量化方法研究的基礎(chǔ)上，建立能夠?qū)嶋H應(yīng)用的蔬菜病害模糊神經(jīng)網(wǎng)絡(luò)診斷模型，為蔬菜病蟲(chóng)害防治提供依據(jù)。
1 蔬菜病害診斷知識(shí)整理
一般研究中，將植株的發(fā)病部位劃分為根、莖、葉、花、果5個(gè)部分[9]。由于部分蔬菜病害（如猝倒?。┰诿缙诩幢憩F(xiàn)出典型癥狀，因此，為提高診斷的全面性和準(zhǔn)確性，將蔬菜植株發(fā)病表現(xiàn)最終劃分為根、莖蔓、葉、花、果、苗6個(gè)部分。表示如下：
S={Si | i=1，2，3，4，5，6}
式中，Si表示根、莖蔓、葉、花、果、苗6個(gè)部分中的1個(gè)。
以“北京農(nóng)業(yè)數(shù)字資源中心”中蔬菜病害數(shù)據(jù)庫(kù)的知識(shí)為基礎(chǔ)，結(jié)合文獻(xiàn)資料、植保專(zhuān)家咨詢(xún)及案例分析，對(duì)病害特征知識(shí)根據(jù)根、莖蔓、葉、花、果、苗6個(gè)部分進(jìn)行分別提取，建立二維知識(shí)表。
2 病害癥狀重要性劃分及隸屬函數(shù)
不同癥狀對(duì)病害診斷的貢獻(xiàn)程度不同，一些特征明顯的癥狀表現(xiàn)往往是確定某種病害的重要依據(jù)。通常用模糊的自然語(yǔ)言來(lái)描述癥狀對(duì)于病害識(shí)別的重要程度，這里將其劃分為典型癥狀、主要癥狀、一般癥狀3個(gè)層次（表1）。
將癥狀重要性隸屬函數(shù)定義為模糊語(yǔ)言值，根據(jù)專(zhuān)家經(jīng)驗(yàn)法，確定不同層次的隸屬度如下：
L（Si）=1.0 Si∈a0.7 Si∈b0.4 Si∈c i={1，2，3，4，5，6}
L為Si的隸屬度，a、b、c為癥狀類(lèi)型。
3 基于術(shù)語(yǔ)統(tǒng)一描述的病害癥狀向量構(gòu)建
一般方法中，直接利用診斷資料的原始文本，以癥狀表現(xiàn)部位為單元賦權(quán)值（或隸屬度）作為樣本分量構(gòu)建輸入向量[10]，不僅存在向量攜帶信息量少、向量模長(zhǎng)短不一、診斷規(guī)律體現(xiàn)不明顯等問(wèn)題，還容易產(chǎn)生相同的樣本向量對(duì)應(yīng)不同病害種類(lèi)的錯(cuò)誤情況，不能較好地對(duì)病害原因進(jìn)行區(qū)分，這也勢(shì)必影響到診斷的準(zhǔn)確性。對(duì)此，本方法將原始資料的自然語(yǔ)言樣本映射到共同語(yǔ)義空間中，統(tǒng)一利用病狀病癥的相關(guān)術(shù)語(yǔ)對(duì)癥狀資料的原始文本進(jìn)行描述，并根據(jù)術(shù)語(yǔ)的定義值以及癥狀重要性隸屬度來(lái)確定語(yǔ)義樣本的樣本值，從而構(gòu)建輸入向量，能有效豐富向量信息承載量，充分表達(dá)診斷規(guī)律，具體如下。
3.1 自然語(yǔ)言癥狀的術(shù)語(yǔ)映射
本環(huán)節(jié)即是對(duì)原始自然語(yǔ)言病害癥狀資料在共同語(yǔ)義空間中利用相關(guān)術(shù)語(yǔ)進(jìn)行統(tǒng)一描述。根據(jù)植物學(xué)知識(shí)，感病植株的外觀病態(tài)表現(xiàn)可分為病狀和病征兩大類(lèi)。共同語(yǔ)義空間的病害癥狀術(shù)語(yǔ)如表2所示。
根據(jù)病害癥狀表，癥狀的自然語(yǔ)言描述轉(zhuǎn)化為術(shù)語(yǔ)描述。如辣椒枯萎病莖蔓部自然語(yǔ)言癥狀={水浸狀腐爛，后全株枯萎，病部白色霉?fàn)钗飣，經(jīng)語(yǔ)義空間映射后，S2={濕腐，枯死，霉?fàn)钗飣，其樣本定義值D（S2）為{0，0，2，2，0，1}。
3.2 輸入向量的構(gòu)建
綜合樣本定義值和癥狀重要性隸屬度，形成具有癥狀特征和癥狀重要性信息的向量。為了降低輸入向量維度，對(duì)矩陣中同列均為0值的列進(jìn)行簡(jiǎn)約，形成最終輸入向量矩陣。輸入向量表示為：
Xi={D（S1）×L（S1），D（S2）×L（S2），……，D（Si）×L（Si）}
其中，D（Si）為Si癥狀的樣本定義值，L（Si）為Si癥狀的重要性隸屬度。
4 蔬菜病害診斷模型建立
蔬菜病害診斷神經(jīng)網(wǎng)絡(luò)模型采用模糊BP神經(jīng)網(wǎng)絡(luò)構(gòu)建（圖1）。模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)按串聯(lián)方式連接，用模糊系統(tǒng)對(duì)原始知識(shí)進(jìn)行前處理，用神經(jīng)網(wǎng)絡(luò)進(jìn)行病害診斷。
第一層為輸入層，其每一個(gè)節(jié)點(diǎn)代表一個(gè)輸入變量，它將樣本定義值傳遞到模糊層。
第二層為模糊層，基于癥狀樣本定義值和癥狀隸屬度構(gòu)建輸入向量。
第三層為隱含層，實(shí)現(xiàn)輸入變量模糊值到輸出變量模糊值映射。隱含層節(jié)點(diǎn)數(shù)確定方法如下：
l=■+a 0
式中，l為隱含層神經(jīng)元個(gè)數(shù)，n為輸入層神經(jīng)元個(gè)數(shù)，m為輸出層神經(jīng)元個(gè)數(shù)，a為取值0～10之間的常數(shù)。
第四層為輸出層，輸出向量采用“n中取1”的二進(jìn)制編碼法。其中n為編碼長(zhǎng)度，即病害總數(shù)。每組編碼中僅有1位為1，其余n-1位為0，表示某一種病害。診斷過(guò)程中，最大向元值對(duì)應(yīng)著可疑病害。該最大值若接近0， 則表示發(fā)生相對(duì)應(yīng)病害的可能性很?。蝗艚咏?，則表明發(fā)生相對(duì)應(yīng)病害的可能性極大。
5 診斷測(cè)試分析
以番茄白絹病、番茄猝倒病、番茄根霉果腐病、番茄青枯病等19種病害為例，經(jīng)上文方法構(gòu)建20維輸入向量（部分輸入如表3），19維輸出向量（部分輸出向量如表4）。設(shè)隱層單元15個(gè)，目標(biāo)誤差0.000 1，循環(huán)1 000次，采用Levenberg-Marquardt 算法進(jìn)行訓(xùn)練，并開(kāi)發(fā)系統(tǒng)界面，對(duì)訓(xùn)練好的模型從診斷容錯(cuò)性和診斷準(zhǔn)確性?xún)蓚€(gè)角度進(jìn)行分析。
5.1 模型診斷容錯(cuò)性測(cè)試
在實(shí)際應(yīng)用過(guò)程中，用戶(hù)提供的病害癥狀無(wú)法與樣本完全一致，病害典型癥狀被選的可能性最大，但部分主要癥狀和一般癥狀存在A-誤選（提供癥狀與樣本癥狀不一致）、B-多選（提供癥狀多于樣本癥狀）、C-少選（提供癥狀少于樣本癥狀）、A+B-多選及誤選、A+C-少選及誤選的情況，據(jù)此選取用戶(hù)5組具有代表性測(cè)試數(shù)據(jù)（表5），以番茄潰瘍病為例來(lái)檢驗(yàn)?zāi)Ｐ偷娜蒎e(cuò)性，輸出結(jié)果如表6。
樣本輸出向量中第17位為向元最大值，則表明該輸出結(jié)果為番茄潰瘍病。在5組具有代表性的用戶(hù)測(cè)試數(shù)據(jù)中，輸出向量的向元最大值始終在第17位，說(shuō)明診斷模型具有較強(qiáng)的容錯(cuò)能力。同時(shí)，當(dāng)用戶(hù)“誤選”、“多選”，以及“多選+誤選”時(shí)，輸出向量第17位向元值分別為0.999 9、0.987 6、0.921 6，接近樣本模擬值1；當(dāng)用戶(hù)“少選”以及“少選+誤選”時(shí)，輸出向量第17位向元值分別為0.778 6、0.594 6，較之其他組測(cè)試數(shù)據(jù)，較遠(yuǎn)離樣本模擬值1，說(shuō)明用戶(hù)提供的病害癥狀信息越多，進(jìn)行正確診斷的可能性越大。
5.2 模型診斷準(zhǔn)確性測(cè)試
將本研究與一般方法中直接利用癥狀權(quán)值作為輸入向量的一般神經(jīng)網(wǎng)絡(luò)診斷模型進(jìn)行準(zhǔn)確性比較。測(cè)試數(shù)據(jù)包括兩類(lèi)，即實(shí)驗(yàn)室根據(jù)田間數(shù)據(jù)資料生成的數(shù)據(jù)，以及涉農(nóng)用戶(hù)根據(jù)實(shí)際生產(chǎn)情況進(jìn)行癥狀選擇操作生成的數(shù)據(jù)。經(jīng)植保專(zhuān)家驗(yàn)證，獲得測(cè)試結(jié)果平均值見(jiàn)表7。
統(tǒng)計(jì)結(jié)果顯示，室內(nèi)室外測(cè)試中，基于模糊神經(jīng)網(wǎng)絡(luò)的診斷方法較一般神經(jīng)網(wǎng)絡(luò)在正確率方面均有所提高，說(shuō)明本研究的思路方案是有效的。其中，實(shí)驗(yàn)室所利用的田間數(shù)據(jù)資料測(cè)試結(jié)果好于農(nóng)戶(hù)實(shí)際應(yīng)用。其原因在于，實(shí)驗(yàn)室所使用的田間數(shù)據(jù)資料較接近文獻(xiàn)資料中的診斷知識(shí)，且基于模糊神經(jīng)網(wǎng)絡(luò)的蔬菜病害模型具有較好的容錯(cuò)性，因此診斷正確率較高。外部基層農(nóng)戶(hù)則完全按照自己在生產(chǎn)中見(jiàn)到的癥狀表現(xiàn)進(jìn)行選擇操作而形成測(cè)試數(shù)據(jù)，更為真實(shí)地反映了模型的實(shí)際應(yīng)用情況。由于實(shí)際生產(chǎn)中存在多個(gè)病害夾雜同時(shí)表現(xiàn)的復(fù)雜情況，這一定程度上影響了診斷正確率，因此也說(shuō)明在該方面努力能進(jìn)一步提高模型的實(shí)用性。
6 小結(jié)
利用基于術(shù)語(yǔ)統(tǒng)一描述的病害癥狀量化方法，能構(gòu)建既能描述癥狀特征又能反映癥狀重要性的輸入向量，更能有效地體現(xiàn)病害診斷規(guī)律。經(jīng)過(guò)誤選、多選、少選、多選+誤選、少選+誤選的5組測(cè)試中，診斷結(jié)果仍然能指向正確的病害，模型容錯(cuò)推理能力較強(qiáng)。將模糊數(shù)學(xué)方法引入神經(jīng)網(wǎng)絡(luò)中，結(jié)合基于術(shù)語(yǔ)統(tǒng)一描述的病害癥狀量化方法，建立基于模糊神經(jīng)網(wǎng)絡(luò)的蔬菜病害診斷模型，較之一般基于神經(jīng)網(wǎng)絡(luò)的病害模型，診斷準(zhǔn)確性得到了有效提高。
由于農(nóng)業(yè)生產(chǎn)中病害作用的復(fù)雜性，今后將在多個(gè)病害同時(shí)作用的診斷方面進(jìn)一步努力探索，以提高模型的生產(chǎn)實(shí)用性。同時(shí)，隨著移動(dòng)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展以及移動(dòng)設(shè)備終端的日益普及，將進(jìn)行蔬菜病害診斷系統(tǒng)的研究，以期為蔬菜病蟲(chóng)害防治咨詢(xún)提供更加便捷、靈活、有效的服務(wù)。
參考文獻(xiàn)：
[1] LAI J C， MING B， LI S K， et al. An image-based diagnostic expert system for corn diseases[J]. Agricultural Sciences in China，2010（8）：1221-1229.
[2] 李 旺，唐少先.基于圖像處理的農(nóng)作物病害識(shí)別研究現(xiàn)狀[J].湖南農(nóng)機(jī)（學(xué)術(shù)版），2012，39（1）：176-178.
[3] 劉連忠，張 武，朱 誠(chéng). 基于改進(jìn)顏色特征的小麥病害圖像識(shí)別技術(shù)研究[J]. 安徽農(nóng)業(yè)科學(xué)，2010，40（26）：12877-12879.
[4] 鄒修國(guó). 基于計(jì)算機(jī)視覺(jué)的農(nóng)作物病蟲(chóng)害識(shí)別研究現(xiàn)狀[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20（6）：238-242.
[5] MANSINGH G， REICHGELT H， BRYSON K O. CPEST： An expert system for the management of pests and diseases in the Jamaican coffee industry[J]. Expert Systems with Applications，2007，32（1）：184-192.
[6] 林 瀟，李紹穩(wěn)，張友華，等.基于本體的水稻病害診斷專(zhuān)家系統(tǒng)研究[J].數(shù)字技術(shù)與應(yīng)用，2010（11）：109-111.
[7] GHOSH I， SAMANTA R K. Teapest：An expert system for insect pest management in tea[J].Applied Engineering in Agriculture，2003，19（5）：619-625.
[8] 王軍英.基于BP神經(jīng)網(wǎng)絡(luò)的葡萄病害診斷方法研究[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2010（6）：21-23，36.
自動(dòng)鍛壓機(jī)封閉高度調(diào)整改進(jìn)設(shè)計(jì)
基于Matlab的三相電壓型PWM整流器的仿真研究
基于多傳感器數(shù)據(jù)融合的火災(zāi)報(bào)警系統(tǒng)設(shè)計(jì)
模擬氫冷汽輪機(jī)轉(zhuǎn)子節(jié)能改進(jìn)
基于VB的大學(xué)物理實(shí)驗(yàn)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
用激光光源測(cè)量凸透鏡焦距實(shí)驗(yàn)探究
項(xiàng)目反應(yīng)理論在計(jì)算機(jī)自適應(yīng)題庫(kù)建設(shè)中的應(yīng)用
基于遺傳算法的排課設(shè)計(jì)
AutoCAD的三維造型與工程圖轉(zhuǎn)換技術(shù)研究
論“云計(jì)算輔助教學(xué)”CCAI及教學(xué)資源組織
基于SOA的數(shù)字化校園應(yīng)用模式的研究
模板法制備納米復(fù)合光催化材料HPA/TiO_2
YK73400L數(shù)控成形磨齒機(jī)工藝設(shè)計(jì)
環(huán)保透水磚的制備與性能研究
混凝土在雙向受壓下力學(xué)性質(zhì)的試驗(yàn)研究
自動(dòng)鍛壓機(jī)凸模推出機(jī)構(gòu)改進(jìn)設(shè)計(jì)
樹(shù)麻雀的體溫調(diào)節(jié)
扎龍濕地面積動(dòng)態(tài)變化趨勢(shì)數(shù)學(xué)模型及因素分析
基于ARIMA的居民消費(fèi)價(jià)格指數(shù)建模與預(yù)測(cè)
用矩陣實(shí)現(xiàn)模糊本體映射
激光跟蹤儀在主軸箱體檢測(cè)上的應(yīng)用
一種BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法的研究
傳感式智能家用煤氣表的研制
基于對(duì)象方向方位的連續(xù)方向查詢(xún)算法
一種有效檢索和更新移動(dòng)對(duì)象的混合索引結(jié)構(gòu)
較長(zhǎng)銷(xiāo)孔加工方案分析
移動(dòng)對(duì)象流量查詢(xún)方法研究
空間數(shù)據(jù)庫(kù)R-tree連接方法研究
關(guān)聯(lián)規(guī)則挖掘在臨床診斷中的應(yīng)用研究
基于距離和的數(shù)據(jù)挖掘技術(shù)在中考成績(jī)處理中的應(yīng)用
燃?xì)鉅t供熱改善大氣環(huán)境的方法
三層C/S通用試題庫(kù)系統(tǒng)的需求分析和總體設(shè)計(jì)
外凸輪輪廓曲線(xiàn)加工誤差分析
基于單片機(jī)的步進(jìn)電機(jī)控制系統(tǒng)的研制
基于組合核支持向量機(jī)的圖像邊緣檢測(cè)
衣康?；到鈿ぞ厶窃趤喡榭椢餆o(wú)甲醛防皺整理中的應(yīng)用
二氧化硅-氧化鋅溶膠凝膠法制備固相微萃取涂層的研究
燃硫爐出口溫度與三氧化硫氣體濃度的關(guān)系
基于網(wǎng)格和XML的異構(gòu)數(shù)據(jù)庫(kù)集成模型
Excel表格計(jì)算工程預(yù)算的工程量方法
BP神經(jīng)網(wǎng)絡(luò)在蜜網(wǎng)系統(tǒng)中的應(yīng)用
改進(jìn)BP神經(jīng)網(wǎng)絡(luò)在個(gè)人信用評(píng)估系統(tǒng)的應(yīng)用
GIS系統(tǒng)在城市燃?xì)夤芫W(wǎng)中的應(yīng)用
基于USB接口的便攜式溫濕度記錄儀的設(shè)計(jì)
基于OracleWebServer的管理信息系統(tǒng)開(kāi)發(fā)
Liu-Liu-Liu-Liu系統(tǒng)的混沌同步
企業(yè)實(shí)施SPC核心工具——控制圖方法研究
PL/SQL在求解最短路徑問(wèn)題中的應(yīng)用
城市燃?xì)庥脩?hù)軟管的安裝問(wèn)題研究
基于廣播模式的錄井儀實(shí)時(shí)數(shù)據(jù)傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
垂直井筒兩相流溫度場(chǎng)的模擬計(jì)算
基于固定網(wǎng)絡(luò)的移動(dòng)對(duì)象軌跡查詢(xún)
壓縮天然氣管道輸送應(yīng)用研究
CISC與RISC結(jié)構(gòu)CPU間軟件移植技術(shù)問(wèn)題分析
液化石油氣管道供氣方式的應(yīng)用研究
關(guān)鍵詞：主題模型；特征表達(dá)；多示例多標(biāo)記學(xué)習(xí)；場(chǎng)景分類(lèi)；文本分類(lèi)
中圖分類(lèi)號(hào)： TP181
文獻(xiàn)標(biāo)志碼：A
Multiinstance multilabel learning method based on topic model
YAN Kaobi1， LI Zhixin1，2*， ZHANG Canlong1，2
1.Guangxi Key Laboratory of MultiSource Information Mining and Security， Guangxi Normal University， Guilin Guangxi 541004， China
2.Guangxi Experiment Center of Information Science， Guilin Guangxi 541004， China
Abstract： Concerning that most of the current methods for MultiInstance MultiLabel （MIML） problem do not consider how to represent features of objects in an even better way， a new MIML approach combined with Probabilistic Latent Semantic Analysis （PLSA） model and Neural Network （NN） was proposed based on topic model. The proposed algorithm learned the latent topic allocation of all the training examples by using the PLSA model. The above process was equivalent to the feature learning for getting a better feature expression. Then it utilized the latent topic allocation of each training example to train the neural network. When a test example was given， the proposed algorithm learned its latent topic distribution， then regarded the learned latent topic allocation of the test example as an input of the trained neural network to get the multiple labels of the test example. The experimental results on comparison with two classical algorithms based on decomposition strategy show that the proposed method has superior performance on two realworld MIML tasks.
英文關(guān)鍵詞Key words：
topic model； feature expression； multiinstance multilabel learning； scene classification； text categorization
0引言
傳統(tǒng)的監(jiān)督學(xué)習(xí)問(wèn)題通常定義為單示例單標(biāo)記學(xué)習(xí)問(wèn)題，一個(gè)對(duì)象用一個(gè)示例來(lái)表示，同時(shí)關(guān)聯(lián)一個(gè)標(biāo)記。定義X為示例空間，Y為標(biāo)記集合。單示例單標(biāo)記學(xué)習(xí)的目的是從一個(gè)給定的數(shù)據(jù)集{（xi，yi）|1≤i≤N}中學(xué)習(xí)一個(gè)函數(shù)f：xy，其中：xi∈X是一個(gè)示例，yi∈Y是示例xi的一個(gè)標(biāo)記。在機(jī)器學(xué)習(xí)技術(shù)[1]日益成熟的條件下，傳統(tǒng)的單示例單標(biāo)記學(xué)習(xí)方法已經(jīng)取得了很大的成功。
然而，在現(xiàn)實(shí)世界中，一個(gè)對(duì)象通常是多義性的復(fù)雜對(duì)象，如果仍用傳統(tǒng)的單示例單標(biāo)記學(xué)習(xí)方法，不但不能很好地表達(dá)出對(duì)象豐富的內(nèi)容信息，而且不能得到對(duì)象準(zhǔn)確的語(yǔ)義標(biāo)記集合，因此對(duì)于這種多義性對(duì)象，可以采用多標(biāo)記學(xué)習(xí)方法來(lái)處理。在多標(biāo)記學(xué)習(xí)[2]方法下，一個(gè)對(duì)象用一個(gè)示例來(lái)表示，但是關(guān)聯(lián)多個(gè)標(biāo)記。多標(biāo)記學(xué)習(xí)的目的是從一個(gè)給定的數(shù)據(jù)集{（xi，yi）|1≤i≤N}中學(xué)習(xí)一個(gè)函數(shù)f：x2y，其中：xi∈X是一個(gè)示例，yiY是示例xi的一個(gè)標(biāo)記集合{（yi1，yi2，…，yili）}，li是標(biāo)記集合yi中標(biāo)記的個(gè)數(shù)。雖然多標(biāo)記學(xué)習(xí)已經(jīng)取得了很大的成就，但是只用一個(gè)示例來(lái)表示多義性對(duì)象不能有效地表達(dá)出多義性對(duì)象的復(fù)雜內(nèi)容。
事實(shí)上，在多標(biāo)記學(xué)習(xí)中，一個(gè)標(biāo)記對(duì)應(yīng)著對(duì)象不同的區(qū)域，如果能夠?qū)σ粋€(gè)確定的區(qū)域（不是一個(gè)整體的對(duì)象）和一個(gè)特定的標(biāo)記直接建立對(duì)應(yīng)的模型，將會(huì)有效地減少噪聲對(duì)分類(lèi)準(zhǔn)確性的影響，因此可以采用多示例學(xué)習(xí)的方法來(lái)表示多義性對(duì)象的復(fù)雜內(nèi)容。多示例學(xué)習(xí)[3]的任務(wù)是從一個(gè)給定的數(shù)據(jù)集{（xi，yi）|1≤i≤N}中學(xué)習(xí)一個(gè)函數(shù)f：2xy，其中：xiX是一個(gè)包的示例集合{（xi1，xi2，…，xini）}，ni是包xi中示例的個(gè)數(shù)，yi∈Y是包xi上的一個(gè)標(biāo)記。然而，多示例學(xué)習(xí)主要用于單標(biāo)記問(wèn)題，對(duì)于多標(biāo)記問(wèn)題需要分解為多個(gè)單標(biāo)記問(wèn)題進(jìn)行處理。
為了克服多標(biāo)記學(xué)習(xí)和多示例學(xué)習(xí)方法的缺點(diǎn)，將二者結(jié)合起來(lái)形成一種多示例多標(biāo)記學(xué)習(xí)方法[4]，來(lái)處理帶有復(fù)雜內(nèi)容的多義性對(duì)象將會(huì)更加合理和有效。多示例多標(biāo)記學(xué)習(xí)的目的是從一個(gè)給定的數(shù)據(jù)集{（xi，yi）|1≤i≤N}中學(xué)習(xí)一個(gè)函數(shù)f：2x2y，其中，xiX是一個(gè)包的示例集合{（xi1，xi2，…，xini）}，ni是示例集合x(chóng)i中示例的個(gè)數(shù)，yiY是包xi的一個(gè)標(biāo)記集合{（yi1，yi2，…，yili）}，li是標(biāo)記集合Yi中標(biāo)記的個(gè)數(shù)。
近年來(lái)，多示例多標(biāo)記學(xué)習(xí)已經(jīng)取得了很大的進(jìn)展，同時(shí)也面臨著三個(gè)主要的難題。首先，由于圖像分割技術(shù)[5]的限制，很難劃分出具有完整語(yǔ)義標(biāo)記的示例；其次，在劃分示例后，傳統(tǒng)的做法是提取示例的底層特征，然后建立特征向量和語(yǔ)義標(biāo)記之間的映射模型，由于特征提取[5]和機(jī)器學(xué)習(xí)技術(shù)[1]的限制，如何自動(dòng)提取示例的高層特征及建立映射模型也是一個(gè)難點(diǎn)；最后，由于標(biāo)記之間復(fù)雜的相關(guān)性[6]，如何建立能夠捕獲標(biāo)記之間相關(guān)性的模型[7]也是一個(gè)難點(diǎn)，同時(shí)文獻(xiàn)[8]指出了大數(shù)據(jù)問(wèn)題也是多示例多標(biāo)記學(xué)習(xí)面臨的一個(gè)新問(wèn)題。如果能夠克服這些主要難題，可以建立一個(gè)完美的多示例多標(biāo)記模型，該模型可以直接學(xué)習(xí)示例和標(biāo)記之間的映射關(guān)系，同時(shí)可以捕獲到標(biāo)記之間的相關(guān)性。
1相關(guān)研究
1.1多示例學(xué)習(xí)
多示例學(xué)習(xí)中，一個(gè)樣本被看成是一個(gè)包含多個(gè)示例的包，當(dāng)需要對(duì)一個(gè)包進(jìn)行標(biāo)記的時(shí)候，如果包中至少有一個(gè)示例具有對(duì)應(yīng)的標(biāo)記含義，則將這個(gè)包標(biāo)記為正包，否則標(biāo)記為負(fù)包。雖然多示例學(xué)習(xí)框架被限制在單標(biāo)記問(wèn)題上，但是多示例學(xué)習(xí)方法已經(jīng)取得了很多研究成果，針對(duì)不同的問(wèn)題提出了不同的多示例學(xué)習(xí)方法，此外多示例學(xué)習(xí)還可以用于圖像檢索。
1.2多標(biāo)記學(xué)習(xí)
對(duì)于多義性對(duì)象，可以采用多標(biāo)記學(xué)習(xí)的方法來(lái)處理。文獻(xiàn)[6]對(duì)多標(biāo)記學(xué)習(xí)作了一個(gè)全面的綜述報(bào)告；文獻(xiàn)[9]提出了一種基于神經(jīng)網(wǎng)絡(luò)的多標(biāo)記學(xué)習(xí)方法。從現(xiàn)有的多標(biāo)記算法可以看出，可以采用兩個(gè)策略來(lái)處理多標(biāo)記學(xué)習(xí)問(wèn)題：一是將多標(biāo)記問(wèn)題分解為多個(gè)單標(biāo)記問(wèn)題。但是在很多情況下標(biāo)記之間是有相關(guān)性的，例如天空和海洋可能會(huì)同時(shí)出現(xiàn)在同一個(gè)場(chǎng)景中，如果仍然用這個(gè)策略來(lái)處理多標(biāo)記學(xué)習(xí)問(wèn)題，將會(huì)丟失這種對(duì)提升多分類(lèi)性能很有幫助的信息。二是直接對(duì)示例和標(biāo)記集合之間建立模型。在一些復(fù)雜的模型中，不但可以直接建立示例和標(biāo)記集合的對(duì)應(yīng)關(guān)系，同時(shí)也可以得到標(biāo)記之間的一些相關(guān)性。
1.3多示例多標(biāo)記學(xué)習(xí)
對(duì)于多示例多標(biāo)記學(xué)習(xí)，文獻(xiàn)[4]中對(duì)多示例多標(biāo)記學(xué)習(xí)作了一個(gè)全面的介紹，并且提出了MIMLBOOST和MIMLSVM算法。MIMLBOOST算法首先將多示例多標(biāo)記問(wèn)題轉(zhuǎn)化為多示例問(wèn)題，然后再采用MIBOOST[10]來(lái)處理多示例問(wèn)題；MIMLSVM算法首先將多示例多標(biāo)記學(xué)習(xí)問(wèn)題轉(zhuǎn)化為多標(biāo)記問(wèn)題，然后采用MLSVM[11]算法來(lái)處理多標(biāo)記問(wèn)題。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法、多示例學(xué)習(xí)方法和多標(biāo)記學(xué)習(xí)方法都可以通過(guò)分解策略從多示例多標(biāo)記學(xué)習(xí)中得到，但是采用這種分解策略會(huì)丟失很多蘊(yùn)藏在訓(xùn)練樣本中的信息，同時(shí)也不能考慮到標(biāo)記之間存在關(guān)聯(lián)性的問(wèn)題。后來(lái)，文獻(xiàn)[12]提出了一種直接學(xué)習(xí)示例和標(biāo)記之間映射關(guān)系的MIMLRBF算法；文獻(xiàn)[7]提出了一種聯(lián)合多示例和多標(biāo)記的新穎算法，該算法不但可以直接對(duì)示例集合和標(biāo)記集合之間進(jìn)行建模，同時(shí)還可以捕獲到標(biāo)記之間的關(guān)聯(lián)性；文獻(xiàn)[8]則提出了一種針對(duì)大數(shù)據(jù)問(wèn)題的快速多示例多標(biāo)記算法。然而，上述文獻(xiàn)中提到的方法都沒(méi)有考慮如何來(lái)更好地表示對(duì)象的特征這一因素。針對(duì)這一問(wèn)題，本文考慮將特征學(xué)習(xí)模型融入多示例多標(biāo)記學(xué)習(xí)中，以學(xué)習(xí)到一個(gè)更好的特征表達(dá)方式，從根源上提升分類(lèi)算法的準(zhǔn)確性。概率潛在語(yǔ)義分析模型可以學(xué)習(xí)到樣本中潛在的主題這一高層特征，本文結(jié)合這一特性提出一種新的多示例多標(biāo)記學(xué)習(xí)方法PLSANNMIML，以解決多示多標(biāo)記學(xué)習(xí)中如何更好地表示對(duì)象特征這一問(wèn)題。
2PLSANNMIML方法
2.1概率潛在語(yǔ)義分析
Hofmann[13]首次提出用概率潛在語(yǔ)義模型對(duì)文本進(jìn)行建模的方法。當(dāng)用概率潛在語(yǔ)義分析模型處理圖像數(shù)據(jù)時(shí)，可以把圖像看成是文檔，用概率潛在語(yǔ)義分析模型對(duì)圖像進(jìn)行建模來(lái)發(fā)現(xiàn)圖像潛在的主題分布。
假設(shè)D={d1，d2，…，di}代表一個(gè)圖像數(shù)據(jù)集，W={w1，w2，…，wj}代表一個(gè)視覺(jué)詞匯表，這種用概率潛在語(yǔ)義分析模型對(duì)圖像進(jìn)行建模的模型是一個(gè)發(fā)現(xiàn)共現(xiàn)矩陣隱變量的模型，而該共現(xiàn)矩陣的值由nij=（wj，di）組成，其中nij=（wj，di）是一個(gè)視覺(jué)詞wj出現(xiàn)在圖像di中的數(shù)量。設(shè)Z={z1，z2，…，zk}代表沒(méi)有觀測(cè)到的潛在主題變量， P（di）代表觀測(cè)到一張具體圖像的概率， P（zk|di）代表一張?zhí)囟▓D像在潛在主題空間下的概率分布， P（wj|zk）代表一個(gè)視覺(jué)詞出現(xiàn)在一個(gè)確定主題變量下的條件概率。這種生成模型可以用如下步驟表示：
1）以一定的概率P（di）選擇一張圖像di；
2）以一定的概率P（zk|di）選擇一個(gè)主題zk；
3）以一定的概率P（wj|zk）生成一個(gè)詞wj。
經(jīng)過(guò)上面的過(guò)程，當(dāng)?shù)玫揭粋€(gè)觀測(cè)點(diǎn)（wj，di）時(shí)，潛在的主題變量zk被忽略，產(chǎn)生下面的聯(lián)合概率模型：
L=logP（wj，di）=∑d∈D∑w∈Wn（wj，di）logP（wj，di）
（1）
在遵循似然原則的條件下，采用期望最大化算法[12]最大化似然函數(shù)的對(duì)數(shù)，從而得到P（wj|zk）和P（zk|di），似然函數(shù)的對(duì)數(shù)表現(xiàn)形式如式（2）所示：
L=logP（wj，di）=∑d∈D∑w∈Wn（wj，di）logP（wj，di）
（2）
2.2神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)[14]由于其在信息處理中具有非線(xiàn)性的自適應(yīng)能力，已經(jīng)在人工智能領(lǐng)域中取得了廣泛的應(yīng)用。算法通過(guò)具有三層結(jié)構(gòu)的前向神經(jīng)網(wǎng)絡(luò)模型[15]來(lái)得到樣本的標(biāo)記集合，每層由不同的神經(jīng)元組成，第一層叫輸入層，中間層叫隱藏層，最后一層叫輸出層。在每一層中的每個(gè)神經(jīng)元都連接著下一層的所有神經(jīng)元，但在同一層中的神經(jīng)之間是沒(méi)有連接的，當(dāng)信息從一層傳到下一層時(shí)，前層中的每個(gè)神經(jīng)元都會(huì)有一個(gè)激活函數(shù)對(duì)信息進(jìn)行變換，該函數(shù)選擇的是S型的激活函數(shù)，其定義是：f（x）=1-ex1+ex。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，采用的是反向傳播學(xué)習(xí)算法[15]來(lái)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的權(quán)值。
2.3PLSANNMIML方法
算法主要包括訓(xùn)練和測(cè)試兩個(gè)階段，流程如圖1所示。
2.3.1訓(xùn)練階段
訓(xùn)練過(guò)程包括兩個(gè)步驟：首先通過(guò)概率潛在語(yǔ)義分析模型從所有的訓(xùn)練樣本中學(xué)習(xí)到每個(gè)樣本的特定主題分布P（zk|di）和每個(gè)主題的特定詞分布P（wj|zk），每個(gè)樣本就可以用P（zk|di）來(lái)表示；其次再用每個(gè)樣本的特定主題分布來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，具體細(xì)節(jié)如下所示：
式（3）描述的是神經(jīng)網(wǎng)絡(luò)在樣本xi上的誤差函數(shù)。訓(xùn)練過(guò)程中算法采用概率潛在語(yǔ)義分析模型將xi轉(zhuǎn)化為主題向量zk。假定標(biāo)記空間Y有Q個(gè)標(biāo)記，神經(jīng)網(wǎng)絡(luò)具有與主題向量zk維數(shù)相同的輸入和Q個(gè)輸出，其中Q個(gè)輸出對(duì)應(yīng)著Q個(gè)標(biāo)記，向量w是在神經(jīng)網(wǎng)絡(luò)中需要學(xué)習(xí)的權(quán)值向量。
Ei（w）=∑Qq（ciq-diq）2
（3）
其中：ciq是訓(xùn)練時(shí)樣本xi在第q個(gè)類(lèi)上的實(shí)際輸出；而diq是樣本xi在第q個(gè)類(lèi)上的目標(biāo)輸出，如果q∈yi則diq的值為1，否則其值為-1。通過(guò)結(jié)合誤差反向傳播策略[14]，采用隨機(jī)梯度下降法來(lái)最小化式（3）中的誤差函數(shù)，其過(guò)程如下：
假定xji是單元j的第i個(gè)輸入， wji是關(guān)聯(lián)輸入xji的權(quán)值大小，netj=∑iwjixji是單元j的網(wǎng)絡(luò)輸出，oj=f（netj）是單元j的實(shí)際輸出，tj是單元j的目標(biāo)輸出，根據(jù)隨機(jī)梯度下降算法可以得到每個(gè)權(quán)值的更新公式如下：
wji=wji-ηEiwji
（4）
其中η是學(xué)習(xí)速率的大小。計(jì)算式Eiwji的值時(shí)，分兩種情況討論：
當(dāng)j是輸出層的單元時(shí)，推導(dǎo)出式（5）：
Eiwji=-（tj-oj）oj（1-oj）
（5）
當(dāng)j是隱藏層的單元時(shí)，推導(dǎo)出式（6）：
Eiwji=-oj（1-oj）xji∑k∈S[（tj-oj）oj（1-oj）]wkj
（6）
其中S是單元j的輸出所能連接到的單元的集合。
2.3.2測(cè)試階段
給定一個(gè)測(cè)試樣本pX，算法首先利用在訓(xùn)練階段得到的每個(gè)主題的特定詞分布P（wj|zk）來(lái)學(xué)習(xí)到測(cè)試樣本的特定主題分布P（zk|dt），然后將學(xué)習(xí)到的主題分布輸入到已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)將會(huì)有Q個(gè)輸出，采用文獻(xiàn)[9]介紹的方法選擇閾值，通過(guò)選擇合適的閾值，得到標(biāo)記的相關(guān)集合。
3實(shí)驗(yàn)結(jié)果與分析
3.1實(shí)驗(yàn)步驟
根據(jù)選擇的模型，算法涉及到三個(gè)需要確定的參數(shù)變量，分別是詞的數(shù)量、主題的數(shù)量和神經(jīng)網(wǎng)絡(luò)中隱層神經(jīng)元的數(shù)量，分別用Words、Topics、Neurons來(lái)表示。由于這三個(gè)參數(shù)對(duì)算法的性能有很重要的作用，因此首先需要確定這三個(gè)參數(shù)的最優(yōu)值。在確定參數(shù)的最優(yōu)值時(shí)，采用漢明損失（Hamming loss）和1錯(cuò)誤率（oneerror）這兩個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估參數(shù)對(duì)算法性能的影響。確定算法的最優(yōu)參數(shù)后，算法對(duì)現(xiàn)實(shí)世界中的兩種多示例多標(biāo)記學(xué)習(xí)任務(wù)進(jìn)行實(shí)驗(yàn)，并與現(xiàn)有的多示例多標(biāo)記算法MIMLBOOST和MIMLSVM進(jìn)行比較。
實(shí)驗(yàn)涉及到兩個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集都有2000個(gè)樣本。實(shí)驗(yàn)時(shí)先把每個(gè)數(shù)據(jù)集劃分為三部分：1000個(gè)樣本的訓(xùn)練集合、500個(gè)樣本的驗(yàn)證集和500個(gè)樣本的測(cè)試集。
其中500個(gè)樣本的驗(yàn)證集用于確定算法的最優(yōu)參數(shù)。當(dāng)確定算法的最優(yōu)參數(shù)后，再將1000個(gè)樣本的訓(xùn)練集和500個(gè)樣本的驗(yàn)證集合并形成一個(gè)1500個(gè)樣本的訓(xùn)練集，最終每個(gè)數(shù)據(jù)集對(duì)應(yīng)著一個(gè)1500個(gè)樣本的訓(xùn)練集和一個(gè)500個(gè)樣本的測(cè)試集。表1是對(duì)實(shí)驗(yàn)中所用數(shù)據(jù)集的具體描述。
【答：文本數(shù)據(jù)集每個(gè)包劃分出的示例都不相同，一個(gè)平均值表示的是一次實(shí)驗(yàn)時(shí)每個(gè)包的示例的平均數(shù)，表格中平均數(shù)有個(gè)范圍是對(duì)數(shù)據(jù)集進(jìn)行不同的劃分，進(jìn)行多次實(shí)驗(yàn)時(shí)的一個(gè)平均值范圍，所以是3.56±2.71，也與后面表中的實(shí)驗(yàn)數(shù)據(jù)一致。上面場(chǎng)景數(shù)據(jù)集，每幅圖片都劃分成9個(gè)示例，所以平均數(shù)不變，也可以寫(xiě)成9.00±0.00；
3.1.1場(chǎng)景數(shù)據(jù)集
實(shí)驗(yàn)使用的場(chǎng)景數(shù)據(jù)集包含2000幅自然場(chǎng)景圖像，整個(gè)數(shù)據(jù)集包含的類(lèi)標(biāo)記有沙漠、山、海洋、日落、樹(shù)。數(shù)據(jù)集中每幅圖像的標(biāo)記都是人工標(biāo)記的，數(shù)據(jù)集中超過(guò)22%的圖像具有多個(gè)標(biāo)記，平均每幅圖像的標(biāo)記數(shù)量是1.24±0.44。對(duì)圖像劃分示例后，通過(guò)提取每個(gè)示例的顏色和紋理特征將其中的每個(gè)示例表示為一個(gè)18維的向量，并用這個(gè)特征向量代表這個(gè)示例。
3.1.2文本數(shù)據(jù)集
實(shí)驗(yàn)使用的文本數(shù)據(jù)集又名為Reuters21578數(shù)據(jù)集。實(shí)驗(yàn)時(shí)先對(duì)這個(gè)數(shù)據(jù)集進(jìn)行預(yù)處理，形成一個(gè)具有2000個(gè)文檔的數(shù)據(jù)集。整個(gè)文檔數(shù)據(jù)集包含7個(gè)類(lèi)標(biāo)記，大約15%的文檔具有多個(gè)標(biāo)記，平均每個(gè)文檔的標(biāo)記數(shù)量是1.15±044。當(dāng)進(jìn)行示例劃分時(shí)，采用滑動(dòng)窗口的技術(shù)[16]來(lái)形成文檔的示例，每個(gè)示例對(duì)應(yīng)著一個(gè)被大小為50的滑動(dòng)窗口所覆蓋的文本段，最后采用基于詞頻[17]的詞袋模型表示方法來(lái)表示生成的示例。
3.2實(shí)驗(yàn)結(jié)果
圖2是采用部分場(chǎng)景數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，觀測(cè)不同參數(shù)值配置對(duì)算法性能的影響。圖2（a）～（f）中參數(shù)變量的取值范圍為[3，21]，并且參數(shù)變量取整數(shù)值；
算法中，學(xué)習(xí)速率η的值設(shè)置為0.1。通過(guò)改變參數(shù)的配置，采用漢明損失和1錯(cuò)誤率來(lái)評(píng)估參數(shù)對(duì)算法性能影響，進(jìn)行了多組實(shí)驗(yàn)來(lái)確定算法的最優(yōu)參數(shù)值。
實(shí)驗(yàn)開(kāi)始時(shí)，如圖2（a）和（b）中顯示，先確定Neurons和Topics這兩個(gè)參數(shù)的值，其值設(shè)置為Neurons=3，Topics=3，Words的變化范圍為[3，21]。從圖2（a）和（b）中可以看到，當(dāng)Words取值為7時(shí)，漢明損失和1錯(cuò)誤率指標(biāo)取得最小值，算法的分類(lèi)性能最好。
在圖2（c）和（d）中，參數(shù)Neurons的值與圖2（a）和（b）中的值相同，但是Words的值設(shè)置為7，Topics的變化范圍為[3，21]。從圖2（c）和（d）中可以看出，當(dāng)Topics取值為9時(shí)，漢明損失和1錯(cuò)誤率指標(biāo)取得最小值，算法的分類(lèi)性能最好。
在圖2（e）和（f）中，根據(jù)前面的實(shí)驗(yàn)結(jié)果，參數(shù)Words的值設(shè)置為7，Topics的值設(shè)置為9，Neurons變化范圍為[3，21]。從圖2（e）和（f）中可以看出，當(dāng)Neurons取值為9時(shí)，漢明損失和1錯(cuò)誤率指標(biāo)取得最小值，算法的分類(lèi)性能最好。確定算法的最優(yōu)參數(shù)值后，算法對(duì)現(xiàn)實(shí)世界中的兩種多示例多標(biāo)記學(xué)習(xí)任務(wù)進(jìn)行實(shí)驗(yàn)，并和MIMLBOOST和MIMLSVM進(jìn)行比較，采用文獻(xiàn)[12]中提到的五種多標(biāo)記學(xué)習(xí)評(píng)價(jià)指標(biāo)來(lái)評(píng)估算法的性能。表2和表3分別是各個(gè)算法在場(chǎng)景數(shù)據(jù)集和文本數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果，同時(shí)表4還給出了各個(gè)算法在這兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)時(shí)所需要的時(shí)間。在表2和表3中，表示數(shù)值越小算法性能越好，而表示數(shù)值越大算法性能越好。
從表2、3中的數(shù)據(jù)可以看出，對(duì)于表中的所有評(píng)價(jià)指標(biāo)，PLSANNMIML算法在場(chǎng)景數(shù)據(jù)集和文本數(shù)據(jù)集上具有更好的性能。
從表4中可以看出，PLSANNMIML方法在時(shí)間上也具有更好的性能，在訓(xùn)練和測(cè)試階段，算法需要的時(shí)間都比MIMLSVM算法稍微少些，而且遠(yuǎn)遠(yuǎn)要少于MIMLBOOST算法所需要的時(shí)間。從所有的實(shí)驗(yàn)結(jié)果可以看出，PLSANNMIML方法在現(xiàn)實(shí)世界中的兩種多示例多標(biāo)記學(xué)習(xí)任務(wù)中具有更優(yōu)越的性能。
4結(jié)語(yǔ)
現(xiàn)有的大部分多示例多標(biāo)記學(xué)習(xí)算法都沒(méi)有考慮怎么樣更好地表示對(duì)象的特征這一因素，因此提出了一種結(jié)合概率潛在語(yǔ)義分析和神經(jīng)網(wǎng)絡(luò)的多示例多標(biāo)記學(xué)習(xí)方法。概率潛在語(yǔ)義分析模型可以學(xué)習(xí)到樣本中的潛在語(yǔ)義這一高層特征，而神經(jīng)網(wǎng)絡(luò)在多標(biāo)記問(wèn)題中具有良好的分類(lèi)性能。對(duì)現(xiàn)實(shí)世界中的兩種多示例多標(biāo)記學(xué)習(xí)任務(wù)進(jìn)行實(shí)驗(yàn)表明，PLSANNMIML算法對(duì)其他的多示例多標(biāo)記學(xué)習(xí)算法而言具有很強(qiáng)的競(jìng)爭(zhēng)力，解決了在多示例多標(biāo)記學(xué)習(xí)算法中怎么更好地表示對(duì)象的特征這一問(wèn)題；同時(shí)也存在著不足之處，算法依然采用的是分解策略來(lái)處理多示例多標(biāo)記學(xué)習(xí)問(wèn)題，同時(shí)還忽略了標(biāo)記之間的相關(guān)性。下一步將在融入特性學(xué)習(xí)模型的基礎(chǔ)上尋找其他策略來(lái)處理多示例多標(biāo)記問(wèn)題，同時(shí)也要考慮標(biāo)記之間的相關(guān)性。
參考文獻(xiàn)：
[1]
BISHOP C M. Pattern recognition and machine learning： information science and statistics [M]. New York： Springer， 2006： 67-459.
[2]
ZHOU Z， ZHANG M，ZHANG S， et al. Multiinstance multilabel learning [J]. Artificial Intelligence， 2012， 176（1）： 2291-2320.
[3]
ZHOU Z. Multiinstance learning： a survey [R/OL]. Nanjing： Nanjing University， National Laboratory for Novel Software Technology， 2004 [20150206]. http：///zhouzh/zhouzh.files/publication/techrep04.pdf.Nanjing， China， Mar. 2004.
[4]
ZHOU Z， ZHANG M， HUANG S， et al. Multiinstance multilabel learning [J]. Artificial Intelligence， 2012， 176（1）： 2291-2320.
[5]
PRATT W K. Digital image processing [M]. DENG L， ZHANG Y， translated. Beijing： China Machine Press， 2005：345-398. （PRATT W K. 數(shù)字圖像處理[M].鄧魯華，張延恒，譯. 北京：機(jī)械工業(yè)出版社，2005：345-398.）
[6]
LI Z， ZHUO Y， ZHANG C， et al. Survey on multilabel learning [J]. Application Research of Computers， 2014， 31（6）： 1601-1605. （李志欣，卓亞琦，張燦龍，等.多標(biāo)記學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2014，31（6）：1601-1605.）
[7]
ZHA Z， HUA X， MEI T， et al. Joint multilabel multiinstance learning for image classification [C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008： 1-8.
[8]
HUANG S， ZHOU Z. Fast multiinstance multilabel learning [C]// AAAI 2014： Proceedings of the 28th AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2014： 1868-1874.
[9]
ZHANG M， ZHOU Z. Multilabel neural networks with applications to functional genomics and text categorization [J]. IEEE Transactions on Knowledge and Data Engineering， 2006， 18（10）： 1338-1351.
[10]
XU X， FRANK E. Logistic regression and boosting for labeled bags of instances [C]// PAKDD 2004： Proceedings of the 8th PacificAsia Conference on Knowledge Discovery and Data Mining， LNCS 3056. Berlin： Springer， 2004： 272-281.
[11]
BOUTELL M R， LUO J， SHEN X， et al. Learning multilabel scene classification [J]. Pattern Recognition， 2004， 37（9）： 1757-1771.
[12]
ZHANG M， WANG Z. MIMLRBF： RBF neural networks for multiinstance multilabel learning [J]. Neurocomputing， 2009， 72（16/17/18）：3951-3956.
[13]
HOFMANN T. Unsupervised learning by probabilistic latent semanticanalysis [J]. Machine Learning， 2001， 42（1/2）： 177-196.
[14]
SCHMIDHUBER J. Deep learning in neural networks： an overview [J]. Neural Networks， 2015， 61： 85-117.
[15]
HAYKIN S. Neural networks [M]. YE S， SHI Z， translated. 2nd ed. Beijing： China Machine Press， 2004： 109-176. （HAYKIN S. 神經(jīng)網(wǎng)絡(luò)原理[M].葉世偉，史忠植，譯.2版.北京：機(jī)械工業(yè)出版社，2004：109-176.）
[16]
SEBASTIANI F. Machine learning in automated text categorization [J]. ACM Computing Surveys， 2001， 34（1）： 1-47.
1、首先打開(kāi)趣頭條APP，切換到“任務(wù)”頁(yè)面。
2、然后向下滑動(dòng)屏幕，即可看到“走路賺金幣”選項(xiàng)。用戶(hù)點(diǎn)擊該選項(xiàng)后，頁(yè)面就會(huì)顯示當(dāng)天的行走步數(shù)。一般情況下，50步數(shù)等于1金幣，連續(xù)兌換7天就會(huì)有500金幣。
“趣頭條”是一款上?；治幕瘋鞑ビ邢薰鹃_(kāi)發(fā)的APP。團(tuán)隊(duì)致力通過(guò)大數(shù)據(jù)算法和云計(jì)算等技術(shù)，為用戶(hù)提供內(nèi)容及服務(wù)。趣頭條致力于打造一款新形式的資訊閱讀軟件，以平臺(tái)、媒體和共贏的方式。以移動(dòng)應(yīng)用為載體進(jìn)行內(nèi)容創(chuàng)造、資訊閱讀，提供更多有用、有趣、有益的內(nèi)容給大家。
獅子關(guān)庫(kù)區(qū)植物群落喬木層優(yōu)勢(shì)種及群落分類(lèi)
獅子關(guān)庫(kù)區(qū)森林群落演替過(guò)程和結(jié)構(gòu)動(dòng)態(tài)
日本落葉松人工林單木模型的研究
論生態(tài)林業(yè)的理論與實(shí)踐途徑
鄂西南地區(qū)松褐天牛生物學(xué)特性及發(fā)生規(guī)律研究
應(yīng)用M99-1引誘劑監(jiān)測(cè)馬尾松病蟲(chóng)害的研究
松材線(xiàn)蟲(chóng)在受害馬尾松樹(shù)體內(nèi)的分布及取樣部位研究
湖北恩施松材線(xiàn)蟲(chóng)病的防治現(xiàn)狀及對(duì)策
胡蘿卜板栗糕的試制
丁草胺對(duì)水稻根系活力和C/N的影響
TGF-β_1對(duì)不同肺癌細(xì)胞生物學(xué)行為的影響
動(dòng)物中天然抗癌產(chǎn)物研究
聚合物固體酸催化合成丙烯酸雙酯——固體酸的合成
三溴偶氮氯磷-溴代十六烷基吡啶-釤-乙醇顯色體系的分析研究
化學(xué)修飾電極及其測(cè)定痕量Pb2+、Cd2+、Hg2+的應(yīng)用
光度法測(cè)定魚(yú)腥草中有效成分的質(zhì)量分?jǐn)?shù)
以β-環(huán)糊精衍生物為柱層析固定相拆分氨基酸對(duì)映體
化學(xué)工業(yè)的可持續(xù)發(fā)展之路——綠色化學(xué)
模糊度量空間中的不動(dòng)點(diǎn)及應(yīng)用
祝賀生物資源保護(hù)與利用湖北省重點(diǎn)實(shí)驗(yàn)室順利通過(guò)驗(yàn)收評(píng)估以評(píng)促建以評(píng)促改以評(píng)促發(fā)展
奇素?cái)?shù)方冪中的孤立數(shù)
一類(lèi)具混合功能反應(yīng)函數(shù)的三種群捕食鏈模型分析
脈沖時(shí)滯Cohen-grossberg神經(jīng)網(wǎng)絡(luò)的指數(shù)穩(wěn)定性
一類(lèi)成批服務(wù)排隊(duì)模型的時(shí)間依賴(lài)解的存在唯一性
基于模糊綜合評(píng)判的學(xué)生綜合素質(zhì)評(píng)價(jià)體系
內(nèi)積H-Z-空間及其性質(zhì)
關(guān)于integralfromx=ato+∞(f(x)dx)的收斂性與limfrom(x+∞)(f(x))=0的關(guān)系
復(fù)平面上多項(xiàng)式的零點(diǎn)問(wèn)題
平面復(fù)合材料熱傳導(dǎo)問(wèn)題的一個(gè)新的多尺度漸近展開(kāi)式
對(duì)牛頓迭代法條件的一個(gè)改進(jìn)
基于MATLAB的血管三維重建
基于信息熵的TFIDF文本分類(lèi)特征選擇算法研究
一種基于勢(shì)場(chǎng)的威脅模型及其應(yīng)用
基于協(xié)同模式的一站式服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于ArcGISServer的企業(yè)級(jí)WEBGIS的設(shè)計(jì)與開(kāi)發(fā)
整周模糊度的一種半?yún)?shù)解算方法
GPS高程測(cè)量精度分析
優(yōu)質(zhì)油菜栽培與養(yǎng)分管理智能決策系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
恩施州煙葉生產(chǎn)區(qū)域劃分及配套栽培技術(shù)措施研究
祝賀生物資源保護(hù)與利用湖北省重點(diǎn)實(shí)驗(yàn)室順利通過(guò)驗(yàn)收評(píng)估以評(píng)促建以評(píng)促改以評(píng)促發(fā)展
奇素?cái)?shù)方冪中的孤立數(shù)
一類(lèi)具混合功能反應(yīng)函數(shù)的三種群捕食鏈模型分析
脈沖時(shí)滯Cohen-grossberg神經(jīng)網(wǎng)絡(luò)的指數(shù)穩(wěn)定性
一類(lèi)成批服務(wù)排隊(duì)模型的時(shí)間依賴(lài)解的存在唯一性
基于模糊綜合評(píng)判的學(xué)生綜合素質(zhì)評(píng)價(jià)體系
內(nèi)積H-Z-空間及其性質(zhì)
關(guān)于integralfromx=ato+∞(f(x)dx)的收斂性與limfrom(x+∞)(f(x))=0的關(guān)系
復(fù)平面上多項(xiàng)式的零點(diǎn)問(wèn)題
平面復(fù)合材料熱傳導(dǎo)問(wèn)題的一個(gè)新的多尺度漸近展開(kāi)式
對(duì)牛頓迭代法條件的一個(gè)改進(jìn)
基于MATLAB的血管三維重建
基于信息熵的TFIDF文本分類(lèi)特征選擇算法研究
一種基于勢(shì)場(chǎng)的威脅模型及其應(yīng)用
基于協(xié)同模式的一站式服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于ArcGISServer的企業(yè)級(jí)WEBGIS的設(shè)計(jì)與開(kāi)發(fā)
整周模糊度的一種半?yún)?shù)解算方法
GPS高程測(cè)量精度分析
