手機網(wǎng)站建設(shè)網(wǎng)頁正文內(nèi)容抽取方法
日期 : 2021-01-29 23:04:58
網(wǎng)頁正文內(nèi)容抽取方法, 該算法思路是先需要對Web頁面進行分塊處理, 處理結(jié)果同樣利用DOM樹原理進行解析, 然后集合閾值計算和正則表達式, 對于處理網(wǎng)頁正文準(zhǔn)確率較高。
非基于DOM的Web頁面提取技術(shù)比較著名就是微軟亞洲研究院提出的VIPS基于視覺的網(wǎng)頁分塊算法。該算法從用戶的視覺感官體驗出發(fā), 根據(jù)Web頁面的背景色、前景色、元素之間的間距來對Web頁面進行視覺劃分, 建立相應(yīng)的分割條和網(wǎng)頁分塊集, 基于此基礎(chǔ)再進行文本信息的抽取, 算法規(guī)則十分復(fù)雜。目前很多Web頁面的視覺特點也很復(fù)雜, VIPS算法針對此類頁面時準(zhǔn)確率和效率較差。因此, 高樂等人提出一種改進的VIPS算法, 算法針對<table>標(biāo)簽的處理進行優(yōu)化處理, 并通過實驗證明了改進算法正確率得到了提升。
此外, 還有一些不基于DOM樹對網(wǎng)頁文本提取的方法, 例如《基于權(quán)值優(yōu)化的網(wǎng)頁正文內(nèi)容提取算法》的通過統(tǒng)計分析Web頁面正文內(nèi)容特點, 得到頁面中各個文本內(nèi)容塊屬性特征, 并使用粒子群優(yōu)化算法對特征權(quán)值及閾值進行了確定及優(yōu)化。
非基于DOM的Web頁面提取技術(shù)比較著名就是微軟亞洲研究院提出的VIPS基于視覺的網(wǎng)頁分塊算法。該算法從用戶的視覺感官體驗出發(fā), 根據(jù)Web頁面的背景色、前景色、元素之間的間距來對Web頁面進行視覺劃分, 建立相應(yīng)的分割條和網(wǎng)頁分塊集, 基于此基礎(chǔ)再進行文本信息的抽取, 算法規(guī)則十分復(fù)雜。目前很多Web頁面的視覺特點也很復(fù)雜, VIPS算法針對此類頁面時準(zhǔn)確率和效率較差。因此, 高樂等人提出一種改進的VIPS算法, 算法針對<table>標(biāo)簽的處理進行優(yōu)化處理, 并通過實驗證明了改進算法正確率得到了提升。
此外, 還有一些不基于DOM樹對網(wǎng)頁文本提取的方法, 例如《基于權(quán)值優(yōu)化的網(wǎng)頁正文內(nèi)容提取算法》的通過統(tǒng)計分析Web頁面正文內(nèi)容特點, 得到頁面中各個文本內(nèi)容塊屬性特征, 并使用粒子群優(yōu)化算法對特征權(quán)值及閾值進行了確定及優(yōu)化。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
