優(yōu)惠活動 - 12周年慶本月新客福利
優(yōu)惠活動 - 12周年慶本月新客福利
優(yōu)惠活動 - 12周年慶本月新客福利

手機網(wǎng)站建設網(wǎng)頁正文內(nèi)容抽取方法

日期 : 2021-01-29 23:04:58
        網(wǎng)頁正文內(nèi)容抽取方法, 該算法思路是先需要對Web頁面進行分塊處理, 處理結(jié)果同樣利用DOM樹原理進行解析, 然后集合閾值計算和正則表達式, 對于處理網(wǎng)頁正文準確率較高。

        非基于DOM的Web頁面提取技術比較著名就是微軟亞洲研究院提出的VIPS基于視覺的網(wǎng)頁分塊算法。該算法從用戶的視覺感官體驗出發(fā), 根據(jù)Web頁面的背景色、前景色、元素之間的間距來對Web頁面進行視覺劃分, 建立相應的分割條和網(wǎng)頁分塊集, 基于此基礎再進行文本信息的抽取, 算法規(guī)則十分復雜。目前很多Web頁面的視覺特點也很復雜, VIPS算法針對此類頁面時準確率和效率較差。因此, 高樂等人提出一種改進的VIPS算法, 算法針對<table>標簽的處理進行優(yōu)化處理, 并通過實驗證明了改進算法正確率得到了提升。

        此外, 還有一些不基于DOM樹對網(wǎng)頁文本提取的方法, 例如《基于權(quán)值優(yōu)化的網(wǎng)頁正文內(nèi)容提取算法》的通過統(tǒng)計分析Web頁面正文內(nèi)容特點, 得到頁面中各個文本內(nèi)容塊屬性特征, 并使用粒子群優(yōu)化算法對特征權(quán)值及閾值進行了確定及優(yōu)化。

相關文章