該模塊利用能夠兼容多種數(shù)據(jù)格式的云端數(shù)據(jù)采集接口，基于一站式云服務(wù)模式，在線完成對政府網(wǎng)站上的文本、圖像、音頻、視頻等不同類型網(wǎng)頁資源的采集任務(wù)，對采集獲取的網(wǎng)頁資源進(jìn)行統(tǒng)一格式轉(zhuǎn)換處理，將其批量保存到采集數(shù)據(jù)庫中。該模塊通過新增監(jiān)控與變動(dòng)監(jiān)控實(shí)時(shí)更新獲取目標(biāo)政府網(wǎng)站的最新數(shù)據(jù)，確保網(wǎng)頁采集的質(zhì)量。同時(shí)采用數(shù)據(jù)加密、安全傳輸協(xié)議等方法保證網(wǎng)頁傳輸安全，確保網(wǎng)頁數(shù)據(jù)真實(shí)、完整、可信和可用。
該模塊主要包括內(nèi)容管理與元數(shù)據(jù)管理兩大功能。其中內(nèi)容管理的功能是對云端在線采集獲取的各類政府網(wǎng)頁進(jìn)行線下的分類、著錄、標(biāo)引、編目、鑒定整理，即按照設(shè)定的分類方案，對采集獲取的海量政府網(wǎng)頁進(jìn)行自動(dòng)分類，然后將添加元數(shù)據(jù)描述信息的政府網(wǎng)頁保存到相應(yīng)的管理數(shù)據(jù)庫。元數(shù)據(jù)管理的功能則是通過確定元數(shù)據(jù)元素以及元數(shù)據(jù)的格式，明確政府網(wǎng)頁內(nèi)容、結(jié)構(gòu)、背景和管理過程等信息與元數(shù)據(jù)之間的關(guān)系，在相關(guān)元數(shù)據(jù)之間建立聯(lián)系，實(shí)現(xiàn)元數(shù)據(jù)信息的序化組織，確保政府網(wǎng)頁信息能夠長期可利用。
該模塊基于云存儲動(dòng)態(tài)易擴(kuò)展的技術(shù)特性，通過調(diào)用云存儲服務(wù)端的應(yīng)用程序，對其存儲集群中相應(yīng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的插入、刪除、修改等操作，實(shí)現(xiàn)對海量政府網(wǎng)頁資源的實(shí)時(shí)動(dòng)態(tài)歸檔保存。此外，該模塊還具備存儲數(shù)據(jù)的云備份、云遷移等功能，能夠根據(jù)存儲數(shù)據(jù)的更新情況，利用云存儲數(shù)據(jù)加密、云端數(shù)據(jù)隔離訪問、完整性驗(yàn)證及可用性保護(hù)等方法，定期進(jìn)行存儲數(shù)據(jù)的在線備份和遷移等處理，確保云環(huán)境下歸檔政府網(wǎng)頁數(shù)據(jù)的長期安全保存。
本文地址：http://m.cdrpkj.cn//article/25870.html
