Spider抓取情況和SEO
日期 : 2022-02-25 22:20:24
搜索引|擎Spider對網(wǎng)站的抓取情況,應(yīng)該是最值得SEO人員研究的內(nèi)容。但是很多SEO人員面對已經(jīng)在日志中提取出來的搜索引擎抓取記錄,并不知道需要分析什么。這里簡單討論一下Spider對網(wǎng)站的抓取情況都有哪些方面是值得分析的,以及分析出的結(jié)果是如何指導(dǎo)SEO工作的。
Spider的抓取數(shù)據(jù)可以分析:Spider對整個網(wǎng)站的抓取頻率、Spider對重要頁面的抓取頻率、Spider對網(wǎng)站內(nèi)容的抓取分布情況、Spider對各種類型網(wǎng)頁的抓取情況、Spider對 網(wǎng)站的抓取狀態(tài)碼情況等。
- 通過分析Spider對整個網(wǎng)站的抓取頻率的趨勢,可以簡單了解網(wǎng)站在搜索引擎眼中的質(zhì)量。如果網(wǎng)站沒有進行過大幅度的變動,并且內(nèi)容正常更新,搜索引擎的抓取頻率卻逐漸或突然大幅度降低,不是網(wǎng)站運行出現(xiàn)錯誤,就是搜索引擎認為網(wǎng)站質(zhì)量出現(xiàn)了問題;如果搜索引擎的抓取頻率突然增大,可能是網(wǎng)站有404之類的頁面引起了Spider的集中重復(fù)抓取;如果搜索引擎的抓取頻率逐漸增大,可能是隨著網(wǎng)站內(nèi)容的逐漸增多,權(quán)重的逐漸積累,而獲得的正常抓取。持平和平緩的變動不足為奇,如果出現(xiàn)大幅度的變動,就需要引起足夠的重視了。
- (2)通過分析Spider對重要頁面的抓取規(guī)律,可以輔助網(wǎng)頁內(nèi)容更新頻率的調(diào)整。一般搜索引擎Spider會對站內(nèi)的重要頁面進行高頻度的抓取,這類頁面一般不會是內(nèi)容頁,而是首頁、列表頁或者擁有大量外鏈的專題頁。在網(wǎng)站中有很多種此類抓取頻率非常大的頁面,比如前面所說的網(wǎng)站首頁、目錄頁和專題頁。在網(wǎng)站中往往還會有其他更多類型的聚合頁同樣有著比較大的抓取頻率。尤其是網(wǎng)站的首頁,很多網(wǎng)站的首頁每天都會得到搜索引擎成千上萬次的抓取,但是不少網(wǎng)站首頁上更新的鏈接很少,有些浪費了首頁本身權(quán)重所帶來的Spider高抓取頻率。在不影響SEO關(guān)鍵詞密度和布局的前提下,SEO人員可以充分利用這部分資源,來使網(wǎng)站內(nèi)所有的新內(nèi)容都被搜索引擎及時發(fā)現(xiàn),也減少搜索引擎的無效抓取。雖然現(xiàn)在通過百度站長平臺的sitemap工具,可以直接把站內(nèi)的URL提交給百度,并不需要太過擔心百度發(fā)現(xiàn)不了網(wǎng)站內(nèi)新內(nèi)容的問題,但是現(xiàn)在也有部分網(wǎng)站是沒有sitemap提交權(quán)限的,并且這種通過頁面發(fā)現(xiàn)鏈接的形式還會帶有-定的權(quán)值傳遞。眾所周知,網(wǎng)頁的收錄與否,除取決于網(wǎng)頁內(nèi)容的質(zhì)量外,與網(wǎng)頁所獲得的外鏈和網(wǎng)頁的權(quán)重也是有關(guān)系的,所以以上分析和改進還是值得進行的。
- 分析Spider對網(wǎng)站內(nèi)容的抓取分布情況。每個網(wǎng)站都會分出一些不同的頻道,可能大家感覺在網(wǎng)站內(nèi)鏈和外鏈的建設(shè)中并沒有特別的偏向,或者為某個頻道做了很多鏈接,就認為該頻道應(yīng)該會得到搜索引擎的青睞,但是事實可能不是這樣的。Spider對 網(wǎng)站內(nèi)容抓取分布情況的分析-般會結(jié)合網(wǎng)站的收錄數(shù)據(jù),分析網(wǎng)站各頻道內(nèi)容的更新量、搜索引擎收錄量和Spider對各頻道的每日抓取量是否成正比。
- 分析Spider對站內(nèi)各類頁面的抓取情況。不同網(wǎng)站都有著自己不同的網(wǎng)頁類型,這里進行舉例說明。在大眾網(wǎng)站中-般首頁、目錄頁、文章頁,目錄頁和文章頁可能會有分頁,但是經(jīng)過分析百度Spider的抓取記錄后,可能會發(fā)現(xiàn)百度Spider幾乎不怎么抓取分頁,不論是列表分頁還是文章分頁。
- 分析Spider對網(wǎng)站的抓取狀態(tài)碼情況。除了上面所提到的注意網(wǎng)站異常的狀態(tài)碼,還應(yīng)該留意Spider對網(wǎng)站的抓取記錄中是否還有其他不常見的狀態(tài)碼出現(xiàn)。
上一篇:流量下降的分析思路
下一篇:SEO專題—移動搜索優(yōu)化