對(duì)新站的抓取

根據(jù)以前觀察幾個(gè)新站日志的發(fā)現(xiàn)，百度蜘蛛對(duì)一個(gè)新站一般第一天會(huì)瘋狂抓取，然后會(huì)沉寂一段時(shí)間，而谷歌比較老實(shí)，喜歡按部就班一點(diǎn)一點(diǎn)來，越來越多。上圖是我六月份上的一個(gè)新站的日志，6月15號(hào)那天掛上去后不到一小時(shí)百度收錄首頁，并且瘋狂抓取5500次，第二天就開始在爆發(fā)中沉默，而谷歌一開始抓取的很少，慢慢越來越多（聲明：上圖日志的這10天，網(wǎng)站未做任何外鏈，因此不會(huì)受任何外在原因影響）。經(jīng)常看到很多人網(wǎng)站上線第一天看到百度大量抓取感覺很驚訝，覺得是自己網(wǎng)站權(quán)重高，然后第二天開始，蜘蛛直接來個(gè)1800度調(diào)整，每天就稍微來看一下，然后就變得很郁悶，覺得是百度不喜歡自己的站了，其實(shí)不是這樣，這是百度蜘蛛的特性。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]