- 掛牌上市企業
- 60秒人工響應
- 99.99%連通率
- 7*24h人工
- 故障100倍補償
根據抓取排行做調整 |
| 發布時間: 2012/9/23 15:27:41 |
|
在很多網站日志中，都能清晰的看到頁面的抓取排行，URL的抓取排行，這些排行最能直接的反應網站的那些部分是最受蜘蛛歡迎的。如果出現了很多css或js的文件都被大量的訪問，那么頁面中這樣的鏈接就大大浪費了權重，所以需要修改robots文件給予禁止。查看有些網站的日志，能明顯的看到那些被過渡抓取，那些重點內容抓取的較少，這樣觀察之后就能做到心中有數，可以有的放矢。比如之前我的網站會莫名奇妙的多出一些抓取文件夾，而這些文件夾在網站中是并不存在的，所以要及時發現，并給予屏蔽。
另外，也偶爾也會出現一些500、206等狀態碼，這些都是日常的一些小問題引起的，不必過于擔心。而如果大量集中的出現就說明服務器本身有問題，另外在根目錄中盡量不要放置壓縮文件，這樣會被一些別有用心的人嘗試下載網站的源碼或者備份的數據。還有助于304狀態碼，這個說明也正常，是網站沒有更新造成的。 定期查看網站的日志其實并不會占用我們太多的時間，但如果一直不查看，網站就會有很多的小問題我們無從知曉，或許友情連接我們做了，原創內容也更新了，外部鏈接也不停在發，但是排名卻一直非常緩慢，那么這個時候就不妨看看你的日志，說不定問題就出在這里邊。 本文出自：億恩科技【www.beingsafe.com.cn】 |
0371-60135900
京公網安備41019702002023號
香港服務器租用
美國服務器租用
電信骨干機房
聯通骨干機房
