![Rank: 5](images/default/star_level3.gif) ![Rank: 5](images/default/star_level1.gif)
- 帖子
- 300
- 积分
- 762
- 威望
- 1212
- 金钱
- 1030
- 在线时间
- 3 小时
![贡献奖 贡献奖](images/common/medal6.gif) ![灌水王 灌水王](images/common/medal8.gif) ![帅哥勋章 帅哥勋章](images/common/medal9.gif)
|
看我是如何命令蜘蛛爬虫频繁爬我网站的方法
1、确保服务器稳定工作正常
2、保证页面尽量简洁易让爬虫爬行,确保打开速度快
3、经常有规律性的更新网站内容
4、检查内部链接结构,去除死链接和重复链接
5、尽量多从正规和相关站点获得反向链接
6、用Google站长工具检查爬行速度
7、为站点制作网站地图,包括htm格式和xml格式
8、监测Google和百度的爬虫爬行记录
9、确保服务器返回正确的数据包响应
10、为每个页面制作独立的标题和标签(关键字、描述)
11.好贴肯定要顶。 ![](http://images.5d6d.net/dz61/smilies/default/handshake.gif)
以上内容比较常见,只是做了一个相对较全的归类。 |
|