看我是如何命令蜘蛛爬虫频繁爬我网站的方法
看我是如何命令蜘蛛爬虫频繁爬我网站的方法1、确保服务器稳定工作正常
2、保证页面尽量简洁易让爬虫爬行，确保打开速度快
3、经常有规律性的更新网站内容
4、检查内部链接结构，去除死链接和重复链接
5、尽量多从正规和相关站点获得反向链接
6、用Google站长工具检查爬行速度
7、为站点制作网站地图，包括htm格式和xml格式
8、监测Google和百度的爬虫爬行记录
9、确保服务器返回正确的数据包响应
10、为每个页面制作独立的标题和标签(关键字、描述)
11.好贴肯定要顶。 [img]http://images.5d6d.net/dz61/smilies/default/handshake.gif[/img]
以上内容比较常见，只是做了一个相对较全的归类。
页:
[1]