【3.A.S.T】网络安全爱好者 - Powered by Discuz! Board

标题: 看我是如何命令蜘蛛爬虫频繁爬我网站的方法 [打印本页]

作者: 虚竹 时间: 2008-7-26 10:32 标题: 看我是如何命令蜘蛛爬虫频繁爬我网站的方法

看我是如何命令蜘蛛爬虫频繁爬我网站的方法
1、确保服务器稳定工作正常

2、保证页面尽量简洁易让爬虫爬行，确保打开速度快

3、经常有规律性的更新网站内容

　　4、检查内部链接结构，去除死链接和重复链接

　　5、尽量多从正规和相关站点获得反向链接

　　6、用Google站长工具检查爬行速度

　　7、为站点制作网站地图，包括htm格式和xml格式

8、监测Google和百度的爬虫爬行记录

　　9、确保服务器返回正确的数据包响应

　　10、为每个页面制作独立的标题和标签(关键字、描述)

　　11.好贴肯定要顶。

　　以上内容比较常见，只是做了一个相对较全的归类。

欢迎光临【3.A.S.T】网络安全爱好者 (http://3ast.com/)