Board logo

标题: 看我是如何命令蜘蛛爬虫频繁爬我网站的方法 [打印本页]

作者: 虚竹    时间: 2008-7-26 10:32     标题: 看我是如何命令蜘蛛爬虫频繁爬我网站的方法

看我是如何命令蜘蛛爬虫频繁爬我网站的方法
1、确保服务器稳定工作正常

    2、保证页面尽量简洁易让爬虫爬行,确保打开速度快

    3、经常有规律性的更新网站内容

  4、检查内部链接结构,去除死链接和重复链接

  5、尽量多从正规和相关站点获得反向链接

  6、用Google站长工具检查爬行速度

  7、为站点制作网站地图,包括htm格式和xml格式

    8、监测Google和百度的爬虫爬行记录

  9、确保服务器返回正确的数据包响应


  10、为每个页面制作独立的标题和标签(关键字、描述)

  11.好贴肯定要顶。

  以上内容比较常见,只是做了一个相对较全的归类。




欢迎光临 【3.A.S.T】网络安全爱好者 (http://3ast.com/) Powered by Discuz! 7.2