看我是如何命令蜘蛛爬虫频繁爬我网站的方法 蜘蛛, 爬虫, 命令

虚竹

看我是如何命令蜘蛛爬虫频繁爬我网站的方法
1、确保服务器稳定工作正常

    2、保证页面尽量简洁易让爬虫爬行，确保打开速度快

    3、经常有规律性的更新网站内容

　　4、检查内部链接结构，去除死链接和重复链接

　　5、尽量多从正规和相关站点获得反向链接

　　6、用Google站长工具检查爬行速度

　　7、为站点制作网站地图，包括htm格式和xml格式

    8、监测Google和百度的爬虫爬行记录

　　9、确保服务器返回正确的数据包响应


　　10、为每个页面制作独立的标题和标签(关键字、描述)

　　11.好贴肯定要顶。

　　以上内容比较常见，只是做了一个相对较全的归类。