GOOGLE网站管理员工具中有一项可以添加sitemap的功能,可以提高GG蜘蛛在您的网站爬行效率。那在不主动添加sitemap的情况下,GOOGLE的蜘蛛会自动找到sitemap.xml进行爬行并收录页面吗?另外宣布支持GG标注SITEMAP格式的MSN蜘蛛有何反映?我们来作个试验。
·实验模型思路:
1. 在已有的网站下,新建一些页面或网站,网站不能有任何外部链接,并且没有在GG管理员工具处添加过该网站和Sitemap。然后制作该站的sitemap.xml放在根目录下。
注意点:新建的页面必须在已有的网站下,kyw小全就是建立在原先的“金瓶梅中文网”空间内,SITEMAP.XML文件放在“金瓶梅中文网”的根目录下。这样可以确保蜘蛛一定会路过。(金瓶梅中文网本身并没有制作sitemap.xml)
2. 在旧网站的首页做点小小的改动,这样可以识别GG蜘蛛是否来过。
3 耐心等待GG蜘蛛路过,并观察网页收录情况。如果旧网站首页已经被GG更新,说明蜘蛛已经来过。
4. 继续耐心等待,因为短期内在site:kyw.qkcf.com/blog/没有任何页面前,无法辨认蜘蛛是否自动爬上了sitemap,就算爬上了,GG收录也需要时间,就好像在管理员工具内提交SITEMAP,收录也需要时间一样。
5. 一个月后site:kyw.qkcf.com/blog/还没有页面,并且GG对就网站已经更新多次,那说明GG的蜘蛛比较笨,不认识sitemap
实验面对搜索引擎:Google
实验目标站点:http://kyw.qkcf.com/blog/
接下来等结果吧。
2007年2月10日发布结果:Google蜘蛛对没链接的sitemap.xml处理方式
