仲卯杂记

博客网站http://zoomao.net启动好几个星期了，各大搜索引擎都正常收录了，但是惟独百度迟迟没有收录，每天都从cPanel中查看最近访客记录。发现每天都有baiduspider+的身影，百度蜘蛛爬啊爬，就是不收录我的网站。不过据说这是在审核中，要审核后才把收的内容一次放出来，看来还得拭目以待了。

不过从cPanel的访客记录中，发现百度蜘蛛似乎对中文URL并不友好。

访问记录中天天都有有这类的记录

/2008/09/12/\xe4\xbb\x8a\xe5\xa4\xa9\xe7\xac\xac\xe4\xb8\x80\xe6\xac\xa1\xe9\xa9\xbe\xe9\xa9\xb6\xe5\xae\x9e\x
	Http Code: 200	Date: Jun 14 11:14:37	Http Version: HTTP/1.1	Size in Bytes: 854
	Referer: -
	Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

很明显上面的相对地址中的\x应该是%才对，这样才是正常的中文url的编码。而且凡是采用这种中文url编码的，流量都很小 一般都是这样，Size in Bytes: 854 。正常来说应该是20K以上才对的。只有少数的中文url编码的页面是正常的，所有的英文url的页面也都是正常的。

/2009/06/14/lanling.html/comment-page-1 英文url，完全正常
	Http Code: 200	Date: Jun 14 17:21:49	Http Version: HTTP/1.1	Size in Bytes: 25364
	Referer: -
	Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

/2007/11/19/2007\xe5\xb9\xb411\xe6\x9c\x8818\xe6\x97\xa5.html 极少数中文url，流量正常
	Http Code: 200	Date: Jun 14 21:08:06	Http Version: HTTP/1.1	Size in Bytes: 23366
	Referer: -
	Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

由此看来百度蜘蛛似乎是对中文url很不友好，相比之下，外来的和尚会念经，Googlebot对中文url的支持是一点问题都没有。

/2007/12/01/2007%E5%B9%B412%E6%9C%881%E6%97%A5-2.html
	Http Code: 200	Date: Jun 14 10:38:58	Http Version: HTTP/1.1	Size in Bytes: 24049
	Referer: -
	Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

本站文章请注明，转载自：仲卯杂记
本文链接: https://zoomao.net/?p=3905