首页 > 电脑知识 > 百度蜘蛛似乎对中文URL不友好

百度蜘蛛似乎对中文URL不友好

2009年6月15日 发表评论 阅读评论

博客网站http://zoomao.net启动好几个星期了,各大搜索引擎都正常收录了,但是惟独百度迟迟没有收录,每天都从cPanel中查看最近访客记录。发现每天都有baiduspider+的身影,百度蜘蛛爬啊爬,就是不收录我的网站。不过据说这是在审核中,要审核后才把收的内容一次放出来,看来还得拭目以待了。

不过从cPanel的访客记录中,发现百度蜘蛛似乎对中文URL并不友好。

访问记录中天天都有有这类的记录

/2008/09/12/\xe4\xbb\x8a\xe5\xa4\xa9\xe7\xac\xac\xe4\xb8\x80\xe6\xac\xa1\xe9\xa9\xbe\xe9\xa9\xb6\xe5\xae\x9e\x
Http Code: 200 Date: Jun 14 11:14:37 Http Version: HTTP/1.1 Size in Bytes: 854
Referer: -
Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

很明显上面的相对地址中的\x应该是%才对,这样才是正常的中文url的编码。而且凡是采用这种中文url编码的,流量都很小 一般都是这样,Size in Bytes: 854 。正常来说应该是20K以上才对的。只有少数的中文url编码的页面是正常的,所有的英文url的页面也都是正常的。

/2009/06/14/lanling.html/comment-page-1 英文url,完全正常
Http Code: 200 Date: Jun 14 17:21:49 Http Version: HTTP/1.1 Size in Bytes: 25364
Referer: -
Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
/2007/11/19/2007\xe5\xb9\xb411\xe6\x9c\x8818\xe6\x97\xa5.html 极少数中文url,流量正常
Http Code: 200 Date: Jun 14 21:08:06 Http Version: HTTP/1.1 Size in Bytes: 23366
Referer: -
Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

由此看来百度蜘蛛似乎是对中文url很不友好,相比之下,外来的和尚会念经,Googlebot对中文url的支持是一点问题都没有。

/2007/12/01/2007%E5%B9%B412%E6%9C%881%E6%97%A5-2.html
Http Code: 200 Date: Jun 14 10:38:58 Http Version: HTTP/1.1 Size in Bytes: 24049
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


本站文章请注明,转载自:仲卯杂记
本文链接: https://zoomao.net/?p=3905

分类: 电脑知识 标签:

相关日志

WordPress 坚持不升级 (16)
泛域名解析导致的网站首次打开速度奇慢无比 (6)
改造sitemix.jp的WordPress (5)
sitemix.jp 一个非常不错的免费空间 (9)
建立《锵锵三人行》的Podcast (5)
手机玩转WordPress博客 (5)
WordPress搬家后出现Internal Server Error的解决办法 (13)
网站统计代码的处理 (2)
WordPress博客主页收录描述
WordPress心得 (1)
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.

小提示:本站采用Gravatar.com提供的头像系统,想要头像的同学可去免费绑定

Love Note to Jiao