百度抓取中文 URL 有问题？求大神专家指导！！

[fising]

原来地址：/search?q= + urlencode(中文)

百度给抓取成：/search + urlencode(?q=urlencode(中文))

导致很多抓取错误 出现404页

请问如何解决？

[weboshr]

robots.txt 添加一项

Disallow: /*?*

[alex321]

百度自己的测试工具检查轻应用的授权 js 是否成功添加的测试工具都有问题，解析 utf-8 和 gb2312 时，php 出错。。
百度知道、轻应用与合作方做数据测试时，往正式库里面插入了大量(注意，是大量)垃圾数据。。
……
这种事情我能告诉你们咩。。

[qiayue]

code4app.com 有中文 url ，百度抓取没有问题
楼主发出你的网站看看吧

[millken]

我只能告诉这个是你程序问题

[fising]

@millken 为啥谷歌没问题呢

[fising]

@weboshr 这句是啥意思啊，可否解释一下

[jasontse]

@fising
禁止抓取带问号的 URL

[binux]

贴一个出错url（短一点的）我给你看看

[fising]

@jasontse 那可不行，我全站基本都带?

@binux http://www.886404.com/search%3Fq%3Dx220%25E6%258D%25A2ssd

[fising]

@binux 贴到这里URL被V2EX转换了。你直接复制。不要点击这里的链接。

[binux]

@fising 你确定百度最近爬了你这个url？

[binux]

@fising 没事，我自己另找了一个。
这链接是从站长平台灌的，你看下你提交的sitemap是不是有问题。

[fising]

@binux 百度站长系统，出错列表里有这个记录

[fising]

@binux http://www.886404.com/sitemap.xml

[binux]

这站没什么价值就不管了

[fising]

@binux 别这么说呀呀呀呀。这是讨论技术。

[Showfom]

@fising 你的这个站开源不= =

[caomu]

我只是来围观看楼上的大大们卖萌的 =。=

[blijf]

我已经不在乎它收不收了，已经全换SSL

[fising]

@Showfom 已经开源了

[Showfom]

@fising 在哪里下载？

[weboshr]

@fising 带有"?"的链接禁止抓取

[fising]

@weboshr 禁止的话，就没几个页面能抓了。