我们遇到一个爬虫的奇怪问题.有时它会Rails FATAL
在某些请求上抛出错误,但跟踪非常有限并且看起来像这样
[2014-07-01 18:16:37] FATAL Rails : ArgumentError (invalid %-encoding (c ^ FK+ 9u$_ t Kl ?E! =k \ ?* ?>c+C R! 2 D (5 x q#!` 4 p |8 I E :+ H^9`^ # Vo{ > =[z )): lib/locale_middleware.rb:14:in `call'
爬虫用户代理是
Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)
我们可以要求它停止通过我们爬行robots.txt
,但是如果可能的话,最好处理根本原因并且不会因为这些请求而失败500.
我们也无法真正重现这种请求,因此有关如何生成类似请求的任何建议都会有很大帮助.
我们在Ubuntu 12.04上使用Rails 3.2.19,Unicorn.这是我们的locale_middleware.rb