是否可以在一行中列出多个用户代理？

是否有可能在robots.txt中向多个机器人发出一条指令,而不必反复提及它？

例:

User-agent: googlebot yahoobot microsoftbot
Disallow: /boringstuff/

IMSoP.. 10

实际上很难给出明确的答案,因为robots.txt没有一个定义明确的标准,而且很多文档都含糊不清或相互矛盾.

在谷歌的机器人理解格式的描述是相当全面的,包括这种略带乱码句子:

直接在组之后的多组起始线将遵循最终组起始线之后的组成员记录.

这似乎在摸索以下示例中显示的内容:

user-agent: e
user-agent: f
disallow: /g

根据下面的解释,这构成了一个"组",不允许两个不同用户代理的相同URL.

因此,您想要的正确语法(关于任何机器人与Google的工作方式相同)将是:

User-agent: googlebot
User-agent: yahoobot
User-agent: microsoftbot
Disallow: /boringstuff/

然而,正如Jim Mischel指出的那样,robots.txt文件中没有任何意义,一些机器人会正确解释,但其他人可能会窒息,所以最好采用重复块的"最小公分母",也许通过使用简单的"配方"和更新脚本动态生成文件.