这是我的robots.txt文件的内容:
User-agent: * Disallow: /images/ Disallow: /upload/ Disallow: /admin/
如您所见,我明确禁止所有机器人索引文件夹images,upload并且admin.问题是我的一个客户发送了从images文件夹中删除内容的请求,因为该images文件夹中的.pdf文档出现在Google搜索结果中.任何人都可以解释我在这里做错了什么,为什么谷歌索引我的文件夹?
images
upload
admin
谢谢!