问

Google僵尸网站在使用HTML5模式路由的AngularJS网站上进行抓取

黄石幽兰it 发布于 2023-01-07 13:47

html

fetch

机器人

http

我们有一个使用HTML5路线的AngularJS网站.我刚做了一些测试"Fetch as Google"运行.结果有点令人困惑:

在提取选项卡上,我看到我们的网站在视图源上查看,包含所有前端绑定{{}},而不是所有呈现的HTML

在渲染选项卡上,我们的网站看起来非常精细,没有{{}}个变量,看起来像谷歌机器人获取并使网站正常,这可能符合这一点,http://googlewebmastercentral.blogspot.ae/2014/ 05/rendering-pages-with-fetch-as-google.html.

但是,我们已准备好让Google无法抓取我们的网站,因此我们已添加,因此Google僵尸程序会使用"？_escaped_fragment_ ="重新访问我们的网页.我们按照此说明操作,https://developers.google.com/webmasters/ajax-crawling/docs/getting-started("处理没有散列片段的页面"一节).在我们的Nginx配置中,我们有这样的东西:

if ($args ~ "_escaped_fragment_=") {
    serve the static HTML snapshots
}

,如果我们传递_escaped_fragment_ =我们自己,它确实工作正常.但是,Google僵尸程序从未尝试使用此参数抓取我们的网站,因此它从不抓取快照.我们错过了什么吗？我们是否还应该在我们的Nginx配置中为Google bot添加代理检测功能？像这样的东西？

if ($http_user_agent ~* "googlebot|yahoo|bingbot|baiduspider|yandex|yeti|yodaobot|gigabot|ia_archiver|facebookexternalhit|twitterbot|developers\.google\.com") {            

server from snapshots

}

如果我们能够更好地理解这一点会很棒,非常感谢你!

更新:
我刚看过这个,http ://scotch.io/tutorials/javascript/angularjs-seo-with-prerender-io？ _ escaped_fragment_ = tag #caveats.因此,似乎在使用手动工具(Fetch as Google)时,我们应该自己通过#!或？_escaped_fragment_ =在正确的地方.实际上,如果我在我们的案例中传递了？_escaped_fragment_ =,我确实看到了我们创建的HTML快照.

真的吗？这是如何工作的吗？

更新2 在此主题的底部,Google员工会验证Google网站管理员"抓取为Google",您需要自己手动传递_escaped_fragment_ =参数,https: //productforums.google.com/forum/#!msg /站长/ fZjdyjq0n98/PZ-nlq_2RjcJ

干杯,
伊拉克利斯

1 个回答

我将根据我们在上个月开发使用HTML5模式的SPA的经验来回答您的问题.

如何使用Googlebot？_escaped_fragment_ =而不是直接链接.

这实际上非常简单但容易被忽视.实际上,有两种不同的方法可以让Googlebot尝试使用escaped_fragment.第一种方法是以非html5模式运行您的站点.这意味着您的网址将采用以下格式:

http://my.domain.com/base/#!some/path/on/website

Googlebot认可#!并使用更改的URL对您的服务器进行第二次调用:

http://my.domain.com/base/?_escaped_fragment_=some/path/on/website

然后您可以按照自己的意愿处理.让Googlebot尝试_escaped_fragment_模式的第二种方法是在您提供给bot的索引页面上包含以下元标记:
```
<meta name="fragment" content="!">
```
这将使googlebot每次看到标记时都会检查网页的其他版本.有趣的是,您可以将这两种技术结合使用,或者您可以执行我们最终要做的事情,即使用元标记在html5模式下运行.这意味着您的网址将按如下方式进行转义:

http://my.domain.com/base/some/path/on/website?_escaped_fragment_=

有趣的是,机器人不会在片段的末尾添加任何内容.但是,根据您运行的Web服务器,您可以使用与"_escaped_fragment_"文本匹配的模式轻松地将其映射到备用bot页面.有关转义片段的更多信息,请转到此处.

"以Googlebot抓取"会返回我的页面的两个不同版本,包含{{}}的源代码,并且呈现的页面看起来正确.那是什么意思？

谷歌的搜索引擎其实可以解释JavaScript的程度有限,因为2014年初欲了解更多信息,请阅读谷歌网站管理员官方博客条目在这里.但是,正如在博客文章中明确指出的那样,这有很多警告.例如:
截至2014年12月18日,我们仍然不确定Googlebot是否可以在其呈现模式中从SPA中提取任何信息,而不是在javascript中查找要遵循的链接.根据我们的经验,Googlebot会在其索引列表中添加{{}},以便当您尝试使用{{}}填充元信息(说明,关键字,标题等)时,您的网站在Google搜索中会是这样的结果:

{{meta.siteTitle}}
http://my.domain.com/base/some/path/on/website
{{meta.description}}

而不是你期望的可能是这样的:

域名
http://my.domain.com/base/some/path/on/website
这是我网域上的随机页面.一个很好的示例页面!
2023-01-07 13:49 回答

离开一场爱的风雪

撰写答案

今天，你开发时遇到什么问题呢？

立即提问

热门标签

Google僵尸网站在使用HTML5模式路由的AngularJS网站上进行抓取

如何使用Googlebot？_escaped_fragment_ =而不是直接链接.

"以Googlebot抓取"会返回我的页面的两个不同版本,包含{{}}的源代码,并且呈现的页面看起来正确.那是什么意思？