13个谷歌没有收录网页的原因和相应解决办法

谷歌未收录网页的可能原因有:内部链接缺失、站点地图未更新、网站规模过大导致收录缓慢、robots.txt设置错误、爬行预算不足、服务器错误、存在noindex标签、规范标签指向错误、内容重复、内容质量低、HTTP状态码问题、页面渲染失败或加载速度慢。如果你的网页长时间没有被谷歌收录,可以参照这些原因逐一排查!

哈喽!我是大橘。这篇笔记大橘整理了海内外各种网站站长包括大橘遇到的网页不被谷歌收录问题的原因以及相应的SEO优化策略。

废话不多说,请看本文目录:

 

谷歌未收录

谷歌不收录你网页的原因

谷歌不收录网页问题可大致分为两种原因,一种是谷歌未发现网页;另一种则是谷歌已发现网页但没有编入索引。前者多与网站结构有关,后者多于网页内容和人为操作有关。

谷歌未发现网页:

1. 网页缺少内部链接:

内部链接帮助搜索引擎发现和理解网站结构,缺少内部链接可能导致页面无法被搜索引擎发现。

谷歌爬虫抓取网页就像蜘蛛依靠蛛丝在蛛网上活动,它无法到达与蛛网不连通的地方。如果你的新网页与网站首页相隔多个层级,即从你的网站首页需要点击超过五次才能到达新网页,谷歌爬虫将很难发现你的新网页。

解决办法:审查网站结构,确保每个重要页面至少有一个内部链接。(了解如何构建SEO友好的网站架构)你可以使用站点地图工具检查内部链接情况,内部链接建设是站内SEO优化的重要内容,不可忽略。

2. 网页没有添加到站点地图:

站点地图帮助搜索引擎发现网站上的所有页面,未添加到站点地图的页面可能不会被索引。

站点地图是一个XML文件,用于向搜索引擎详细列出网站中的URL,以及这些URL之间的层级和关联性,从而优化爬虫的索引过程。设置正确的站点地图对于大型网站来说很重要,因为面对庞大复杂的网站很难保证上面的每个页面都至少被另外一个网页链接到。

解决办法:创建或更新XML站点地图,确保所有重要页面都被包含,并提交给Google Search Console。现在站点地图的编写都可以批量完成且能够自动更新, 有很多插件和免费工具提供,大家随便在网上找找。大橘有时间也会撰写一份关于站点地图创建和更新的笔记!

谷歌已发现网页但未编入索引:

3. 网站太大,页面收录较慢:

大型网站可能需要更多时间来被完全索引,特别是如果页面数量短时间内大量增加。

Google Search Console一般会显示“网页已被发现,尚未编入索引”这时候你的网页可能处于索引排队状态可以等待一周时间看看。

解决办法:优化网站结构,减少不必要的页面,提高服务器响应速度,使用Google Search Console监控索引进度。

4. 页面被robots.txt文件禁止:

robots.txt文件中的规则可能阻止了搜索引擎访问某些页面。

如果你或者网站前任SEO设置了robots文件,将某些页面disallow了,那么谷歌不会索引这些网页。

你可以访问https://www.你的域名/robots.txt 检查文件设置的规则。

解决办法:检查robots.txt文件,确保没有错误地禁止了搜索引擎访问重要页面。具体方法请看robots文件的详细教程。

5. 谷歌分配的爬行预算太低:

每个网站的爬行预算有限,如果网站有大量页面,可能导致一些页面未被索引。

谷歌根据网站的历史活动分配相应的爬行预算,如果网站页面数量超过预算,多出的页面谷歌不会索引。

解决办法:优化网站结构,减少重复或低质量内容,提高页面质量,以吸引搜索引擎的注意力增加爬行预算;或者将不重要的页面通过robots文件屏蔽索引,腾出预算空间给重要页面。

6. 服务器错误导致Googlebot无法抓取:

服务器错误(如503服务不可用)会阻止Googlebot抓取页面。

网站长时间访问异常会被谷歌当作废弃网站,谷歌会删掉此前网页的索引。

解决办法:检查服务器日志,修复任何服务器错误,确保服务器稳定运行。关注Google Search Console的消息,网页异常会对你提醒,及时解决就行。最好是定期对服务器进行全访问的健康检查,因为任何一次的网站服务异常都会影响谷歌对你网站的评分。

7. 页面有noindex元标签:

noindex标签告诉搜索引擎不要索引该页面。

谷歌爬虫抓取网站时,最先处理的是robots文件,抓取某个页面时最先处理的是noindex标签。如果你对页面有noindex标签,谷歌不会索引,如果之前索引了,谷歌也会删除。

解决办法:如果页面应该被索引,移除noindex标签。如果页面是重复内容,考虑使用规范标签或合并内容。

8. 页面有被规范标签指向了其它页面:

规范标签错误地指向其他页面,可能导致页面不被索引。

规范标签(rel="canonical" )是一段 HTML 代码,用于声明网页的规范 URL。它可让你在不同的 URL 下定义重复、接近重复和类似内容的主要版本,指示搜索引擎应索引哪个版本。

打个比方,A网页添加了规范标签指向B网页,那么谷歌只会索引B网页,A网页被视作B网页的同一内容的次要版本不会别索引。

解决办法:确保每个页面的规范标签正确指向自身,或指向正确的内容版本。规范标签是人为改变谷歌索引的方法之一,检查网页的元标签是否设置出错。

9. 页面内容重复:

重复内容可能被搜索引擎视为不重要,从而不被索引。

如果网站中存在内容重复的页面,谷歌可能会索引其中一个或者都不索引。

解决办法:确保每个页面都有独特且有价值的内容。使用规范标签处理重复内容问题。

10. 页面质量太低:

低质量内容(内容少,关键词堆砌,元素单一...)可能不被搜索引擎视为有价值。

如果页面内容不好且没有权重高的外链,那么很难被谷歌索引。

解决办法:提高内容质量,比如围绕关键词主题增加内容字数,恰当的带alt描述的图片、视频等,确保内容具有深度、原创性,并且对用户有价值。

11. 页面返回的HTTP状态码影响:

某些HTTP状态码(如404未找到、403禁止访问)可能影响页面的索引。

如果网站访问时返回的状态码不是200 ok,那对网站收录都是有影响的,具体影响与返回的状态码有关。

解决办法:检查并修复任何非人为设置的错误的HTTP状态码,确保所有页面都能正确返回200状态码。(了解HTTP状态码都有哪些以及对应解决办法

12. 谷歌无法渲染完整页面:

如果页面依赖JavaScript生成的内容,而Googlebot无法正确渲染这些内容,可能影响索引。

谷歌要求网站为了用户体验优化内容。如果你的网站源码中内容被隐藏,或者谷歌爬虫抓取内容与用户实际查看内容不一致都会导致网页不被索引,甚至被谷歌惩罚。

解决办法:确保页面的关键内容在没有JavaScript的情况下也能被渲染。使用Google Search Console检查渲染问题。

13. 页面加载时间过长:

页面加载速度慢可能导致Googlebot在有限的时间内无法完全抓取页面。

页面加载速度是谷歌对网站进行排名的影响因素之一,如果页面加载速度过长甚至会导致谷歌不索引该页面。

解决办法:优化页面加载速度,减少HTTP请求,压缩图片,使用缓存和CDN。

一般来说,针对性解决这些问题之后等待谷歌索引就好了,但对于重要页面我们可以在谷歌站长工具重新手动提交收录。

怎么判断一个页面是否被谷歌收录?

1. Site搜索:在搜索栏输入 site:具体网址 后查看结果。(注意英文输入法输入,不要有空格)

site站点演示

2. Google Search Console:在谷歌站长工具中搜索网址查询。

3. SEO工具:使用如SEMrush或Ahrefs的工具检查索引。

4. 直接搜索URL:在谷歌搜索您的页面URL,看是否出现在结果中。

如何提高收录速度

其实,只要将上文出现的可能不收录网页的原因解决并预防,让网页收录基本没有问题,所以大橘主要介绍一些能够快速让新页面收录的方法。

当然大橘很少提及黑帽手法,顶多带一点点灰帽的手段,所以前提是你的网页内容质量本身不能太低,比如关键词堆砌,内容太少,重复内容之类的。

1. 高权重外链促收

如果你着急,希望新网页快点收录,可以给新网页发一到两个高权重外链,这种外链可以是dofollow也可以是nofollow,但nofollow外链需要发生一定的点击行为。比如,如果你只是在社媒上发了新网页的锚文本链接,那么要提高收录速度就需要有一定用户通过社媒上的链接访问你的新网页。这是因为,高权重网站的爬虫很活跃,出现新链接会被快速抓取到。

2. 强制触发谷歌收录

  • 查看页面索引情况
    在Google Search Console的“Indexing”菜单下的“Pages”选项中,可以查看网页的索引情况。
  • 查看未被索引的URL
    点击currently not indexed,打开未被索引的网页列表。
  • 检查URL
    点击未被索引的URL,然后点击“INSPECT URL”检查URL。
  • 强制触发谷歌收录
    然后点击“REQUEST INDEXING”请求编入索引,来强制触发谷歌索引你的页面。

请注意,单纯的“请求编入索引”并不总能解决索引问题,你还可以点击“测试实际网址”以查看谷歌未收录的原因。你需要针对谷歌提示的未收录的原因对页面进行修正,然后谷歌才会索引该页面。

3. 提交某些安全的蜘蛛池

懂得都懂,养蜘蛛终归不是谷歌接受的,容易被惩罚。但如果你着急收录,这确实是个办法。原理就是把网页提交给一些拥有大批量活跃爬虫的站群,增加你网页被抓取的频率从而促进收录。

大橘小提示:对于一定规模的网站,20%的网页没有被谷歌索引是正常的,前提是保证所有重要页面都被谷歌索引!

THE END