不论你的网站是用Shopify建立的，还是Wordpress，还是Magento，要注意你的网站都要做优化
我们在讲到针对一个网站的优化，特别是站内优化的时候，其实主要包含
2大方面：
- 一是针对页面的SEO （on-page ）
- 另外一个是网站结构优化，也叫做技术性SEO
由于搜索结果的竞争越来越激烈，对SEO在技术上的优化也提出了更高的要求。
一个表现良好的网站，必须要是可抓取、快速、安全的网站。
技术性SEO包含的内容很多，涵盖网站的结构设计、URL、网络地图等内容，而且是一个技术性很强的方面。
今天我主要说一说网站技术SEO的六个基本方面网页上有错误怎么修复，做好这六大方面，网站的性能会更加优化和健康。
很多人可能看到这一章节会觉得很枯燥，但是其实是很重要的。
为什么呢？
因为一个网站，如果你花了很多时间在获取流量上，比如广告，比如红人，但是基本的文章的audit（审视）都没有过关的话，那么无形之中会大大增加你网站的营销费用。
试想一下一个2秒打开速度的网站，和一个十秒才打开的网站，那效果能一样吗？
所以从一个网站的优化角度来讲，特别是技术性优化的角度来探讨，我们要从以下几点进行优化:
01
确保网站可抓取
对于搜索引擎优化，做好优质内容是必须的。但是只有优质内容还不够，如果搜索引擎抓取不到这个页面，那你辛辛苦苦编写的内容不是白费了吗？
确保网站可抓取，首先要检查robots.txt文件，这个文件是任何网络爬行软件到达站点时的第一个调用点。
robots.txt文件会明确应该被抓取的和不应该被抓取的部分，表现为允许（allow）、禁止(disallow)某些用户代理的行为。
通过将/robots.txt添加到根域末尾，可以公开使用robots.txt文件。我们看一下Hallam网站的示例：
可以看到，Hallam网站不允许以/ wp-admin（网站后端）开头的URL被抓取。通过指明哪些地方禁止这些URL，可以节省带宽、服务器资源和爬网预算。
与此同时网页上有错误怎么修复，搜索引擎爬虫抓取网站的重要部分时，不应该受到禁止。
因为robots.txt是爬虫在抓取网站时看到的第一个文件，所以最好是将robots.txt指向站点地图。可以在旧版的Google Search Console中编辑和测试robots.txt文件。
在robots.txt的测试工具中，下面的网址栏输入任何网址，就可以检查这个网址能否被抓取，robots.txt文件中有没有错误和警告。
因为旧版的Google Search Console功能要比新版本的功能多一些，在技术SEO方面旧版本会更好用一些。
比方说，旧版本可以查看站长工具上的抓取统计信息区域（Craw Stats），对于了解网站的抓取方式会更加的方便。
这个报告有3个图表，显示了最近3个月的数据。
每天抓取的网页数量、每天下载的千字节数、下载网页所花费的时间（以毫秒为单位），能够显示网站的抓取速度及和搜索引擎爬虫的关系。
搜索引擎爬虫定期访问某网站，并且这是一个快速而且容易被抓取的网站的话，这个网站就会有很高的抓取速度。
这些图表数据如果能保持一致是最好的，任何重大波动都会出问题，可能是HTML损坏，内容陈旧或robots.txt文件阻止了太多URL。
如果加载一个页面需要很长时间，表示爬虫爬取时间太长，建立索引速度较慢。
还可以在新版的Google Search Console查看覆盖率报告中的抓取错误。
这些地方都是有爬取问题的页面，点击可以显示这些页面。检查这些页面是什么原因导致的爬取问题，最好不是很重要的页面，尽快解决这些问题。
如果你在Craw Stats或覆盖率报告中，发现重大的抓取错误或波动，可以对日志文件进行分析查看。
从服务器日志访问原始数据可能会比较麻烦，因为分析是高级设置，但它有助于准确理解哪些页面可以被抓取、哪些不能抓取。
哪些页面会被优先处理，哪些区域出现了预算浪费的情况，还有爬虫在爬取网站的过程中收到哪些服务器响应。
02
检查站点可编入索引
检查爬虫是否可以抓取网站之后，还要搞清楚网站上的网页有没有编入Google索引。
有很多方法可以检查这一问题，前面用到的Google Search Console覆盖报告，就可以用来查看每个页面的状态。
从这个报告中我们看到四个数据:
还可以使用URL检查工具分析特定的URL。
如果某主页的流量有所下降，就该检查这个新加入的网站是不是已经编入索引，或者对这个网址进行问题排查。
还有一个好方法可用来检查网站能否索引，就是使用爬取工具，推荐Screaming Frog。
Screaming Frog是最强大、使用最普遍的爬取软件之一。它有付费版本和免费版本，可以根据网站的大小进行选择。
免费版本的功能有限，抓取的数量限于500个URL。而付费版本的年费是149英镑，有很多的功能和可用API，没有抓取限制。
运行爬取软件之后，就可以看到和索引相关的两列结果。
Indexability：可索引性，显示URL能否被编入索引，是“可索引”还是“不可索引”。
Indexability Status：可索引性状态，显示URL不可索引的原因是什么，是不是被编为了另一个URL，或是带有无索引标签。
这个工具是批量审核网站一种很好的方式，可以了解哪些网页正在被编入索引，哪些网页不可被编入索引，这些都会显示在结果中。
对列进行排序并查找异常的情况，使用Google AnalyticsAPI，能有效识别出可索引的重要页面。
最后，还可以使用这个网站检查你的页面有多少是已经索引的：domain Google Search parameter。
在搜索栏中输入site：yourdomain并按Enter键，就可以看到网站上已被Google编入索引的每个网页。
示例：
这里我们看到boots.com有大约95,000个已经索引的URL，通过这个功能我们知道Google现在存储了多少网页。
如果你的网页数量和被谷歌索引的数量差很多。
那么你应该思考：
版权声明
本文仅代表作者观点。
本文系作者授权发表，未经许可，不得转载。
发表评论