（5）第五步，流量分析，并不断优化。流量分析包括查看原始日志与SEO分析工具。日志可以看搜索引擎蜘蛛对网站的爬行情况、看收录情况、看关键词的排名、流量、网站的自然流量情况、langdingpage的情况。此外，也有相应的SEO分析工具可以帮助大家了解SEO优化效果。了解效果之后，如果没有达到预设的目标，我们需要再从关键词研究开始，重新进行调整优化。 SEO的过程基本都是这五步，无论是自己做还是让第三方来做。
“抓取”和“索引”
很多人经常混淆“抓取”和“索引”这两个概念，你能否解释一下，以及页面在什么情况下应该追求索引，什么时候应该追求收录？
但这些页面其实是被抓取过的，因为如果没有被抓取的，搜进去根本看不见no index这个标签，但是你不想让它被收录。
页面不要被抓取一般在这种情况下使用：对于一个特定的网站，搜索引擎抓取网站的时长基本是固定的，所以我们应该把抓取时间用在核心页面上。对于一些大网站，这一点尤其重要，由于网站太大，如果把抓取时间都放在一些过滤页面上，很容易一组合就几百万、几千万个页面了，搜索引擎没有机会也没有时间再去访问你想要被访问的页面。所以有的时候，你可能希望搜索引擎不要抓某些页面。那么，那些你不想让抓取的页面的链接尽量不要在网站上出现。你可以用Java Script去隐藏，或者加nofollow，或者用robots文件禁止搜索引擎去抓这些文件。另外一种情况是，你可以让搜索引擎抓，但是不想让搜索引擎索引，“索引”也就是把这个页面的信息放在它的数据库当中。有的时候，这两个，不让抓取和不让索引是相反的过程，比如说刚才讲的上面提到的过滤页面。有的时候，其实如果你的网站没有那么大，你的抓取时间还没有达到搜索引擎分配给你的上限，那可以让这些页面抓取，但是你不想被收录，因为这些页面往往都是重复内容，因为它无非就是换个搜索条件，换个筛选条件，重排了一遍，产品还是一样，所以经常是大量的重复内容。如果这种重复页面多了的话，搜索引擎有可能认为这个网站是不是有什么问题，或者总体质量不太高。那么你可以让搜索引擎不去索引这些页面。你要用页面头上的no index标签，放上no index以后，这些页面就不会被放到索引库里。所以在搜索这些页面的时候，是没有结果的。但这些页面其实是被抓取过的，因为如果没有被抓取的，搜进去根本看不见noindex这个标签，但是你不想让它被收录（见图3-7-4）。
图3-7-4 索引和收录
所以“抓取”和“索引”是两种不同的情况，处理的时候也要用不同的方法。你需要根据网站的具体情况确定使用哪种技术方法去实现。
外链所占权重
当网站巨大，页面数量特别达到千万或上亿量级，就会出现这样的情况：有一些页面非常难被收录。针对这一块，有没有好的解决方案？
有时候这种情况不可避免，但是我们可以去尽量想办法（见图3-7-5）。
（1）提高网站整体的权重。整体权重的提高，就会使搜索引擎分配给你的抓取时间也提高，然后整个网站能被带动，也就使所能允许被索引的页面总数也能提高。权重很低的网站，它可能就给你3个页面，你只能收录那么多，然后抓取时间也很少。但是像新浪、阿里巴巴那种级别的，域名又老，权重又高，给它的时间也长，能抓取的机会，能收录的数量也会相应地提高。这是一方面，提高域名的总体权重。
图3-7-5 解决方案
（2）提高整个网站内容的平均质量。也就是说尽量让原创内容更多一点，更新的速度更快一点，使搜索引擎觉得你这个网站内容都是原创的，这样它能够更快地收录你的网站，也能够消除一些像刚才讲的不利于SEO的重复内容。
（3）就是刚才讲的，SEO工作过程里面的第二步，网站架构的设计。大的网站，页面多，就必然要想很多方法，怎么能够使搜索引擎蜘蛛从首页出发，能够尽快达到所有的页面。比如说不要超过4～5次点击距离，如果是大一点的网站，可能6～7次点击距离。但对于大网站，页面特别多，往往是无论你怎么安排链接，怎么安排导航结构，都很难使所有的页面都在4次点击距离内。通过网站页面之间互相的内链，内链的安排，相关栏目相关产品内链的安排，去使搜索引擎蜘蛛从那些已经被收录的页面或者栏目，找到一个通路，到达那些没有被收录的页面。基本上，这些方法能够尽量使网站被收录和被抓取的页面越多。
现在谷歌、百度等搜素引擎出了很多算法来规避垃圾外链。据我所知，外链的权重是越来越低。那么外链现在所占的权重大概会是多少？
外部链接在整个搜索排名算法当中的重要性其实是一直在降低。但即使这样，它还是最重要的因素。
应该这么讲，外部链接在整个搜索排名算法当中的重要性其实是一直在降低。但即使这样，它还是最重要的因素。只不过以前外链的权重占到60%～70%，现在降低到30%～50%。无论百度还是谷歌，都有一些相应的算法，去剔除掉一些它们认为质量不高的链接，对网站比较轻的影响是这些外部链接失去了作用，比较重的影响可能会惩罚网站。所以外部链接的群发、论坛留言的垃圾链接、黑链、买卖链接这种手段，有的时候短期是有效果的，但从长远来说，风险很大的，因为
