首先是蜘蛛来到网站：大家都知道，搜索引擎来到一个网站靠的是外部链接，如果你没有和其它网站有外部链接，那么蜘蛛就不能顺着这些网状结构的链接爬行到你的网站，就无从谈起抓取收录，也就不会有排名，因为你的网站在搜索引擎的大门外。当蜘蛛来到你的网站首页时(一般的外部链接都是链到首页)，最好让他沿着首页继续爬行更加深的内容和产品页，这样才能最大化的进行收录，因此网站需要不错的外部链接来引诱蜘蛛，同时网站内部需要良好的网站结构，尽量达到扁平化或者树状结构。让蜘蛛不但能来到你的网站，也能顺着这些合理的结构进行爬行。一般情况下，网页之间最好用文字链接，不建议使用JS、Flash或者图片，现在搜索引擎还无法完全理解这些脚本里边包含的内容是什么。另外，我们可以制作网站地图，把所有重要的页面都以链接的方式显示出来，这样蜘蛛就能顺着网站地图顺利的爬行你的网站。最后和大家说的是，最好所有的页面能在三四次点击内达到，如果点击次数太多的话，收录很困难。

    接着是蜘蛛抓取网站：在收录和抓取上，建议大家尽量使用静态页面。虽然现在蜘蛛已经完全能读懂动态页面的意思，并且也能很顺利的进行爬行和抓取，但是通过研究我们可以发现，往往的静态页面排名要优先于动态页面。在外部条件相同的情况下，一般静态网页的权重稍微高于动态。有时候动态网页由于设计的问题容易让蜘蛛进入无限循环，所以搜索引擎会远离这类URL。另外有些企业网站是全Flash设计的，在读取上非常困难，一般不太容易实现收录。另外就是避免框架结构，刚开始出现网页设计时，框架曾经很流行，现在还有很多网站在采用框架结构，但这个是让搜索引擎很头痛的东西。搜索引擎基本不对框架里边的东西进行抓取。除了框架之外，还有的就是音频文件，图片，广告代码，弹窗等都不利于蜘蛛爬行。蜘蛛喜欢文字性的内容。因此我们有了足够的外部链接来引诱蜘蛛时，要注意的就是合理的使用网页设计的元素，这样才能让搜索引擎顺利抓取你的网页和内容。

    最后是被搜索引擎提炼：我们的网页中包含图片，包含文字，同时也包含很多其它文件，搜索引擎并不会抓取不相关的文件，只会抓取文字内容。所以Html代码需要进行优化才能让搜索引擎以最快的速度提炼出最重要的信息。总体要符合以下六个原则，一是格式标签占的比例越低越好，文字内容占的越多越好;二是把css、js等文件放在外部，需要时进行调用;三是把关键词放在合理的标签中，比如标题常常放在H1标签中。四是检查网页的兼容性，使用不同的浏览器进行测试;五是尽量符合W3C标准，虽然这个不容易，但是尽量把代码标准化;六是只有蜘蛛顺利爬行你的网页并提取有用的信息，才是比较友好的设计。以上六个原则是进行设计是必须要注意的，有很多网页里边包含了大量的CSS以及JS代码，就会影响蜘蛛的爬行，如果重要内容在这些内容下，那么很可能不会被搜索引擎爬行到。

    我们做网站的时候需要照顾到用户体验，但是用户体验并不和友好搜索引擎的代码相互冲突。如果你的网站一定要使用Flash或者Ajax才能达到效果，那么也可以用，但尽量少用。很多网站导航喜欢用图片，其实纯CSS的代码也能设计出漂亮的菜单，同时也利于搜索引擎抓取。我们在设计网页的时候，首先要考虑的是如何服务用户，但同时记得不要把搜索引擎的蜘蛛拒之门外就可以了。不必苛求两者中的任何一个方面。