网站不被收录的原因

一、robots.txt文件

Robots.txt文件对网站优化前期至关重要，设置得好网站优化排名周期缩短，弄得不好，连网站收录都成问题。例如许多网站上线或者改版之后，常常会在百度快照上看到这样的一句话“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述” 一般都不懂的新手们，都会以为搜索引擎抓取出问题了吧，怎么搞的。其实，这明显就是因为网站robots文件屏蔽操作导致的,对于这种情况，网站不收录完全就是正常情况，小编只想说，不修改robots.txt文件没其他办法拉!不知道robots.txt文件怎么写的童鞋，可以去参考这篇文章：《规范搜索引擎抓取收录的书写》。

另外关于robots.txt文件导致网站没收录的原因还有一个，那就是网站上线前期，许多小伙伴认为网站内容还不够完善，还需要作调整，于是就在robots.txt文件里面写下禁止所有搜索引擎蜘蛛来抓取，想着等网站完善好了，再更改规则让搜索引擎蜘蛛来抓取。小编只想说每个人都是有脾气的，搜索引擎蜘蛛虽然是机器，但脾气绝对不小，你网址能正常打开，一次来你拒之门外，二次三次也还是拒之门外，然后搜索引擎蜘蛛就启用它的记忆功能了，这家伙给我的第一印象极差，多次上门都不请我进去坐坐，后果可想而知。所以就算过一段时间再把禁止规则去掉，蜘蛛已经长时间不来光顾，网站没有收录也是再正常不过。

二、网站框架

不得不说很多SEOer十分严重的一个问题：不会搭建网站。事实就是80%的SEOer都只会套网站模板，然后简单修改修改就算是完成网站搭建了，尽管很多优秀的seo网站也是这样过来的，但更多的是失败的例子。搜索引擎之所以会收录这个网站的页面，首先是这个页面的框架是符合抓取规则的，不然网站全部都是js和图片，搜索引擎压根很难识别，就算是网站框架是符合规则的，但蜘蛛抓取完后必然会经过一套过滤删除，符合它胃口的页面才真正被收录，在此期间有一个很重要的一点就是，不要经常改动网站框架，不然网站没有收录也是情理之中吖!蜘蛛就喜欢专一的人，这样印象才好，才有信任度。

三、页面内容

不少SEOer都一致认为,搜索引擎是以“内容为王”，实际也是八九不离十，网站内容的重要性几乎可以影响整个网站的优化排名结果，举个简单的例子，一个网站站内基础优化做得十分出色，无可挑剔，但网站的内容是采集回来的，也就是全部复制别人的，结果是这个网站几乎没有页面被收录，原因当然是就是搜索引擎经过它的计算，知道你的内容是复制来的，价值不高，没收录的必要。另一个网站站内基础优化做的比较差，页面做的也不好，但它的网站内容确实原创的内容而且刚好就是满足用户需求的内容，结果是这个网站的页面基本都收录了，排名也还不错。

总的来说就是搜索引擎就是要找有价值的内容，如果网站没有具有价值的内容，在搜索引擎看来这个网站是低价值的，不管这个网站在用户看来有多好看、有多大气、特效有多炫，关于网站内容大家可以参考《做好SEO营销之软文写作推广》。小编认为，网站内容原创不原创还不是重点，重点是这个内容是否重复的，是否对用户有价值的，只要不是完全一样的而又对用户有价值的内容，页面收录不是问题!

四、heimao技术

之前有个SEOer朋友，他新网站上线前期，收录扛扛的，当时还沾沾自喜，前几天找到我跟我说网站收录全没了，我再三追问之下，得知原来是为了加快网站收录用了heimao技术，被惩罚得到现在都没恢复。在此告诫小伙伴们切勿违反搜索引擎制定的规则，明文规定会惩罚的千万不要去做，谁试谁知道，倒霉的最终都是自己，短期的效果虽然十分诱惑，但一旦被惩罚，前期付出的努力岂不是白白浪费?所以说正规白帽SEO才是能长期带来效益的好途径，且行且珍惜。