关于robots文件的使用，很多站长是不使用或者是不知道屏蔽什么内容，这里要说下robots文件的作用，robots文件是限制让搜索引擎允许抓取哪些页面，不允许抓取哪些页面的为什么要限制
1.集权搜索引擎对于一个网站权重的打分不仅仅是在于页面的收录数量，还在于对站点内容质量，尤其今年以来更加看重，比如会计算整站内的原创占比，相信很多玩熊掌号的朋友，又不自己写原创的，都会收到一封说自己站点原创度为0的一封信，索引原创占比还是比较重要的。同理，网站被评为高质量的页面占比越高，搜索引擎对站点的信任度也就越高。我们在新站上线前可以屏蔽这些页面：联系我们页面、公司简介页面、公司签约新闻页面、网站后台登录页面等一些不参与关键词排名的页面。这些页面本身不参与关键词排名，对于搜索引擎来说这些页面内容也是不充实的，如果也让抓取了，那么对于整站来说其实也是拖后腿的。而其他页面内容用心更新，都是高质量页面，搜索引擎会认为你整个站点都是高质量的，所给予的权重当然较高。
2.当你个别页面再改版的时候，又不想第一时间被搜索引擎蜘蛛抓取到，生成一些不良的快照位，那当然要用robots文件屏蔽。
网站地图
很多站长对于网站地图基本上都是url全站导出而直接挂在网页上，方便蜘蛛抓取，与robots文件其实使用是类似的，我们需要蜘蛛爬行的是参与排名，有一些权重的页面，另外一些不参与排名的页面还是别让蜘蛛爬行抓取了，并没有什么用。收录的数量与收录的质量对比，相信各位seo人员心里都自有定论。另外对于新站来说搜索引擎抓取的频次是有限的，如果一开始这些没用的页面也加在一起，那么会造成一种浪费。
首页链接有些站长觉得首页内链的数量越多越好，这里建议大家适量控制。如果首页内链数量太多，很容易让搜索引擎判断错误，因为首页对于seo来说是一个特殊的页面，它可以帮助搜索引擎了解网站栏目结构与网站的核心内容是什么。如果存在大量的内页链接，搜索引擎容易判断错误，不知道你的核心内容是什么。
锚文本没有任何一家搜索引擎公开表示锚文本可以直接的提升关键词排名，锚文本是通过提高网站页面的相关性，从而间接地提高网页权重，进而再一步地提高网站关键词排名。1.锚文本应该是文章页面之间的链接，而不应该指向总是指向首页。
2.目标链接应该具有极高的相关性。
3.目标链接页面应该具有一定的权重与关键词排名。目录层级与url目录层级不建议超过三级，确保任何着路页点击不超过三次进入。页面尽量静态化，每个页面url保持唯一路径，网站上线以后勿改url。
总结：如果你没有很厉害的算法对抗，你也没有任何站群资源，那么你做seo优化过程中，需要注意这些细节，细节往往决定成败。