启明 SEO云哥学习笔记分享：了解301,404,robots,网站地图基础知识及制作
一：RObots和SEO技巧？
答：Robots.txt是爬行协议，机器人协议等，也是网络爬虫排除协议（robots Exclusion Protocol）通过网站SEO优化通过Robots协议
告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取；
Robots拿来做屏蔽不必要的文件目录抓取及允许抓取部分；
用来优化蜘蛛爬行的作用；
提高爬行效率的作用；
减少宽度消耗的作用；、
防止双收录的作用；
可提交网站地图
如何设置Robots?
答：新建Robots.txt
编辑内容；
上传到根目录；
Robots的语法？
答：User-agent:用来表示搜索引擎的名称；
User-agent: (空格)Baiduspider：首字母大写；
备注：在冒号后边，要加个空格，否则不生效；
User-agent: * (代表所有搜索引擎)
Disallow 作用：禁止收录：
Disallow: /（作用：禁止收录所有）
Disallow: /user/login.html (禁止收录这个文件)
禁止搜索引擎收录所用的动态URL：Disallow: *?*
Disallow: /user/*.html (禁止收录这个栏目下面所有html文件)
Disallow: /user/ps* (作用：禁止收录USER目录下的所有PS开头文件)
Disallow: /*adm ?????????disallow: /adm*
Allow: 作用是允许收录：
Allow: / ??Allow: .jpg$
Allow: /html*
