苏州百度中心，选择苏州菜根谭网络科技，蜘蛛排除robots协议
苏州菜根谭吴中区角直镇百度推广账户托管维护，蜘蛛排除robots协议
搜索引擎蜘蛛如何排除标准robots协议？如果不想搜索引擎的蜘蛛程序抓取网站所有页面或者是网站某类页面，那么我们就需要了解搜索引擎蜘蛛排除的一些标准，这些标准称为robots协议，格式一般是TXT文件。robots.txt文件一般都放置在网站的根目录下，期就说明了网站中的哪些网页是搜索引擎蜘蛛可以索引的，那些页面是搜索引擎蜘蛛不可以索引的。
一、Robots协议的代码形式
Robots协议是使用了特定的语法才能使爬虫理解文件中的含义。Robots.txt文本文件基本的形式如下：
User-agent:*
Disallow:/
所有的robot文件中一定要有以上两句语句。
第一句User-agent的意思是告诉蜘蛛所对应的是哪里个搜索引擎，“*”是代表所有的蜘蛛；
第二句Disallow是告诉搜索引擎蜘蛛那些地方不可以索引，可以针对某一个搜索引擎，也可能针对所有的搜索引擎。“/”是代表所有的目录；
提示，在User-agent和Disallow后面都需要加冒号（：）它起的作用是要求搜索引擎时和蜘蛛注意的信息；
二、实例讲解
1、要求所有搜索引擎不能访问/kehu文件夹下的网页；
User-agent:*
Disallow:/ kehu/
2、要求百度搜索引擎不能访问/kehu文件平下的所有网页；
User-agent: Baiduspider
Disallow:/ kehu/
3、要求百度搜索引擎和谷歌搜索引擎都不能访问/kehu文件平下的所有网页
User-agent: Baiduspider
Disallow:/ kehu/
User-agent: googlebot
Disallow:/ kehu/
4、屏蔽所有动态页面被搜索引擎收录
User-agent: *
Disallow:/*?*
5、禁止所有搜索引擎抓取指定的某个页面的
User-agent: *
Disallow:/指定的某个页面的URL地址
提示，搜索引擎蜘蛛访问robots.txt文件时是丛上往下访问，当搜索引擎蜘蛛访问到合适规定的时就会停止读取，并根据规则访问网站。
三、各搜索引擎蜘蛛对应的英文名称
google蜘蛛：googlebot
百度蜘蛛：baiduspider
搜狗蜘蛛：sogou spider
搜搜蜘蛛：Sosospider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
苏州菜根谭网络科技有限公司
联系人:孙经理
手 机:15895581295
微 信:15895581295
座 机:0512-66153332
Q Q:1753380525
邮 箱:cgt@cgtclub.com
网 址： www.baiduyue.com
地 址: 苏州高新区科技城管委会科新路8号立德商务广场2幢512（南京银行东边100米）
主要服务项目：
百度搜索推广账户搭建及运维或托管（专业百度推广客服）
（解决百度推广账户消费快、下线快、消费多、恶意点击多、在线时间短等问题）
营销型网站建设及维护（网站快速收录，提升网站关键词排名）
（目前支持优惠政策的产品有
PC站+手机站+微站，PC站，手机站，微站，小程序
优惠政策是：一年起做，做2年送1年，做3年送2年，做5年送3年）
网站托管（按照营销方式发布信息，增大快照收录，提升排名）
平台营销及维护（增加企业信息曝光量，让客户更容易找到）
微信公众号托管（减少企业成本，专业优质服务）
