taobao

淘宝网,百度喊你回家设置robots.txt-Baiduspider

2010年2月18日 作者 FarLee   ‖浏览(9,338)

2008年9月淘宝网(www.taobao.com)正式屏蔽百度搜索引擎。评论认为和阿里妈妈及竞争对手百度有啊C2C平台有关。淘宝网的robots.txt文件设置中Baiduspider大小写,淘宝网屏蔽百度杜绝利用百度竞价排名和搜索引擎优化的商家往百度上下功夫,能使庞大的商家和消费者群体聚合在会员制电子商务网站内,为B2C淘宝商城mall.taobao.com埋好伏笔。site:taobao.com发现百度仍有收录淘宝页面,为独立二级域名设置robots.txt文件可以完全从Baidu中消失。