robots.txt

robots.txt设置Google Adsense不显示公益广告

2010年4月15日 作者 FarLee   ‖浏览(7,772)

投放了Google Adsense 广告代码的WordPress 博客展示公益广告,因为设置robots.txt文件阻止Google搜索引擎蜘蛛Googlebot及Baiduspider,Adsense 广告抓取工具Mediapartners-Google无法抓取被 robots.txt 文件设置阻止的页面。设置robots.txt文件User-agent: Mediapartners-Google Allow: / 能使Google Adsense 广告在全站正常显示而不展示公益广告。

robots.txt和Google重复相似页面

2010年3月21日 作者 FarLee   ‖浏览(9,790)

又碰到了robots.txt文件和Google重复相似页面的问题了。用Site:farlee.info查看Google收录数,发现搜索结果有接近3页的Goolge相似页面(重复页面或Google网站补充材料)。收录的重复页面大部分是文章评论的feed页面,robots.txt文件失效了?最后增加了robots.txt的两条Disallow规则,同时使用get_post_comments_feed_link()函数将feed网址加上rel=’nofollow’属性标签。

淘宝网,百度喊你回家设置robots.txt-Baiduspider

2010年2月18日 作者 FarLee   ‖浏览(9,110)

2008年9月淘宝网(www.taobao.com)正式屏蔽百度搜索引擎。评论认为和阿里妈妈及竞争对手百度有啊C2C平台有关。淘宝网的robots.txt文件设置中Baiduspider大小写,淘宝网屏蔽百度杜绝利用百度竞价排名和搜索引擎优化的商家往百度上下功夫,能使庞大的商家和消费者群体聚合在会员制电子商务网站内,为B2C淘宝商城mall.taobao.com埋好伏笔。site:taobao.com发现百度仍有收录淘宝页面,为独立二级域名设置robots.txt文件可以完全从Baidu中消失。

wordpress robots.txt设置-google百度seo优化差异

2010年2月17日 作者 FarLee   ‖浏览(23,131)

如何设置WordPress robots.txt文件?WordPress独立博客程序和Google搜索引擎都是国际性的,因此WP良好的SEO优化基础是针对Google的,对本地化百度搜索没有针对性SEO,比如Google首选域,Google支持的rel=”canonical”,rel=’nofollow’ (rel=’external nofollow’) 属性。robots.txt文件是Google及百度优化都有效的。下面是我的WordPress 博客robots.txt文件的设置举例.

robots.txt用法和seo作用-Googlebot/Baiduspider

2010年2月17日 作者 FarLee   ‖浏览(13,465)

通过给网站设置适当的robots.txt对Google和百度seo优化的作用是很明显的,robots.txt是什么?用法?robots.txt文件告诉Google、百度等搜索引擎spider(Googlebot/Baiduspider)哪些网页允许抓取、索引并在搜索结果中显示,哪些网页被禁止。robots.txt的作用减少带宽,SEO优化之减少了网站重复页面。robots.txt文件的用法举例说明。User-agent: * Disallow: Allow: /