Nginx网站屏蔽百度搜索引擎蜘蛛方法 经验分享

Nginx网站屏蔽百度搜索引擎蜘蛛方法

因为博客偶尔发一些翻墙相关的文章,所以不想让墙内的搜索引擎蜘蛛比如百度、360、搜狗、神马、有道等爬取到不和谐的内容,只想低调不出众的安安分分分享自己的喜欢东西。 通常的做法是使用robots.txt...
阅读全文