一种黑帽常用的黑帽SEO手段
判断来路是搜索蜘蛛就让蜘蛛看到全部的页面代码，
网上有很多垃圾蜘蛛 直接全部屏蔽就行 蜘蛛方面 只保留 百度 搜狗 360 就可以了 其他比如 谷歌一类的手索引蜘蛛 爬行量 相当大 但是没有意义 因为国内的环境问题 根本就来不了几个流量 不划算 不如屏蔽掉
垃圾蜘蛛列表acoonbotahrefsbotalexa toolbarapachebenchapplebotasktbfxtvblexbotchinasospidercompspybotcoolpadwebkitcrawldaddycurldigextdotboteasouspiderec2linkfinderedisterbotelefentexabotezoomsfeeddemonfeedlyheritrixhttpclientichiroindy libraryjauntyjavajikespiderjorgeelightdeckreports bothttp://mail.rumicrosoft url controlmj12botmsnbot-mediaobotperlpsbotpurebotpythonpython-urllibscrapyseokicks-robotsiteexplorerspbotspidermanswebotswiftbotteleportteleportproturnitinbotturnitinbot-agentuniversalfeedparserwangidspiderwbsearchbotwebdupwgetwotboxwsanalyzerxbfmozillaxenuyandexbotyottaayunguanceyyspiderzmeu