Skip to content

防爬虫

一些思路,爬虫终归是由代码编写的,只要区分出它和正常人的行为即可发现端倪。

  • 访问时间
    一般来说,半夜都是人类睡觉的时间,若此时有大量访问,可深入分析。

  • 访问频率
    对于可能某些接口,正常人很少访问,而爬虫可能不厌其烦的抓取。

  • 周期性访问
    访问的时间和次序具有规律性,爬虫往往喜欢使用遍历的方式。

  • IP 来自服务器提供商

彩雲博客