跳到正文

对付慢速爬虫的“艰难”探索 - 先知社区

在我的定义里,爬虫在速度上一般有两种级别:在短时间内把你爬死的和鬼子进村悄悄滴慢慢爬你的。 前一种爬虫步子迈得太大,容易扯到蛋,被运维同学通过突发资源消耗或者简单频控就能识别出来。 后一种爬虫比较恶心,它爬取的速度很慢,隐藏在滚滚业务洪流中,隐蔽性极强,危害极高,识别难度也很高,就十分气人,我通常称呼它为慢速爬虫。 当…

需要登录

登录后继续阅读

正文、附件和回复仅对社区成员开放。

账号设置了安全提问?

忘记答案或答案错误,请用注册邮箱联系 bh@blackhat.net 清除安全提问。

忘记密码?