对付慢速爬虫的“艰难”探索 - 先知社区
在我的定义里,爬虫在速度上一般有两种级别:在短时间内把你爬死的和鬼子进村悄悄滴慢慢爬你的。 前一种爬虫步子迈得太大,容易扯到蛋,被运维同学通过突发资源消耗或者简单频控就能识别出来。 后一种爬虫比较恶心,它爬取的速度很慢,隐藏在滚滚业务洪流中,隐蔽性极强,危害极高,识别难度也很高,就十分气人,我通常称呼它为慢速爬虫。 当…
在我的定义里,爬虫在速度上一般有两种级别:在短时间内把你爬死的和鬼子进村悄悄滴慢慢爬你的。 前一种爬虫步子迈得太大,容易扯到蛋,被运维同学通过突发资源消耗或者简单频控就能识别出来。 后一种爬虫比较恶心,它爬取的速度很慢,隐藏在滚滚业务洪流中,隐蔽性极强,危害极高,识别难度也很高,就十分气人,我通常称呼它为慢速爬虫。 当…
正文、附件和回复仅对社区成员开放。