最新消息:站点添加了一些不太友好的内容,请见谅...

反击爬虫,前端工程师的脑洞可以有多大?

深夜食堂 onlyling 484浏览 0评论

对于一张网页,我们往往希望它是结构良好,内容清晰的,这样搜索引擎才能准确地认知它。

而反过来,又有一些情景,我们不希望内容能被轻易获取,比方说电商网站的交易额,教育网站的题目等。因为这些内容,往往是一个产品的生命线,必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。

但是世界上没有一个网站,能做到完美地反爬虫。

如果页面希望能在用户面前正常展示,同时又不给爬虫机会,就必须要做到识别真人与机器人。因此工程师们做了各种尝试,这些策略大多采用于后端,也是目前比较常规单有效的手段,比如:

  • User-Agent + Referer检测
  • 账号及Cookie验证
  • 验证码
  • IP限制频次

而爬虫是可以无限逼近于真人的,比如:

  • chrome headless或phantomjs来模拟浏览器环境
  • tesseract识别验证码
  • 代理IP淘宝就能买到

所以我们说,100%的反爬虫策略?不存在的。

更多的是体力活,是个难易程度的问题。

不过作为前端工程师,我们可以增加一下游戏难度,设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。

反击策略

查看详情反击爬虫,前端工程师的脑洞可以有多大?

  • FONT-FACE拼凑式
  • BACKGROUND拼凑式
  • 字符穿插式
  • 伪元素隐藏式
  • 元素定位覆盖式
  • IFRAME异步加载式
  • 字符分割式
  • 字符集替换式

转载请注明:OnlyLing-WEB前端开发者 » 反击爬虫,前端工程师的脑洞可以有多大?

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址