前言
本计划先发一篇随机数相关的文章,结果最近因为马蜂窝被爬虫工程师捅出来了个大篓子,同时我因为把自己的阅读工具从各个 App,如: 36kr,掘金,twitter,微博,微信公众号等等,迁移到了 telegram 并用 channel 来订阅各个阅读材料的更新,不得不和各个 App 的反爬虫加密斗智斗勇。觉得这些经验应该对大家更有帮助,于是在这里分享一下我的攻击手段,希望对大家保护 API,起到抛砖引玉的作用。
案例一、某财经 APP 的订阅杂志
这个杂志是我最喜欢的阅读内容没有之一,我买了三年的订阅了。上周过期了,却想看我离线了的去年杂志中的一篇文章,结果发现打不开。瞬间不爽,让我动了杀心,就用著名网络调试工具 Surge 直接在手机上用中间人攻击抓了一下她的包。
结果发现他的杂志列表是这样的:
注意 package_path!这玩意绝绝绝绝对不应该露出来的。
随手 wget 了杂志链接,发现开发者貌似考虑到了这种情况,杂志是加密的。对于 zip 的加密,肯定要有个地方传输 password。然而我来来回回的找,结果也没找到类似的 API,也没看到 socket 之类的存在。开始怀疑是不是有需要付费后才可看到的 API,于是我去看了眼代码。
对于我临时兴起,身边没有准备越狱机器。只能用我不擅长的 Android 逆向来找问题了。首先用 jadx 把 APK 中的代码提取出来,注意!这里 APK 没有做任何加固!
在代码中 grep zip 相关内容,结果我们有:
public native String getZipKey(Context paramContext);
这个 API 简直可疑到飞起,以及我们发现一个有趣的事情:native
,也就是说这个 API 是 ndk 编译的。结果,在 lib 文件夹下看到了一个 libZipKey.so
。这是我见过的最蠢的命名,仿佛在说 key 在我这里,快来逆向我吧。
凭这一套 API 的设计,我们可以知道这开发者的的水平高不到哪去。于是我先用 strings
命令,扫描一下这个动态链接库中对应的字符串符号。看到了一个 e811xxxxxxxxxxxxxxxxxxxxx
的字符串非常奇怪。就随手去解压一下,bingo…然后就没然后了。这一套东西花了五分钟不到,连动态调试都没用上就搞定了。
这个 APP 也是我每日必看内容,他文章质量高到飞起。有很多大局观的长文非常值得一看,这也是我最想先搬到 telegram 上的。
然而他的手机版、PC版的主页格式比较复杂,feed 里面嵌 banner。有的 banner 还和 feed 重复做重点曝光,很复杂。我就想先去抓它家 app 的 json API,结果不断撞墙开始了。
作为分析网络包的第一步,肯定是用 Surge 做中间人攻击,结果发现客户端居然做了证书校验你敢信!直接抛出来了个 handshake error。为了确认我 Surge 的使用姿势是没错的,我又用了 Charles 重复了一遍,结果一样。
在这个情况下,不越狱的 iPhone 就无计可施了,我们连他请求的 path 都不知道,只能继续静态分析。
老样子下载 APK,逆向拉出来 jar,同样这个 APP 也没有加固,也没有做混淆,我们又可以不断去 grep 内容了。通过 grep 域名,我们找到了突破点,一个叫做 component/net/NetworkConstants.java
的类。里面有一大堆的 path 如:
于是我们通过拼接 host + path 得到了完整的 url 感觉有门!于是我们请求一下可得:
先不去吐槽为什么明明返回个 JSON, Content-Type 却是:text/html 这件事,但他告诉我们了一个事情,居然连 GET banner 的 API 都要了签名,安全意识真好。既然你要了签名,那我就搜签名。
通过 grep, signature 发现真的中奖了,我们得到了这样的一个返回值:
感觉这个 CommonParams 有门啊,阅读一下里面的代码:
于是我们就很轻松愉快的构造出来了签名结果:
最后一步就是找到目标请求了,回到上面提到的 NetworkConstants 里面,翻了一遍得到了:feed/commonFeeds
这个 path。模拟请求成功!看了一眼表,共用时 30 分钟。
这里举了两个非常初级的例子,但确实能反映出很多客户端开发需要注意的问题:
Android 记得加固、混淆,千万别偷懒
一定要用 HTTPS 通信,如果可以记得做证书校验,能拦住一大堆小白攻击者
和后端商量 API 要去做签名
签名的生成算法要混淆,尽量少用常量字符串,如果想用 C++ 来混淆的话,记得 NDK 部分命名、函数签名是无法自动混淆的,要手动处理。
API 尽量和 Cookie 绑定,做好权限管理,如果出现爬虫,后端可以针对 Cookie 封账号。
反爬虫只能是见招拆招,没有通杀的解决方案,本质上就是不断提高攻击门槛罢了。