网易新闻采集接口分析

Step1

打开网易新闻，打开开发者工具，找接口。

Step2

下滑页面，找到要闻，然后找一个关键词，去全局搜索，定位接口。

Step3

接口找到后，看加密方式，在不清楚是否有的时候，百度是个好工具，有好心人（比如我）会直接告诉你没有加密方式。或者可以自己去分析，比如看请求参数是否有看不懂的，请求头是否有特殊的，cookie中有没有特殊的，请求url参数是不是有特殊的。或者发现js不是混淆的，直接全局搜encrypt，断点一下试试。

Step4

但是网易没有采用热和的加密方式，不知道为什么。然后剩下的我们就要解决分页的问题。

继续下滑页面，看接口的分页处理情况。发现只是在请求路径上拼接了一分页的数字，但是需要注意左侧补零。

Step5

搞定分页，开始代码书写。

总结

仅供学习