根据上一篇的方法,我们得到了一个获取列表信息的地址,而且是用get方法就可以的地址.那么事情就变得很简单了,就是常规的爬取信息和提取需要的内容.
上代码之前,有些必要的说明:
地址的’offset’参数,就是历史消息的起始位置,’ count’参数是返回条数,fiddler获取到的地址的offset一般是10,也有其他的.count最大为10,可以设置比10少的,这个返回多少天的信息,不是多少条信息.
获取到的网址有时间限制,一般10来20分钟左右就失效.
爬取速度不能太快,试过0.5秒,爬取几页就被禁了.电脑版微信也被禁止打开微信公众号了.这样的情况,等1个小时再重新登录后恢复正常.
爬到信息之后就是提取信息,这个有点繁琐,直接看代码吧.不话又说回来，不知是不是我这里网络的问题，爬虫本身也够慢的，其实也不用延迟什么的。
代码有三个方法，一个是获取所有信息，但不提取，一个是提取所有信息，不单是文章，还包括图片和普通文字信息。一个是单单提取文章的信息。
代码如下。如果一次下载不完，那么再次获取新的地址，然后从错误记录文件里的起始位置再开始，继续爬。