在WebMagic里,实现一个基本的爬虫只需要编写一个类,实现PageProcessor接口即可。这个类基本上包含了抓取一个网站,你需要写的所有代码。
PageProcessor
同时这部分还会介绍如何使用WebMagic的抽取API,以及最常见的抓取结果保存的问题。