1.3 Компоненти проекту
WebMagic код проекту складається з декількох частин, в кореневому каталозі розподілені за різним ім'ям каталогу. Вони не залежать від Maven проекту.
1.3.1 Основна частина
WebMagic включає в себе два пакети, обидва пакети із великим накопиченим практичним досвідом та досить зрілі:
Webmagic-core ядро
Webmagic-core є основною частиною WebMagic, містить тільки основні модулі та основний пошуковий екстрактор. WebMagic-core мета полягає в тому, щоб стати базою основою для реалізації пошукача.
Webmagic-extension розширення
Webmagic-extension є у WebMagic основним модулем розширення, який забезпечує деякі з більш зручний інструмент написання пошукача. У тому числі визначення формату для сканеру прямо в анотаціях, JSON, розподілена робота та інші заходи підтримки.
1.3.2 Периферійні функції
Крім того, до проекту WebMagic додано декількі пакетах із експериментальними можливостями. Мета полягає в тому, щоб надати змогу ознайомитись із попередніми зразками та для інтеграції. Через обмежені можливості, ці пакети не були широко використані і випробувані, рекомендується завантажити вихідний код, а потім вносити змінити при стиканні з проблемами та багами.
Webmagic-зразки
Ось деякі приклади пошукача написані автором раніше. Через брак часу, деякі з цих прикладів використовують до сих пір зі старою версією API, чи тому, що можуть бути деякі зміни в структурі цільової сторінки іприклад втратив актуальніть. На сьогоднішній день, приведені приклади - us.codecraft.webmagic.processor.example та для пакету webmagic-core webmaigc-core package of us.codecraft.webmagic.example.
Webmagic-scripts скрипти
WebMagic для написання сценарію правил для пошукача є кілька варіантів. Основна мета, щоб розробникам на мові Java дозволити просто та швидкого розробляти. Наведено загальний сценарій.
В даний час проект заморожено, так як користувачів не так сильно це цікавить, ви можете подивитися на сценарному, якщо маєте інтерес, ость тут: webmagic-scripts simple document.
Webmagic-selenium
WebMagic і Selenium в поєднанні модулів. Selenium є аналогом інструмента для рендеринга сторінки браузера, у WebMagic передаються на сканування динамічні сторінки з Selenium.
Webmagic-saxon
WebMagic і Saxon в поєднанні модулів. Saxon це XPath, XSLT аналітичні інструменти, webmagic покладаються на Saxon підтримку розбору за правилами XPath2.0.
1.3.3 webmagic-avalon Авалон
Webmagic-avalon це спеціальний проект, яким хочемо досягти до продукту, що заснований на інструменті WebMagic, який охоплює створення сканерів, пошукачів і інші інструменти управління бекенд. Avalon (uk) чи Avalon (ch) Артура легенда "ідеальний острів", webmagic-Авалон мета полягає в тому, щоб забезпечити загальну пошукача засобів досягнення цієї мети не так просто, так що у назві також мається про трохи «ідеальні», але автор прагне до досягнення цієї мети.
Ви можете подивитися, якщо зацікавлені в цьому проекті, тут проект WebMagic-Avalon.