1.3 Компоненти проекту

WebMagic код проекту складається з декількох частин, в кореневому каталозі розподілені за різним ім'ям каталогу. Вони не залежать від Maven проекту.

1.3.1 Основна частина

WebMagic включає в себе два пакети, обидва пакети із великим накопиченим практичним досвідом та досить зрілі:

Webmagic-core ядро

Webmagic-core є основною частиною WebMagic, містить тільки основні модулі та основний пошуковий екстрактор. WebMagic-core мета полягає в тому, щоб стати базою основою для реалізації пошукача.

Webmagic-extension розширення

Webmagic-extension є у WebMagic основним модулем розширення, який забезпечує деякі з більш зручний інструмент написання пошукача. У тому числі визначення формату для сканеру прямо в анотаціях, JSON, розподілена робота та інші заходи підтримки.

1.3.2 Периферійні функції

Крім того, до проекту WebMagic додано декількі пакетах із експериментальними можливостями. Мета полягає в тому, щоб надати змогу ознайомитись із попередніми зразками та для інтеграції. Через обмежені можливості, ці пакети не були широко використані і випробувані, рекомендується завантажити вихідний код, а потім вносити змінити при стиканні з проблемами та багами.

Webmagic-зразки

Ось деякі приклади пошукача написані автором раніше. Через брак часу, деякі з цих прикладів використовують до сих пір зі старою версією API, чи тому, що можуть бути деякі зміни в структурі цільової сторінки іприклад втратив актуальніть. На сьогоднішній день, приведені приклади - us.codecraft.webmagic.processor.example та для пакету webmagic-core webmaigc-core package of us.codecraft.webmagic.example.

Webmagic-scripts скрипти

WebMagic для написання сценарію правил для пошукача є кілька варіантів. Основна мета, щоб розробникам на мові Java дозволити просто та швидкого розробляти. Наведено загальний сценарій.

В даний час проект заморожено, так як користувачів не так сильно це цікавить, ви можете подивитися на сценарному, якщо маєте інтерес, ость тут: webmagic-scripts simple document.

Webmagic-selenium

WebMagic і Selenium в поєднанні модулів. Selenium є аналогом інструмента для рендеринга сторінки браузера, у WebMagic передаються на сканування динамічні сторінки з Selenium.

Webmagic-saxon

WebMagic і Saxon в поєднанні модулів. Saxon це XPath, XSLT аналітичні інструменти, webmagic покладаються на Saxon підтримку розбору за правилами XPath2.0.

1.3.3 webmagic-avalon Авалон

Webmagic-avalon це спеціальний проект, яким хочемо досягти до продукту, що заснований на інструменті WebMagic, який охоплює створення сканерів, пошукачів і інші інструменти управління бекенд. Avalon (uk) чи Avalon (ch) Артура легенда "ідеальний острів", webmagic-Авалон мета полягає в тому, щоб забезпечити загальну пошукача засобів досягнення цієї мети не так просто, так що у назві також мається про трохи «ідеальні», але автор прагне до досягнення цієї мети.

Ви можете подивитися, якщо зацікавлені в цьому проекті, тут проект WebMagic-Avalon.

results matching ""

    No results matching ""