ScrapydWeb(爬蟲(chóng)管理平臺(tái))v1.4.0免費(fèi)版

ScrapydWeb(爬蟲(chóng)管理平臺(tái))是一個(gè)用于Scrapyd集群管理的web應(yīng)用，支持Scrapy日志分析和可視化，支持Scrapyd集群管理、日志可視化、定時(shí)任務(wù)、郵件通知、移動(dòng)端UI!

功能介紹

Scrapyd 集群管理

支持所有 Scrapyd JSON API

支持通過(guò)分組和過(guò)濾來(lái)選擇若干個(gè)節(jié)點(diǎn)

一次操作, 批量執(zhí)行

Scrapy 日志分析

數(shù)據(jù)統(tǒng)計(jì)

進(jìn)度可視化

日志分類(lèi)

增強(qiáng)功能

自動(dòng)打包項(xiàng)目

集成 LogParser

定時(shí)器任務(wù)

監(jiān)控和警報(bào)

移動(dòng)端 UI

web UI 支持基本身份認(rèn)證