ScrapydWeb(爬蟲管理平臺)v1.4.0免費(fèi)版

ScrapydWeb(爬蟲管理平臺)是一個(gè)用于Scrapyd集群管理的web應(yīng)用，支持Scrapy日志分析和可視化，支持Scrapyd集群管理、日志可視化、定時(shí)任務(wù)、郵件通知、移動端UI!

功能介紹

Scrapyd 集群管理

支持所有 Scrapyd JSON API

支持通過分組和過濾來選擇若干個(gè)節(jié)點(diǎn)

一次操作, 批量執(zhí)行

Scrapy 日志分析

數(shù)據(jù)統(tǒng)計(jì)

進(jìn)度可視化

日志分類

增強(qiáng)功能

自動打包項(xiàng)目

集成 LogParser

定時(shí)器任務(wù)

監(jiān)控和警報(bào)

移動端 UI

web UI 支持基本身份認(rèn)證