定时调度 · 智能代理 · 多源采集 · 实时推送

Collapsar 数据采集平台

面向多平台数据的定时采集与监控系统:携程酒店、大麦演出、同花顺 / 东方财富行情、RSS 资讯, 统一调度、统一入库、异常即时推送。

进入控制台 了解核心能力
Capabilities

核心能力

从任务编排到消息触达,覆盖数据采集全链路

定时任务调度

APScheduler 驱动,MySQL 持久化任务编排,cron / interval 灵活配置,进程重启任务不丢失。

智能代理池

代理自动获取与健康检测,失败自动轮换,支持特定 IP 代理机制,保障高频采集稳定性。

反爬对抗增强

Selenium / Playwright 无头浏览器,浏览器指纹随机化与 Stealth 隐身,提升采集成功率。

实时消息推送

采集结果与异常通过企业微信 Webhook 即时触达,酒店可售、行情异动第一时间知晓。

Data Sources

数据源矩阵

已接入 5 类数据源,覆盖票务、酒店、行情与资讯

ctrip

携程酒店

目标城市酒店可售状态监控,库存与价格变化即时预警推送。

damai

大麦演出

演唱会、话剧、音乐剧、展览等演出信息分类聚合采集。

ths

同花顺行情

A股 / 港股指数概览定时监控,交易时段每 3 分钟采集入库。

eastmoney

东方财富

行业板块排行数据监测,涨跌与资金动向结构化存储。

rss

RSS 资讯

多源 RSS 聚合解析入库,支持 AI 摘要与多渠道推送状态跟踪。

mysql

统一存储

全部采集结果结构化落库 MySQL,连接池管理,支撑后续分析。

Tech Stack

技术架构

FastAPI APScheduler MySQL SQLAlchemy Selenium Playwright BeautifulSoup 企业微信 Webhook

管理员入口

登录控制台,查看调度器运行状态与全部任务明细

登录控制台