多平台公开数据采集与清洗整合
数据处理分析 / 多源数据采集与整合
任务详情
| 分类 | 数据处理分析 / 多源数据采集与整合 |
|---|---|
| 任务描述 | 业务分析需要从三个公开数据源（电商平台商品列表、社交媒体舆情、天气API）定期采集数据，整合成统一格式的结构化数据集。现有初步爬虫脚本，主要问题是反爬限制、字段不一致、缺失值多。工作内容：1. 优化或重写采集脚本，做好频率控制、代理IP和异常重试；2. 设计统一数据模型，清洗合并多源数据，处理缺失值、去重和格式转换；3. 输出可配置的采集任务，支持增量更新。交付物：Python采集与清洗代码、数据字典、示例数据集（CSV/JSON）、部署说明文档。数据必须来自公开渠道，遵守robots协议，不涉及个人隐私。4周内完成。 |
| 截止日期 | 2026/11/20 |
| 发包方 | 一蓑烟雨 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 开发实施 |
| 预计投入周期 | 4 周 |
| 现金预算 | ¥25,000 |
验收标准
1. 代码完整：提供全部源代码和依赖清单，干净环境能跑起来。；2. 功能验收：每个数据源的采集脚本连续运行24小时不崩溃，抓取成功率≥95%。；3. 数据质量：整合后字段完整率≥98%，商品ID、发布时间等关键字段不能缺，重复率≤1%。 4. 交付物齐全：数据字典（每个字段的来源、含义、类型）、示例数据集（至少1000条）、部署文档（环境配置和运行步骤）。；5. 增量更新：按时间戳增量采集，别每次全量重跑。；6. 修改范围：测试反馈的问题在3个工作日内修完。
发包方情况
