深圳地区企业工商数据爬虫与清洗，需稳定采集3个站点
软件研发服务 / 数据采集与爬虫
任务详情
| 分类 | 软件研发服务 / 数据采集与爬虫 |
|---|---|
| 任务描述 | 需要从深圳市市场监督管理局、企查查、天眼查三个站点采集企业工商信息，包括企业名称、统一社会信用代码、法定代表人、注册资本、成立日期、经营范围等字段。目标采集5000家企业，数据需去重并清洗为结构化CSV。要求爬虫具备反爬策略，如IP代理、请求头伪装、验证码识别（如有），并保证7x24小时稳定运行。交付物包括爬虫源代码（Python）、使用说明文档、清洗后的数据文件。注意事项：需遵守相关网站robots协议，不得采集个人隐私信息，数据仅用于内部商业分析。 |
| 截止日期 | 2026/11/28 |
| 发包方 | 南风知意 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 数据采集与清洗 |
| 预计投入周期 | 3 周 |
| 现金预算 | ¥8,000 |
验收标准
一、 通用验收 爬虫源代码需使用Python 3.8+编写，结构清晰，包含注释和配置文件。；必须实现IP代理池管理、请求头随机化、失败重试机制，并至少支持一种验证码识别方案（如OCR）。；数据采集完整率不低于98%，重复率低于1%。；清洗后的CSV文件需包含企业名称、统一社会信用代码、法定代表人、注册资本、成立日期、经营范围六个字段，字段值不得为空（除经营范围外），注册资本需统一为万元单位。；提供README文档，详细说明环境依赖、配置方法、运行步骤和常见问题。；交付前需在发包方提供的测试环境中连续运行24小时无崩溃，且采集数据量达到5000条。；所有交付物需打包为zip文件，包含源代码、数据文件、文档和依赖清单。 二、 爬虫开发与数据交付 2.1 爬虫源代码为Python 3.8+，包含代理池、请求头随机化、重试机制和验证码识别方案；数据采集完整率≥98%，重复率≤1%；CSV文件包含六个指定字段，注册资本统一为万元；提供README文档；测试环境连续运行24小时无崩溃；所有文件打包为zip。
发包方情况
