深圳地区招聘网站数据采集与清洗，需稳定爬虫脚本
软件研发服务 / 数据采集与爬虫
任务详情
| 分类 | 软件研发服务 / 数据采集与爬虫 |
|---|---|
| 任务描述 | 因业务需要，要定期从深圳本地招聘网站（如深圳人才网、58同城深圳招聘等）采集岗位信息做市场分析。目前靠手动采集，效率低还容易出错，希望做一个稳定的爬虫，把数据自动采集、清洗和存储跑起来。工作内容：1. 针对指定的3-5个招聘网站分析页面结构，设计爬取策略；2. 用Python写爬虫，支持定时增量抓取，避免被封IP；3. 对抓取的数据做清洗（去重、字段规范化、去除HTML标签等），存成CSV或Excel；4. 提供使用说明文档。注意：遵守目标网站robots协议，控制请求频率，别给目标网站造成过大压力；代码注释要清楚，方便后续维护。交付物：完整可运行的爬虫代码、清洗后的数据样本（至少1000条）、使用说明文档。 |
| 截止日期 | 2026/11/23 |
| 发包方 | 南风知意 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 开发实施 |
| 预计投入周期 | 2 周 |
| 现金预算 | ¥12,000 |
验收标准
1. 通用验收 爬虫能完整跑通，从至少3个指定招聘网站采集数据，单次运行有效岗位记录不少于1000条，字段含职位名称、公司名称、薪资范围、工作地点、发布时间、职位描述链接等。 清洗后去重，薪资统一为数字范围格式，工作地点规范为“深圳市XX区”，去掉职位描述里的HTML标签和多余空格。 代码要有异常处理，比如请求失败重试、随机User-Agent、请求间隔等反爬措施，并输出运行日志。 样本数据须与代码实际输出一致，CSV或Excel格式，UTF-8编码。 使用说明写清环境配置、依赖安装、运行步骤、参数配置和常见问题。 代码注释清晰，主要函数有docstring。 交付物含全部源代码、样本数据、说明文档，打包为zip。 验收时现场演示运行，确认能稳定采集且不对目标网站造成访问压力。 2. 爬虫开发与数据交付 （一） 爬虫能成功从至少3个指定网站采集数据，单次运行有效记录≥1000条，字段完整；清洗后无重复，薪资和地点格式规范；代码含异常处理和日志，注释清晰；提供CSV/Excel样本数据；使用说明文档完整；现场演示运行成功且不影响目标网站。
发包方情况
