数据采集组长—高级爬虫工程师

职位职责：

1. 团队领导与管理：

   组建并带领数据采集团队，确保各项数据采集任务的高效执行；

    提供专业指导和支持，激发团队成员的潜力，提升整体团队绩效。

2. 数据采集与处理：

   负责公司网站及各类数据接口的爬取工作，覆盖新闻、金融、社交网络、企业网站等多个行业；

    执行爬虫工作计划，使用Python爬虫框架（如Selenium、BeautifulSoup、Scrapy）进行数据抓取；

    对爬取的数据进行清洗、存储和导出，以满足公司业务需求。

3. 技术攻关与研发：

    精通APP逆向爬取技术，主导相关技术的研发与应用；

    跟踪并应用最新的爬虫技术和趋势，保持技术领先地位。

4. 大数据处理与分析：

    熟悉Hadoop、Spark等大数据处理技术，对数据进行高效清洗、存储和分析；

    不断优化爬虫算法，提高爬取效率，降低爬取成本。

5. 质量控制与协作：

    对爬取的数据实施严格的质量控制，确保数据的准确性和完整性；

    与其他部门紧密沟通，协助完成项目需求，保障项目的顺畅推进。

任职要求：

1. 教育背景：

    计算机科学或相关专业本科及以上学历。

2. 工作经验：

    至少一年以上爬虫相关工作经验，精通多种爬虫框架和工具；掌握app逆向爬取技术。

    具备javascript爬虫经验，熟悉各种数据爬取技巧和框架。

3. 技能要求：

    精通Python爬虫框架，了解Selenium、BeautifulSoup、Scrapy等常用库；

    熟悉Hadoop、Spark等大数据处理技术，具备数据处理和分析能力；

    熟悉Linux系统，具备基本的Linux命令和Shell编程技能；

    优秀的数学和逻辑思维能力，擅长数据结构和算法设计；

    具备良好的编码习惯，熟悉Git等版本控制工具；

    至少具备基本的Web安全知识，了解常见的XSS、CSRF攻击方式。

我们提供：

1. 优厚薪酬福利：

    具有竞争力的薪资待遇及丰厚的项目奖金；

2. 职业发展机会：

    广阔的职业晋升空间和持续的专业培训；

3. 完善的支持体系：

    完善的福利制度和明确的职业发展路径；

4. 活力团队文化：

    富有活力的工作环境和鼓励创新的企业文化，助力您的专业成长。