Jobstore Logo
Home Company Reviews Salary Search
Sign In Sign Up
China flag CN
Show more filters

python爬虫开发工程师

上海恒生聚源数据服务有限公司

上海恒生聚源数据服务有限公司
Job Type   /   Job Level
Full-time   /   Junior Executive
Job Location
Hangzhou, Zhejiang, China
Salary Range
CN¥ 16,000 - 18,000 (Monthly)
A free Jobstore account is required to proceed to the employer site.
职位来自于拉勾

岗位描述

  • 构建并优化大规模分布式数据采集系统，协助建设统一的数据采集、处理、查询、治理平台。
  • 负责多渠道、多平台的各类数据源抓取，持续提升数据质量，包括数据时效性和完整性。
  • 研究并分析目标站点/平台的反爬机制，设计策略规避限制；制定反爬策略，包括IP池、账号池、验证码识别等，并持续优化策略。
  • 建立爬虫数据质量监控和应急响应机制，发现并解决数据采集中的异常情况（如数据缺失、重复、错误），确保采集的数据符合业务需求和质量标准，确保业务连续性。

岗位要求

1.3年及以上爬虫开发经验，本科及以上学历。

  • 熟练使用Python，具备良好的编码和调试能力，具备扎实的计算机网络基础知识，了解HTTP协议和相关技术。
  • 熟悉常见的爬虫框架，如Scrapy、feapder等；熟悉常用的消息组件和数据存储工具，如RabbitMQ、Kafka、MySQL、Redis、MongoDB等。
  • 熟悉APP逆向，熟练使用抓包、反编译、Hook工具等，具备APP端数据抓取经验。
  • 熟悉JS逆向，熟悉WEB常用反爬技术，具备通用网站数据爬取及解析经验。
  • 具备良好的团队沟通能力、较强的问题解决能力和学习能力，能够独立思考和解决技术难题。

加分项

  • 了解并使用过AI相关技术，有大模型采集框架使用经验的优先。
  • 有通用、高效、稳定的分布式采集系统设计和开发经验的优先。
A free Jobstore account is required to proceed to the employer site.
Jobs in China   »   Jobs in Hangzhou   »   Python爬虫开发工程师

More jobs

爬虫Python开发工程师

PR Newswire APAC Beijing, Beijing, China

python爬虫开发工程师

浙江金瑞税务师事务所有限公司 Hangzhou, Zhejiang, China

Python爬虫工程师

上海宝衢文化传播有限公司 Shanghai, Shanghai, China

Python爬虫工程师

上海飞未信息技术有限公司 Wuhan, Hubei, China

python爬虫工程师

翼果(深圳)科技有限公司 Shenzhen, Guangdong, China

python爬虫工程师

Beijing Trs Information Technology Co., Ltd. Beijing, Beijing, China

People also search

Search more Information Technology jobs Search more jobs in Hangzhou Search more Information Technology jobs in Hangzhou Information Technology jobs salary in Hangzhou