该职位来源于猎聘 工作职责: 1、设计和实现高效稳定的爬虫程序,收集海量数据并进行处理和分析。 2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。 3、解决实际开发过程中碰到的各类数据需求和接口问题。 4、参与业务需求讨论,负责业务需求到技术实现的方案落地与实施。 5、监控爬虫运行状态,日常处理数据抓取的稳定性和准确性问题。 任职要求 1、负责设计、开发和维护高效、稳定的爬虫系统,提升数据采集的效率和质量。 2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。 3、熟悉各种爬虫框架和工具。 4、熟练掌握 Python、java语言编程。 5、熟悉Linux基础命令。 6、熟练使用主流开源框架及工具,如SpringBoot、SpringCloud、Maven、Redis、MyBatis等。 7、熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制。 8、有较大数据规模处理的实践经验者优先。
爬虫Python开发工程师
PR Newswire APAC
Tianjin, Tianjin, China
python爬虫开发工程师
上海恒生聚源数据服务有限公司
Hangzhou, Zhejiang, China
python爬虫开发工程师
浙江金瑞税务师事务所有限公司
Hangzhou, Zhejiang, China
Python爬虫工程师
上海宝衢文化传播有限公司
Shanghai, Shanghai, China
Python爬虫工程师
上海飞未信息技术有限公司
Wuhan, Hubei, China
python爬虫工程师
翼果(深圳)科技有限公司
Shenzhen, Guangdong, China