工作职责:
- 负责Web/APP/小程序多端爬虫的开发,解决算法还原,so层,加密,风控等难点攻克,提升抓取的效率和质量
- 负责分布式采集系统的开发,参与采集系统存储,传输,调度,监控的设计与研发
- 根据产品和项目特点,设计、开发采集系统平台的架构设计,提出合理的优化方案,并负责设计和实现,提高数据抓取效率
- 负责爬虫数据的清洗、处理、分析,以及部分运维工作
任职要求:
- 本科及以上学历,计算机相关专业,3年以上数据采集经验, CTF经验尤佳
- 有直播类平台、电商类平台、、新零售类平台、社区电商类平台采集经验者优先
- 拥有良好的编码经验,至少熟练掌握Python/Go/Java/JS等其中至少一种编程语言
- 熟悉Android/iOS端安全对抗技术,掌握常见的静态分析、动态调试、协议抓包、HOOK等技术原理和框架应用,如IDA、Frida、Unidbg
- 熟悉风控策略对抗相关技术,了解设备指纹、帐号资源、行为特征等风控对抗机制,能够对抗常见的人机识别或验证码
- 有大型分布式抓取系统的开发、架构经验优先
- 熟悉linux,熟练使用shell
- 热爱互联网并有着高度的工作热情