1、数据采集:负责基于Python/Java/RPA等语言或者工具开发高效稳定的数据爬虫,完成对海外平台(如Amazon、eBay、Walmart、AliExpress等)商品、评论、价格、销量等数据的抓取。 2、反爬机制应对:深入研究目标网站反爬机制,制定绕过方案,包括但不限于验证码识别、IP代理、User-Agent伪装、动态渲染了页面处理等。 3、数据清洗与存储:对采集的数据进行清洗、结构化处理,并存储至MySQL、MongoDB、Elasticsearch等数据库或数据仓库中。 4、监控与维护:建立数据抓取的异常监控和自动修复机制,保障任务稳定运行,及时响应并解决故障。 5、业务协作:配合业务或数据分析团队,梳理数据需求,持续优优化爬虫系统性能与数据质量。 6.海外平台规则跟进:跟踪海外主流电商平台的变更、政策更新,及时调整采集策略,确保合规性与可持续性。 7.完成主管安排的其他工作（具体以主管邮件确定的岗位职责为准)。

1、统招本科及以上学历,计算机、软件工程、信息安全、数据科学等关专业优先。 2、编程能力强:熟练学握至少一种编程语言(Python优先),具备良好的编程习惯和代码结构能力。 3、网络与爬虫知识:熟悉HTTP协议、Cookie/Session机制、抓包工具(如Charles、Fiddler)、XPath/正则表达式、Selenium、Playwright、Scrapy等常见爬虫框架和工具。 4、数据处理能力:掌握常用数据清洗和处理工具,熟悉SQL语言和至少一种数据库。 5.平台熟悉度高:对海外电商平台(如Amazon、eBay、Walmart、AliExpress等产品结构、分类逻辑、页面渲染方式等有深入了解,有相关爬虫实战经验者优先。 6、抗压能力强:具备良好的问题解决能力,能在高压或多任务环境下稳定输出,快速响应突发问题。 7.英文读写能力:能阅读英文接口文档与平台规则,有海外平台或英文站点数据采集经验者优先。 8.具体以主管邮件确定的任职要求为准。 5、具体以主管邮件确定的任职要求为准。