作为自动驾驶数据平台团队的后端开发工程师，您将负责设计、构建和维护支撑公司海量自动驾驶数据生命周期的核心系统。您的工作是处理由测试车队产生的大规 模多模态数据（传感器、日志等），并为其提供高效、可靠的数据接入、存储、处理、检索和管理服务。您的代码将是赋能算法科学家高效迭代、加速自动驾驶技术落地的关键基石。 核心职责 1.数据流水线开发：构建高吞吐、低延迟的实时与批量数据流水线，负责自动驾驶原始传感器数据（Camera,LiDAR, Radar等）、日志数据的高效摄入、解码、预处理和持久化。 2.车端数据格式转换为可视化引擎需要的数据格式（比如mcap），支持实时、离线3D可视化数据回放。 3.数据服务与API开发：开发高性能、可扩展的数据检索与访问服务，为内部用户（算法、标注、仿真团队）提供灵活的数据查询和下载能力，支持基于复杂场景标签的快速数据检索。 4.系统性能与可靠性优化：持续优化分布式系统的性能、可靠性和资源利用率，解决海量数据下的1/0、网络和计算瓶颈，保障平台SLA。 5.数据安全与权限：设计和实现细粒度的数据访问控制、权限管理以及审计日志，确保核心数据资产的安全。 6.技术演进与攻坚：跟踪业界前沿技术，参与技术选型，并解决在大量级数据规模下遇到的各种技术挑战。

1.教育背景与经验： 计算机科学、软件工程或相关专业本科及以上学历。5年及以上后端开发经验，有大规模数据密集型或分布式系统开发经验者优先。 2.编程能力: • 精通Python或者Go或NestJS，并具备良好的编程习惯和代码规范。 • 熟悉常用数据结构、算法和设计模式，具备扎实的系统设计能力。 3.大数据技术栈： • 有丰富的大数据处理框架使用经验，如ApacheSpark,Flink, ray, Presto/Trino 等。 • 熟悉至少一种主流消息队列，如Apache Kafka,Pulsar 或 RocketMQ。 4.数据库与存储： • 熟悉至少一种关系型数据库（如MySQL，PostgreSQL）和一种NoSQL数据库（如 Elasticsearch，Cassandra, MongoDB)。 • 对对象存储（如AWS S3，阿里云OSS)有实际使用经验。 5.分布式系统与云原生： • 熟悉 Docker 容器化技术，有基于Kubernetes的开发和部署经验。 • 了解微服务架构、RPC框架（如gRPC，Thrift）、API设计以及相关的监控、告警工具链。 6.具备优秀的问题分析、解决能力和强烈的责任心。良好的团队沟通和协作能力，有主动性和主人翁精神。 加分项（优先考虑）： 一有自动驾驶数据采集、数据集模块开发、数据平台开发经验。 -熟悉ROS或者DDS协议。 -有大数据平台设计、开发经验。 -熟悉数据湖技术（如 Apache lceberg, Hudi, DeltaLake）