岗位职责: 作为数据平台工程师，您将设计、构建和优化支持我们实时分析、机器学习模型和商业智能的数据基础设施。您将与数据科学家、工程师和产品团队密切合作，确保我们的数据管道具备可扩展性、可靠性和高效性。 主要职责： - 设计、构建和维护适用于批处理和实时处理的可扩展数据管道。 - 优化数据存储、检索和处理，以实现高性能和成本效益。 - 与数据科学家和机器学习工程师协作，部署和管理大规模数据工作流。 - 确保平台数据的可靠性、质量和治理。 - 排查并解决分布式数据系统（如Spark、Flink、Kafka）中的问题。 - 改进数据基础设施的监控、告警和可观测性。 - 评估并集成新的大数据技术以增强平台能力。

必备条件： - 5年以上数据工程、基础设施或平台开发经验。 - 精通分布式系统（如Hadoop、Spark、Flink、Kafka）。 - 熟练掌握SQL、Python、Java或Scala。 - 有云数据平台（AWS、GCP或Azure）使用经验。 - 了解数据仓库技术（如Snowflake、BigQuery、Redshift）。 - 熟悉工作流编排工具（如Airflow、Dagster、Prefect）。 优先条件： - 有实时流处理经验（如Kafka、Flink、Beam）。 - 熟悉Kubernetes和基础设施即代码（如Terraform、Helm）。 - 参与过开源数据项目贡献。 - 具备广告技术、游戏或高规模数据环境背景。