1.大数据平台开发与维护 • 基于Hadoop、Spark、Hive、Flink、Kafka等大数据生态组件，参与数据平台的开发、优化与日常运维工作。 • 保障数据处理流程的稳定性和高效性，及时排查并解决平台运行中的技术问题。 2. 数据仓库建设与建模 • 按照ODS/DWD/DWS/ADS分层设计规范，参与数据仓库的架构设计与模型构建。 • 负责数据分层落地，确保数据模型的规范性、可扩展性和查询效率。 3. ETL/ELT流程开发 • 负责数据采集、清洗、转换、加载等ETL/ELT流程的设计与开发。 • 构建稳定、可监控的数据处理流程，保障数据质量和数据时效性。 4. 数据调度与任务管理 • 使用Airflow、DolphinScheduler等调度工具，配置和管理数据处理任务的依赖调度与定时执行。 • 监控任务运行状态，处理任务失败、延迟等异常情况。 5. 容器化部署与运维 • 基于Docker、Kubernetes进行数据处理服务的容器化封装与部署。 • 在Linux环境下完成基本的系统操作、服务配置及故障排查。

• 基本要求 1.本科及以上学历，计算机、软件工程等相关专业优先。 2.3年以上数据相关工作经验，具备大数据平台或数据处理经验。 3.熟悉编程语言：Python、Java、 SQL。 4.具备扎实的数据处理能力，熟悉常见数据处理流程（采集、清洗、转换、建模）。 5.熟悉 Linux 环境，能够进行基本的系统操作。 6.有Docker、K8s容器化相关技术使用经验。 7.具备良好的代码规范、文档习惯和团队协作能力。 • 大数据相关要求 1.熟悉常见大数据生态组件：Hadoop / Spark / Hive / Flink / Kafka 等 2.熟悉数据仓库建模方法（如 ODS / DWD / DWS / ADS 分层设计）。 3.具备 ETL/ELT 数据爬取、数据处理经验，能够构建稳定的数据处理流程。 4.熟悉数据调度工具（如 Airflow / DolphinScheduler 等）优先。 • 加分项 1.了解或使用过 AI / 机器学习 / 大模型相关技术。 2.有LLM 应用开发经验（如 Prompt Engineering、RAG、AI数据处理等）。 3.有云平台（阿里云 / AWS / 腾讯云）使用经验。 • 软技能 具备良好的问题分析和解决能力。 具备良好的沟通能力和团队合作精神。 有较强的学习能力，能够快速跟进新技术。