综合流量拓展商务

用人方：远程团队（名称在约面时告知）

岗位职责 1. 负责广告数据平台及大数据应用的日常运维、发布、监控、巡检、故障定位与稳定性保障，确保核心数据链路高可用运行。 2. 负责 Kafka、Spark、Trino、ClickHouse、MinIO、Iceberg、PostgreSQL 等大数据基础组件及应用服务的运维与性能优化。 3. 负责广告数据链路的稳定性保障，包括但不限于： * 广告曝光、点击、注册、付费等行为数据采集； * SDK / API 数据上报链路； * Kafka 消息接入与消费； * ETL / 清洗任务； * 用户标签、人群包、OneID、归因、漏斗等数据任务； * ClickHouse / Iceberg 数据落库及查询服务。 4. 建立并持续完善大数据平台监控告警体系，重点监控： * Kafka Lag、吞吐、ISR、磁盘使用率； * Spark Job 运行状态、执行时长、资源利用率； * Trino Query 延迟、失败率、内存使用； * ClickHouse 查询性能、Merge、磁盘、Replica 状态； * JVM、CPU、内存、磁盘 IO、网络带宽等系统指标。 5. 负责线上异常及数据问题排查，包括数据延迟、数据丢失、重复数据、消费积压、任务失败、SQL 慢查询、OOM、磁盘 IO 瓶颈等问题。 6. 参与大数据系统容量规划，根据 QPS、数据量、存储增长、计算任务量进行 CPU、内存、磁盘、网络及集群节点规划。 7. 负责大数据应用发布、配置管理、灰度、回滚、灾备及故障演练，提升平台自动化运维能力。 8. 参与跨云、跨机房数据传输方案设计和运维，包括 AWS、IDC、其他公有云之间的网络、Kafka 数据同步及链路稳定性保障。 9. 配合研发、数据、算法和广告业务团队完成问题定位，能够从业务数据角度判断链路异常，而不仅限于基础设施层排障。 10. 沉淀运维 SOP、故障复盘、监控指标、容量模型及应急预案，持续提升系统稳定性和运维效率。 ## 任职要求 1. 计算机、软件工程、信息系统等相关专业，本科及以上学历，3 年以上 Linux / 大数据平台运维或应用运维经验。 2. 熟悉 Linux 系统，能够独立进行： * CPU / 内存 / Load 分析； * 磁盘 IO 分析； * 网络流量及连接分析； * 进程、文件句柄、线程、JVM 等问题排查。 3. 熟悉以下大数据组件中的至少 3～4 种： * Kafka * Spark * ClickHouse * Trino / Presto * Iceberg * MinIO / S3 * Flink * Hadoop / Hive 4. 熟悉 Kafka 生产环境运维，包括 Topic、Partition、Consumer Group、Offset、Lag、ISR、Rebalance、Broker 性能及数据积压排查。 5. 熟悉 Spark 或其他批处理 / 流处理框架，能够分析 Job 执行失败、资源不足、OOM、Shuffle、数据倾斜等问题。 6. 熟悉 ClickHouse 或其他 OLAP 数据库，能够进行慢 SQL、Merge、分区、磁盘、查询并发及资源使用分析。 7. 熟悉 JVM 及 Java 应用基本排障能力，能够使用 jstack、jmap、GC Log 等工具进行问题分析。 8. 熟悉 Shell，至少掌握 Python / Java / Go 中一种语言，能够编写运维脚本和自动化工具。 9. 熟悉 Prometheus、Grafana、ELK / Loki 等监控日