公司适配:中大型数据科技公司,第三方大数据公司优先
汇报对象:平台总监
薪资区间:40-70K
一、岗位核心定位
统筹全域离线+实时数仓架构迭代,主导老旧集群架构瘦身、全链路资源优化;兼顾存 量业务稳定运维+新技术栈体系建设,带队完成数仓的平滑升级,同时建立成本管控、 数据质量与规范标准。
二、工作职责
a. 架构整体规划与落地 基于公司现有及未来业务发展需求主导离线数仓分层优化、 实时数仓全域建设,设计湖仓统一底座;下线冗余架构,完成数仓技术栈换代。
b. 核心降本专项攻坚 制定算力/存储/队列分级策略,优化现有集群模块及处理逻辑。
c. 业务治理及体系搭建 区分核心实时指标、准实时链路、T+1离线场景,优化无效 常驻实时任务、冗余存储副本;搭建统一指标中台、数据血缘、数据质量监控体 系。
d. 团队管理与规范建设 迭代数仓开发规范、建模规范、发布流程等;带领团队完成 平台目标,培养团队适配主流技术栈。
e. 存量业务稳定兜底 保障原有用户画像、SDK统计、离线报表等核心业务平稳运 行,在不停业务前提下完成架构无痛改造迭代。
三、任职要求
a. 本科及以上,5年以上大数据数仓架构经验,2年以上团队管理经验。
b. 精通传统离线数仓(Hadoop/Hive/Spark),主导过实时数仓&湖仓一体完整落地项
目。
c. 具备Spark深度调优能力,具备OLAP架构选型及优化能力。
d. 具备完整的数仓生命周期体系构建与管理能力。
e. 具备极强成本意识,跨部⻔沟通能力强,推动技术规范统一落地。
四、优先项
a. 有移动端SDK数据采集及处理经验优先。
b. 了解向量数据库、LLM数据预处理、数据AI融合方向布局优先。
有意向 请 tg 联系 @tmp_user_ok