本页由机器翻译，仅供参考。薪资、时间和地址按原文显示。如有出入，以英文原文为准。
全职科技与工程· 发布于 10月2日
数据工程师(副总裁)
OCBC来自公司网站
薪资
公司未注明
工作时间
全职工作时间
地点
Singapore
How well do you match? Check in 10 seconds →
Free with a WorkJio account: we compare your profile with this job and show what you already meet.
- 开始日期
- 未注明
- 工作方式
- 现场工作
- 经验要求
- 经验丰富
职位简介
一份在新加坡历史悠久银行的高级数据工程职位,隶属于集团数据办公室,向数据产品主管汇报。您将负责企业批处理和实时数据平台的架构,制定工程标准,并指导其他工程师,同时与数据、AI 和基础设施团队合作。该职位适合经验丰富的数据工程师,喜欢亲力亲为的技术领导和构建 AI 就绪的数据产品。
您将做什么
- 负责并持续改进跨平台(如 Cloudera、AWS 或 GCP)的可扩展数据仓库和湖仓一体架构
- 为批处理和流处理管道设计和演进架构模式
- 定义并执行数据建模、分区和性能优化的标准
- 使用 Spark、SQL、Python 和 Map/Reduce 构建和优化大规模批处理管道
- 使用 Kafka、Flink 或类似引擎设计和实现实时流处理管道
- 使用 Debezium、Confluent 或 Fivetran 架构和维护变更数据捕获管道
- 为端到端编排设计和优化复杂的 Airflow DAG
- 推动跨团队的编排模式和可复用组件的标准化
- 使用 Docker、Kubernetes、Cloud Run 或同等技术架构和交付云原生数据基础设施
- 负责数据工程工作负载的 CI/CD 管道,并应用基础设施即代码实践(如 Terraform)
- 使用 Python 和 Flask 设计和构建 REST API 及后端服务,以提供数据产品
- 使用 Redis 实施缓存策略,实现低延迟、高吞吐量的访问
- 为语义搜索和 AI 知识库设计向量数据库和嵌入管道解决方案
- 构建分块、嵌入生成、索引和检索策略
- 创建工具就绪、上下文数据层,供 LLMs 和 AI 代理查询
