本页由机器翻译，仅供参考。薪资、时间和地址按原文显示。如有出入，以英文原文为准。
全职科技与工程· 发布于 10月5日
数据工程师 (经理)
OCBC来自公司网站
薪资
公司未注明
工作时间
全职工作时间
地点
Singapore
How well do you match? See it now →
Free with a WorkJio account: we compare your profile with this job and show what you already meet.
- 开始日期
- 未注明
- 工作方式
- 现场工作
- 经验要求
- 需要一些经验
职位简介
您将加入集团数据办公室,担任经理级别的数据工程师,协助为银行的企业数据仓库和 AI 知识库平台构建和维护数据管道。您将与资深工程师合作,把结构化和非结构化数据转化为可靠、可复用的数据集,以支持风险管理、客户互动、欺诈检测和智能自动化等领域。这是一个需要亲自动手的职位,有充足机会学习云、流式以及 AI 支持的数据工程,并直接向数据工程执行总监汇报。
您将做什么
- 在资深同事的指导下,构建和维护为数据湖和数据仓库平台(如 Cloudera、AWS Redshift 和 Snowflake)提供数据的管道
- 协助实施数据模型,以支持可复用的分析数据集和报表
- 根据约定的 SLA 跟踪管道性能,并协助解决数据质量和处理问题
- 使用 Spark、SQL、Python 或 Java 创建和维护批处理任务
- 协助处理使用 Flink 或类似工具的实时流式管道
- 构建和支持从 API、GA4、文件和其他来源抽取数据的摄取管道
- 支持与 Pub/Sub 或 Kafka 的消息和流式集成
- 编写干净、经过测试且可维护的 SQL 和 Python 代码,用于数据摄取和处理
- 开发和支持 Airflow DAG 或类似工具,用于计划型和事件驱动型工作流
- 遵循既定的编排、编码和运营标准
- 支持 Cloudera 或 AWS 上的数据工作负载,并接触 Docker、Kubernetes 或 Cloud Run
- 使用和支持现有的 CI/CD 管道
- 使用 Python 和 Flask 开发和支持简单的 REST API 和后端服务
- 在需要时为数据服务支持 Redis 缓存
