数据工程师 (AVP)

您将从事

• 构建和维护为数据仓库和湖仓平台提供数据的管道
• 实施支持可复用分析数据集和报告的数据模型
• 遵循 SLAs 和监控实践,并帮助排查管道问题
• 使用 Spark、SQL、Python 或 Java 开发和维护批处理作业
• 在高级指导下,使用 Flink 或类似工具支持实时流式管道
• 帮助构建和运营 CDC 管道
• 构建和维护来自 APIs、GA4 和其他来源的摄取管道
• 使用 Pub/Sub 和 Kafka 实施消息传递和流式集成
• 编写干净、经过良好测试的 SQL 和 Python 脚本以及摄取和处理管道
• 为调度和事件驱动的工作流开发和维护 Airflow DAGs
• 在 Cloudera、GCP 和 AWS 等效平台上部署和支持数据工作负载
• 参与并维护 CI/CD 管道
• 在高级指导下,使用 Terraform 配置和管理基础设施
• 使用 Python 和 Flask 构建和支持 REST APIs 和后端服务
• 使用 Redis 缓存满足数据服务的性能要求
• 协助构建和维护向量数据库管道和嵌入生成作业