高级数据工程师

您将做什么

• 验证、清理和标准化数据,例如地理位置属性,以确保其准确性。
• 建立数据质量措施,涵盖完整性、唯一性和准确性,并带有自动检查和报告。
• 使用PySpark和Airflow构建ETL/ELT工作流,将数据移动到S3、Postgres、Redshift和MongoDB等仓库中。
• 使用包括Airflow、GitLab CI/CD和Jenkins在内的CI/CD工具自动化DataOps、MLOps和LLMOps管道,涵盖模型训练、部署和监控。
• 将需求转化为规范化或非规范化结构、星型或雪花型模式或数据保险库。
• 通过表、索引、分区、物化视图和列式编码调整存储,并使用排序/分布键和vacuum优化查询。
• 将4G/5G基础设施元数据映射到地理空间上下文,用传统4G数据丰富5G指标,并构建统一的时间序列数据集。
• 使用分析和ML端点以及Kafka和Kinesis等实时流,并通过Swagger/OpenAPI设计带有版本控制的聚合数据API。
• 使用Terraform或CloudFormation等IaC工具配置和设置AWS资源(S3、EMR、Redshift、RDS),通过IAM、VPC和加密维护安全性。
• 使用CloudWatch、Prometheus和Grafana监控性能,定义数据新鲜度和正常运行时间的SLA,并自动化备份和灾难恢复。
• 与数据所有者、数据科学家和利益相关者合作,明确目标,并与基础设施和安全团队合作,确保符合PDPA和GDPR。