数据工程师

您将做什么

• 与数据分析师、数据科学家、软件工程师和跨职能合作伙伴合作,设计、构建和部署可扩展的数据管道,为财务领域生成受治理的分析数据集。
• 使用 SQL、Hive 和 PySpark 在 Lake 和 Lakehouse 环境中构建批处理和流处理管道,为精选的财务领域数据集市和受治理的语义层提供支持。
• 设计支持自助式分析的维度模型和语义模型,包括 Power BI、Fabric 语义模型和 SSAS Tabular,并具有高性能的 DAX 度量和行级安全性。
• 在受治理的数据集上交付生产级 GenAI 功能,如检索增强生成和提示链或代理,实施尊重 PII 和 SOX 控制的向量化和分块。
• 与数据科学和机器学习团队合作,训练、微调和评估模型,强化提示模板、护栏和内容过滤器,并跟踪幻觉、毒性和检索指标。
• 构建可重复使用的组件,如提示库、评估工具和向量存储抽象,以及集成 SDK 和 API,以便在财务用例中重复使用。
• 使用 Git 和 Azure DevOps 或 GitHub Actions 实施数据和 AI 的 CI/CD,使用 Great Expectations 或同等工具进行数据质量测试,并使用 MLflow、Fabric 或 Azure ML 实现模型或数据部署自动化。
• 定义涵盖血缘、漂移、新鲜度和成本的可观测性,并设置警报和 SLA,推动性能、成本效率和可靠性的持续强化。
• 在 Power BI 或 Tableau 中交付仪表板和记分卡以及受治理的认证数据集,并指导分析师进行建模和性能调优。