数据科学家,平台AI团队,集团数据办公室 (AVP/VP)

您将做什么

• 构建并扩展与AWS集成的多智能体编排框架。
• 设计可复用、企业级的智能体平台组件和应用程序。
• 实现函数调用框架和现代协议,将LLM连接到数据库、向量存储和企业API。
• 将托管云服务与定制的开源智能体框架集成。
• 部署自动化评估流程,以在发布前验证工具调用的精确度、幻觉率和提示安全性。
• 在本地GPU集群和云基础设施上部署和维护低延迟的LLM服务引擎。
• 建立GPU容量规划、利用率跟踪、监控和预算流程。
• 监督自动化模型版本控制、工件存储和元数据跟踪。
• 集成基础模型,以实现无服务器扩展和混合工作负载路由。
• 将模型打包成支持REST/gRPC API、批处理和流式推理的生产就绪微服务。
• 实施推理优化技术,以减少首token时间并最大化token吞吐量。
• 为MLOps平台提供日常运营支持,确保高可用性、集群稳定性和快速事件解决。
• 构建并维护用于模型测试、容器化、特征存储同步和发布管理的自动化CI/CD工作流。
• 使用基础设施即代码工具在Kubernetes上配置多租户企业基础设施。