产品介绍

Product introduction

DataExa-Serving 推理平台是一款支撑模型自动发布与管理的推理平台,可充分结合机器学习模型发挥GPU 等计算资源效能,在最大限度降低推理计算延迟时间与模型部署复杂度方面发挥着关键作用。Serving推理平台支持用户从任何模型框架入手,在生产环境中快速优化、验证和部署经过训练的神经网络模型,帮助客户快速实现智能模型的落地应用。

核心技术

Product technology

  • 跨计算框架支持的模型交换协议技术

  • 智能应用快速构建的服务编排技术

  • 面向高并发事件的自动化扩容技术

  • 服务部署资源自动分配与优化技术

产品优势

Product advantage

  • 服务编排能力

    支持基于模型资产库进行领域应用的服务编排,并能够完成推理服务一键发布
  • 自动化扩容能力

    自动寻找高并发应用服务,进行服务能力扩展,并能够自动化完成应用服务的负载均衡
  • 领域学习能力

    提供面向多种任务的向导式领域学习能力,可帮助用户快速训练领域应用模型
  • 部署资源优化能力

    支持根据不同的领域应用模型及服务特点,进行部署资源的实时调度与分配,最大化发挥计算资源价值

客户案例

Customer case

某金融机构智能客服系统
  • 客户名称:

    某金融机构

  • 所属行业:

    银行

  • 客户痛点:

    现有AI应用主要服务于机构自身,希望充分发挥积累的AI能力赋能外部金融机构,但是缺少一个用于模型推理和AI能力输出的技术平台。

  • 应用成效:

    项目通过DataExa-Serving构建了一个集资源管理、模型资产库管理、模型迁移训练、服务发布与监控等功能为一体的智能模型推理平台,实现了业务需求快速响应,智能应用最简化构建,充分挖掘了内部数据模型资产对外部机构赋能的经济价值。

合作

文档