推理服务

DataExa-Serving推理服务平台是一款支撑模型自动发布与管理的推理平台,可充分结合机器学习模型发挥GPU 等计算资源效能,在最大限度降低推理计算延迟时间与模型部署复杂度方面发挥着关键作用。Serving推理平台支持用户从任何模型框架入手,在生产环境中快速优化、验证和部署经过训练的神经网络模型,帮助客户快速实现智能模型的落地应用。
申请试用
申请试用

核心技术

Technology

跨计算框架支持的模型交换协议技术

智能应用快速构建的服务编排技术

面向高并发事件的自动化扩容技术

服务部署资源自动分配与优化技术

产品优势

Advantage

全环节MLOps能力

推理平台能够与训练平台结合,提供覆盖全环节的MLOps能力,支持训练态与运行态数据处理环节的自动化切换

PRODUCT ADVANTAGE

全环节MLOps能力

推理平台能够与训练平台结合,提供覆盖全环节的MLOps能力,支持训练态与运行态数据处理环节的自动化切换

PRODUCT ADVANTAGE

服务编排能力

支持基于模型资产库进行领域应用的服务编排,并能够完成推理服务一键发布

PRODUCT ADVANTAGE

服务编排能力

支持基于模型资产库进行领域应用的服务编排,并能够完成推理服务一键发布

PRODUCT ADVANTAGE

自动化扩容能力

自动寻找高并发应用服务,进行服务能力扩展,并能够自动化完成应用服务的负载均衡

PRODUCT ADVANTAGE

自动化扩容能力

自动寻找高并发应用服务,进行服务能力扩展,并能够自动化完成应用服务的负载均衡

PRODUCT ADVANTAGE

领域学习能力

提供面向多种任务的向导式领域学习能力,可帮助用户快速训练领域应用模型

PRODUCT ADVANTAGE

领域学习能力

提供面向多种任务的向导式领域学习能力,可帮助用户快速训练领域应用模型

PRODUCT ADVANTAGE

部署资源优化能力

支持根据不同的领域应用模型及服务特点,进行部署资源的实时调度与分配,最大化发挥计算资源价值

PRODUCT ADVANTAGE

部署资源优化能力

支持根据不同的领域应用模型及服务特点,进行部署资源的实时调度与分配,最大化发挥计算资源价值

PRODUCT ADVANTAGE

模型应用市场

具备模型应用市场,为用户提供不同领域丰富的智能应用体验范例,用户可直接试用平台应用效果,调用相关服务

PRODUCT ADVANTAGE

模型应用市场

具备模型应用市场,为用户提供不同领域丰富的智能应用体验范例,用户可直接试用平台应用效果,调用相关服务

PRODUCT ADVANTAGE

客户案例

CASES
  • 客户名称

    某金融机构

  • 所属行业

    银行

  • 客户痛点

    现有AI应用主要服务于机构自身,希望充分发挥积累的AI能力赋能外部金融机构,但是缺少一个用于模型推理和AI能力输出的技术平台。

  • 应用成效

    项目通过DataExa-Serving构建了一个集资源管理、模型资产库管理、模型迁移训练、服务发布与监控等功能为一体的智能模型推理平台,实现了业务需求快速响应,智能应用最简化构建,充分挖掘了内部数据模型资产对外部机构赋能的经济价值。

  • 推荐产品