NVIDIA Triton推理服务器(NVIDIA Triton Inference Server),此前称为TensorRT推理服务器(TensorRT Inference Server),现可通过NVIDIA NGC或GitHub访问。
NVIDIA Triton推理服务器能够帮助开发人员和IT/DevOps轻松地在云端、本地数据中心或边缘部署高性能推理服务器。该服务器通过HTTP/REST或GRPC端点提供推理服务,允许客户端请求对服务器管理的任何模型进行推理。
开发人员和AI公司可以使用NVIDIA Triton推理服务器部署不同框架后端(如TensorFlow、TensorRT、PyTorch和ONNX Runtime)的模型。
Tracxpoint目前已经采用了NVIDIA Triton推理服务器,该公司是新一代自助结账杂货店解决方案的全球领先供应商。
该公司正在努力使店内零售体验变得像在线零售一样精简。为此,他们使用深度学习来对购物车中的购物物品执行目标检测,提供从供应商到客户的个性化实时服务,并通过购物通道提供导航。
Tracxpoint使用NVIDIA Triton推理服务器部署和服务于来自不同框架(如TensorFlow和TensorRT)的多个模型。NVIDIA Triton推理服务器使他们能够灵活地无缝地更新重新训练的模型,而不需要任何应用程序重启或中断用户。
NVIDIA Triton推理服务器也是开放式推理平台Kubeflow和KFServing的一部分。Triton推理服务器将是最早采用新KFServing V2 API的服务器之一。
了解有关NVIDIA Triton推理服务器的更多信息,请点击文章底部“阅读原文”。