Tesla T4 GPU及全新TensorRT軟件可助力實現智能語音、視頻、圖像和推薦服務。
NVIDIA近日推出全新人工智能數據中心平臺，為語音、視頻、圖像和推薦服務提供業界超級先進的推理加速，從而推動全球AI服務的發展。
NVIDIA TensorRT? 超大規模推理平臺采用基于突破性的NVIDIA Turing?架構的NVIDIA? Tesla? T4 GPU，以及一整套完整的新推理軟件。
該平臺可為端到端應用提供更快性能和更低延遲，助力超大規模數據中心提供全新服務，例如增強型自然語言交互，以及對搜索查詢的給出直接答案而非模糊匹配的一系列結果。
NVIDIA副總裁兼加速業務總經理Ian Buck表示：“未來人工智能將觸及每種產品和服務并為之帶來改進，我們的客戶正在朝此方向發展。NVIDIA TensorRT超大規模平臺的設計旨在實現這一目標，即比以往設想的更快、更高效?！?/p>
每天，大規模數據中心都會處理數以億計的語音查詢、翻譯、圖像、視頻、推薦和社交媒體交互。所有這些應用的處理過程都需要在位于服務器上不同類型的神經網絡進行。
為優化數據中心以實現更高吞吐量和服務器利用率，NVIDIA TensorRT超大規模平臺包括實時推理軟件和Tesla T4 GPU，處理查詢的速度比僅采用CPU時快40倍。
NVIDIA預計AI推理行業有望在未來五年內平穩增長至200億美元的市場。
業界先進的AI推理平臺
NVIDIA TensorRT超大規模平臺包括一整套硬件和軟件產品，這些產品針對強大、高效的推理進行了優化。關鍵要素包括：
NVIDIA Tesla T4 GPU - 搭載320個Turing Tensor Core和2560個CUDA? Core，這款全新GPU具有突破性的性能，以及靈活的多精度功能，從FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封裝，可輕松適用于大多數服務器。FP16的峰值性能為65 teraflops，INT8為130 teraflops，INT4為260 teraflops。
NVIDIA TensorRT 5 - 推理優化器和運行時引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并對適用于多精度工作負載的神經網絡優化集進行了擴展。
NVIDIA TensorRT推理服務器 - 這一容器化的微服務軟件使應用能夠在數據中心生產中采用AI模型。其在NVIDIA GPU Cloud容器注冊中免費提供，可實現數據中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。
