AI加速推理運算
AI加速推理運算
相關文章 : 1篇
瀏覽 : 18次
一種深度學習推理運算方法及中間件,所述方法通過推理中間件用于具有不同推理運算庫的硬件平臺,所述方法包括:根據(jù)硬件環(huán)境,初始化所述推理中間件支持的推理運算庫;調用當前使用的推理運算庫,對數(shù)據(jù)進行推理運算;輸出推理運算的結果.本申請的方法及中間件可以根據(jù)不同的硬件平臺選擇運行模式,選出最適合該硬件平臺的推理運算庫,使硬件平臺發(fā)揮最優(yōu)性能,本申請可根據(jù)不同的硬件平臺,支持其對應的推理加速方案,無需專業(yè)技術人員進行繁瑣的移植工作,提高了用戶體驗.
推薦產品
列表欄目