英特爾第三代至強處理器解決AI難題
公布時長:2021-05-27 17:13:52
如何消除智能化鴻溝?
企業在AI應用開發和使用各階段可能遇到的挑戰,雖然不全,但已足夠“挑戰”
意外!CPU成AI云服務熱門選擇
有趣的是,CPU作為通用處理器,在AI云服務的搶眼程度,并不亞于專用的AI加速芯片。通過實際應用分析,我們不難發現,如果不是專注于AI算法模型訓練和開發的企業,大多數企業使用AI時其實更偏推理型的應用。對他們來說,基于CPU平臺的云服務,特別是集成了可加速AI應用的AVX-512技術和深度學習加速技術的英特爾® 至強® 平臺的AI云服(fu)(fu)務,其(qi)實在很多應用(yong)場景中都足以應對實戰(zhan)需求,且不論對于他們(men),還是云服(fu)(fu)務提(ti)供商而(er)言,部署都更快、更便捷(jie),上手門(men)檻也低(di)。
就這樣,可能與大家的印象相悖,CPU成為了很多云服務提供商輸出,以及企業采用AI云服務時的熱門選擇,這使得以CPU為基礎設施的AI云服務異軍突起。
用CPU做AI云服務,集成AI加速是前提
作為老牌CPU廠商的英特爾,早在2017年就于第一代英特爾® 至強® 可擴展處理器上導入了可以加速浮點運算(涵蓋AI運算)的AVX-512技術;而后又在2019年推出的第二代英特爾® 至強® 可擴展處理器上集成了可以加速INT8的英特爾® 深度學習加速技術,專攻推理優化;2020年和今年,分別面向多路和單、雙路服務器的第三代英特爾® 至強® 可擴展處理器依次(ci)亮(liang)相,后者(zhe)靠INT8加速主攻推理,前者(zhe)則通(tong)過同時支持(chi)INT8和BF16加速,兼顧了CPU上(shang)的AI訓練(lian)和推理任務。
2021年面向單路和雙路服務器的全新第三代英特爾® 至強® 可擴展處理器的主要優勢,包括再次提升AI推理性能
CPU AI云服務第一式,軟硬打包上手快
得益于英特爾提供的全面AI加速軟硬件組合,多數云服務提供商無需做更多調整和優化,就可迅速打造出針對AI的基礎設施即服務或AI云主機產品。簡單來說,就是將集成AI加速能力的英特爾® 至強® 可擴展平臺與我們提到的軟(ruan)件工具,例(li)如oneDNN或面向英特爾架構優化的AI框架軟(ruan)硬打(da)包,就可快速(su)形成易于部(bu)署和擴展的AI云主機鏡像(xiang)。
國內有云服務提供商早在2017年就進行了類似的嘗試,通過使用英特爾優化軟件,它激活了英特爾® 至強® 平(ping)臺的AI加速潛能(neng)(neng),并在部分應用場(chang)景(jing)實現了可與GPU相媲美的推理性能(neng)(neng)。
如果僅有性能優化還不夠,還需要更快的模型部署能力,那就可以像CDS首云一樣導入OpenVINO?。它通過英特爾® 至強® 可(ke)擴展(zhan)平臺、高性能 K8S 容器平臺和OpenVINO Model Server這(zhe)三者(zhe)的(de)組(zu)合大幅(fu)簡化了AI模型的(de)部署、維護和擴展(zhan)。性能實測結果也表(biao)明,OpenVINO?不僅在用(yong)戶并發接(jie)入能力上(shang)優(you)于首云此(ci)前采(cai)用(yong)的(de)AI框架,在推理應用(yong)的(de)時延等關鍵(jian)性能指標上(shang)也有良好表(biao)現(xian)。
CDS首云AI云服務方案架構
CPU AI云服務第二式,深度優化收益多
僅僅是導入英特爾已經就緒的AI軟硬件組合,就已能輸出令人滿足的AI云服務了,那么如果是和英特爾在AI云服務的算法及模型上進行更深入的優化,又(you)會有(you)什么驚喜呢?像阿(a)里云這樣的頭部云服(fu)務提(ti)供(gong)商(shang)就通過實戰給出(chu)了答案。
以阿里云為例,其機器學習平臺PAI在與英特爾的合作中,利用了第三代英特爾® 至強® 可擴展處理器支持的bfloat16加速,來主攻PAI之上BERT性能的調優,具體來說就是以經過優化的Float32 Bert模型為基準,利用BF16加速能力優化了該模型的MatMul算子,以降低延遲。測試結果表明:與優化后的FP32 Bert模型相比,英特爾® 至強® 平臺BF16加速能(neng)力能(neng)在不降低準確率的情(qing)況下,將(jiang)BERT模型(xing)推理性能(neng)提升達1.83倍。
阿里云PAI BERT 模型優化方案
CPU AI云服務第三式,扎根框架打根基
為這個問題輸出答案的是百度,它的開源深度學習平臺“飛槳”先后結合第二代和第三代英特爾® 至強® 可擴(kuo)展(zhan)處理(li)器在(zai)計算、內(nei)存、架構和通(tong)信等多層面進(jin)行(xing)了(le)基礎性的(de)優(you)化。其結果(guo)也是普(pu)惠性的(de)——優(you)化后(hou)的(de)飛槳框(kuang)架能夠充分調動深度學習加速(su)技術,可將眾多AI模(mo)型,特別是圖像分類(lei)、語音識別、語音翻譯(yi)、對象檢測(ce)類(lei)的(de)模(mo)型從FP32瘦身到INT8,在(zai)不(bu)影響準確(que)度的(de)情況下,大幅提(ti)升它們的(de)推理(li)速(su)度。
英特爾深度學習加速技術可通過1條指令執行8位乘法和32位累加,INT8 OP理論算力峰值增益為FP32 OP的4倍
例如在圖像分類模型ResNet50的測試中,飛槳搭配英特爾今年發布的全新第三代英特爾® 至強® 可擴展處理器(qi)對其(qi)進行(xing)INT8量化后,其(qi)推(tui)理吞吐(tu)量可達FP32的3.56倍之(zhi)多。
如此性能增幅,再加上CPU易于獲取、利用和開發部署的優勢,讓飛槳的開發者們可借助AI框架層面的優化,更加快速、便捷地創建自己可用CPU加速的深度學習應用。而為了給企業開發者們提供更多便利,百度還推出了EasyDL和BML(Baidu Machine Learning)全功能AI開發平臺,通過飛槳基于全新第三代英特爾® 至強® 可擴展處理器的優化(hua)加速,來(lai)為(wei)企(qi)業提供一(yi)站(zhan)式AI開發(fa)服務。
百度飛槳開源深度學習平臺與飛槳企業版
展望未來,跨越智能化鴻溝不僅靠算力
好消息是,國內的云服務提供商也早已和英特爾就此展開了前瞻創新,例如百度智能云早在2019年就推出了ABC(AI、Big Data、Cloud)高性能對象存儲解決方案,能利用英特爾® 傲騰(teng)? 固態盤(pan)的(de)(de)高(gao)性能(neng)、低時延和高(gao)穩定來滿足AI訓練對數據(ju)的(de)(de)高(gao)并發(fa)迭代吞吐需求(qiu)。
值得一提的是,英特爾在今年發布全新第三代英特爾® 至強® 可擴展處理器時,也帶來了與其搭檔的英特爾® 傲騰? 持久內存200系列和英特爾® 傲騰? 固態盤P5800X。
與全新第三代英特爾® 至強® 可擴展處理器搭配使用的英特爾® 傲騰? 持久內存和英特爾® 傲騰? 固態盤新品