中國IDC圈訊，開（kāi）放數據中心峰會（ODCC2020）在北京召開（kāi），峰（fēng）會（huì）圍繞數據中心新基建為主題，有（yǒu）數據中心領域及（jí）相關（guān）行業的（de）眾多專（zhuān）家（jiā）與會。在（zài）9月16日新技術與測試分（fèn）論壇（tán）上，中（zhōng）國計量科學研究院（yuàn）先進測量工程中心（xīn）副主任武彤帶（dài）來了（le）主（zhǔ）題為“計算（suàn）性能基準計量測試工具研究”的（de）演講。

中（zhōng）國計量科學研究院先進測量工（gōng）程中（zhōng）心副主任武彤

大（dà）家（jiā）好，我（wǒ）是武彤（tóng），先介（jiè）紹一下（xià）我們（men）單位的情況，可能在IT行業大家（jiā）不太了解我們單位，我來自中國計量科學研究院，它隸屬（shǔ）於國家市場監督管理（lǐ）總（zǒng）局，是我國最高的（de）計量科學的研究中（zhōng）心，國家級的法定計量技術機（jī）構，我所在的部（bù）門主要負責智能工程、雲計算以及數據中（zhōng）心領域還有一些其（qí）他的（de）材料領域的計量測試以及評價驗證。

可能大家不太（tài）熟悉計（jì）量，我首（shǒu）先給大家介紹（shào）一下，大家對計（jì）量（liàng）的概念（niàn）一般都從秦朝開始，就是商鞅變法統一度量衡稱為（wéi）計（jì）量。實際（jì）上在上古時代，《伏羲女媧圖》裏麵拿了兩個工具就是比（bǐ）較早期的計量工具。什麽叫計（jì）量？給大家舉個例子，在秦朝叫秦錢，“秦錢半（bàn）兩，徑一寸二（èr）分，重十二銖。”這（zhè）兒都兩個單（dān）位“兩”和“銖”，一兩等於（yú）二十四（sì）銖，計量（liàng）就是單位統（tǒng）一（yī）、量值準確可（kě）靠的活動（dòng）。度量衡的技術進步開啟了我國的金融（róng）體係。

計量的發展通常（cháng）我（wǒ）們稱為從古（gǔ）典計量（liàng）到現（xiàn）代計量。古典計量（liàng）基本上大家都非常了解，是用植（zhí）物的果實或者是用某一個人的人體器官的長度作（zuò）為計量的單位（wèi），比如（rú）說克（kè）拉，克拉就是是一（yī）種植（zhí）物的果實，大家（jiā）都（dōu）用於做（zuò）重金屬（shǔ）或（huò）者鑽石重（chóng）量的（de）計（jì）量（liàng），克拉原（yuán）來是植物的果實，後來做（zuò）標準化，1克拉等於200毫克。到1875年，米（mǐ）製公約（yuē）的確（què）立，為了（le）工（gōng）業製造的發展需要標準化，就需要統（tǒng）一（yī）的（de）量值體係，到（dào）了現（xiàn）代（dài）計量，主要為了科學技（jì）術的發展，特別（bié）是軍事（shì）科學技術的發（fā）展。

我們看（kàn）一下雲計算領域的計量。首（shǒu）先看貿（mào）易的（de）角度，我們（men）看怎（zěn）麽來賣雲（yún）計算服務的，特別是IaaS的方（fāng）麵，這是騰訊雲的，裏麵（miàn）有三（sān）個指標，其中一個比較重要，一個叫CPU，一個叫內存，一個叫帶（dài）寬，它賣了（le）三種服（fú）務，一個是計算的能力，一個是存儲的能力，一個是（shì）通信的能力（lì），其他的廠商也是這樣的（de）。

實際上如果從度量的角（jiǎo）度來（lái）講（jiǎng），“核”就是一個（gè）單位，因為我們賣的計量單位是一核，一核的（de）計量單位是多（duō）少（shǎo）我們大（dà）家都不是（shì）特別清（qīng）楚。從計量角度來講，我們認（rèn）為雲計算的（de）計量（liàng）可能處於植（zhí）物果實的（de）狀態，就是克（kè）拉的狀態。

在物理領域，計量（liàng）有七個基本單位能描述整個物理世界，比如（rú）千克等等。在互聯網領域怎麽來描（miáo）述（shù）整個互聯網領（lǐng）域（yù）的量呢？在2015年ODCA開放數據中心聯盟（méng），這個聯盟大部分由數（shù）據中心的使用（yòng）方組成的，他們做了（le）研究成果就是（shì）IaaS的度（dù）量方法。他們提（tí）出來在互（hù）聯網領域可能用三（sān）個指標整個描述（shù）互聯網領（lǐng）域的活動：第一是秒，秒是時間的永恒的（de）時間指標；第二是（shì）比（bǐ）特（tè），大家知（zhī）道比（bǐ）特是描述信息的一（yī）個計量單位；第（dì）三是計算能力，計算能力是互聯網領域一個新的計（jì）算指標，因（yīn）為我們買的就是算力，類似於（yú）電力（lì）的千瓦時（shí）一樣。

實際上（shàng）在（zài）這三個指標（biāo）裏麵，計算能（néng）力的測量是（shì）最複雜的。我們歸（guī）納一下，在互聯網測試領域怎（zěn）麽做計量或者（zhě）測試，比較（jiào）重要（yào）的就是計算資源的測試，存儲資源的計量（liàng）單位比如比（bǐ）特。存儲資源是計量是按照（zhào）“塊存儲（chǔ）”來測量的，“塊存儲”的不同也會導致的計量測（cè）試（shì）結果（guǒ）差異很大，但計算資源（yuán）的計量（liàng）可能是顛覆性（xìng）的差異，比如你（nǐ）買一核的（de）算力（lì）是兩塊錢，另（lìng）外一核可能二十塊錢，擔算力到底是多少（shǎo），實際（jì）上是沒有（yǒu）一個統的度量指標的，所以我們就從需求的（de）角度來講，最重要（yào）的需求是先（xiān）把計（jì）算資源的這種計（jì）量的能力或者測量能力（lì）統一。

剛才我講物理計量（liàng）用七個基本單位，但是（shì）在化（huà）學計量裏麵，采用的計量標準叫標準物質。比如測氧氣的濃度97%是（shì）怎麽測量的呢？我們首先出一個標準（zhǔn）物質，標準物質是4個9或者5個（gè）9的標準物質（zhì），跟它比較來的，根（gēn）據比較的接過去確（què）定（dìng）是97%、96%。

在計算領域我們找到一（yī）些基準的測量程序，比如算π，每秒鍾算一百（bǎi）萬位是（shì）一（yī）核，兩（liǎng）百萬位是（shì）兩核，但實際的（de）計算場景沒那麽簡（jiǎn）單，但它的原理是（shì）這樣（yàng），靠基（jī）準程序來確定測試能力（lì）。

互聯網的處理（lǐ）數據非（fēi）常複雜，你（nǐ）不可能找一（yī）個程序來度量整個能力，所以（yǐ）我們要（yào）找（zhǎo）到一係（xì）列的程序，比如說（shuō）負載（zǎi）壓縮（suō）的程序、流體力學的程序，計算負（fù）載越來越（yuè）多（duō），其測量的（de）數據與互聯網的體（tǐ）驗就吻（wěn）合得越好。當然它還需要（yào）其（qí）他的一些處理（lǐ），比（bǐ）如說控製程序、硬件的操作。測試程（chéng）序隻是最（zuì）基（jī）礎的單元測量能力，就像我們有了尺一樣，怎樣用（yòng）尺來量麵積，還需要有方法（fǎ）學的標準。

基本測試的工具有這麽多程（chéng）序組成的，實際上（shàng）我們在測量的時候，包括雲計算的（de）廠商（shāng）在測量（liàng）的時候，它把這些東西（xī）裝入它（tā）的計算（suàn）單元，通過運行來測量一個結果，這是各種（zhǒng）各樣的基（jī）本測試程序。通（tōng）過（guò）這個基本測試程（chéng）序你能（néng）做出來一係列的測量結（jié）果，服務器的算力和功耗之間（jiān）的比值就是服務器的能效，PUE是比較IT的耗電和總耗電，如（rú）果（guǒ）是服務器的（de）能效是提高了，實際上PUE的能耗（hào）高點也沒問題。從綜（zōng）合能耗（hào）來講（jiǎng），服務器的能（néng）效的提高，從實踐上來說它的技術進（jìn）步更（gèng）快，因為隨著半導體（tǐ）技術的進步，它的（de）提高（gāo）能（néng）力比數（shù）據中心的製冷的這（zhè）種效率的提（tí）升速度是要快的，隻不過大家更關注PUE的（de）準（zhǔn）確。

計（jì）算性能的測試需要很多策略，它並不（bú）是把一些負載堆積到一（yī）起（qǐ）就（jiù）可以了，需要很多策略（luè）來支撐它，因為這種測試工具需要有很多指標證明（míng）它（tā）是科學的測量（liàng）工具。

這是我（wǒ）們（men）做的一款工具，大家看（kàn）到的這是（shì）指標不是指（zhǐ）現在的騰訊（xùn）雲（yún）和阿裏雲、百度雲的測量結果，這是我（wǒ）做實驗的時候（hòu）它們的性能，今天隻（zhī）是展示一下這個（gè）結果用來說明怎麽（me）判斷基準（zhǔn）測試工（gōng）具的科學性。

現在我解釋一（yī）下這種計（jì）量工具，基準測試（shì）工具怎麽（me）才算是（shì）一個（gè）科（kē）學的測試工具（jù）？首要基準測量（liàng）工（gōng）具重複性（xìng）要（yào）好，比如這個基準（zhǔn）測量工（gōng）具，你測量（liàng）的結果是被測的計算單元的重複性（xìng）加上工具（jù）的重複性的合成的結果。假定測（cè）量（liàng）工具（jù）的重（chóng）複（fù）性（xìng）本身很差，這（zhè）個測試工具不能作為基準計算（suàn）測試工具，當然不同的負載它的重（chóng）複性（xìng）也是不一樣的，所以（yǐ）我們在選這種測試負（fù）載的時候要選重複性好的。這就是為（wéi）什麽（me）要選克拉作為鑽石的單位（wèi），克拉的種（zhǒng）子可能（néng）一致（zhì）性比較（jiào）好，選（xuǎn）蘋果就比較麻煩，有的（de）大（dà）、有的小，所以選這個程序（xù）還（hái）是要從很（hěn）多的負載裏麵選擇重複性比較好的。

這種負載並不（bú）一（yī）定是我（wǒ）們實際使用的，基準（zhǔn）測（cè）試實際上是（shì）一種（zhǒng）理想測（cè）試，例如說我們（men）每（měi）次看英特爾發（fā）布CPU說今年我們的計算性能提高40%，實際上它是在理想情況下也就是這種理想負載下做的，並不是在實際（jì）場（chǎng）景（jǐng），你（nǐ）用WORD等應用程序體驗不到提升40%的體驗。

基（jī）準（zhǔn）測試工具它是一個理想的測試工具，我們就選這（zhè）麽多（duō）的負載（zǎi）首先來看（kàn）它（tā）的重複性。重複性對（duì）基礎（chǔ）測（cè）試是最重要的指標，隻有你（nǐ）把重複性確定了，你（nǐ）才能確（què）認被測的樣品（pǐn）的（de）一致性。假定（dìng）我們的工具的一致性是0.2%，看一下單核心（xīn）的測試結果，大（dà）家看雲計算如（rú）果（guǒ）是單核（hé）心（xīn）它的（de）重複（fù）性就比較好。

這是重複性的技術指標，大家可以看一（yī）下這個技（jì）術（shù）指標，騰訊雲整數（shù）運（yùn）算（suàn）的時候重複性是1.67%，浮點是1.06%。如果是共享計算（suàn）單元，雲計算有很多共享的計（jì）算單元（yuán），它的重（chóng）複性非（fēi）常差，如果是共享的（de），別人用的多了可（kě）能縮減你的計（jì）算能力（lì）。實際上其他（tā）廠商也是類似情況，有的廠商可（kě）能會更差（chà），核（hé）數多（duō）的重複性會更差，比（bǐ）如16核13.6%，它的算力是波動的，如果是獨享會（huì）好一點。每（měi）家廠商的計算能力實際上是（shì）波動（dòng）的，並不是（shì）很穩定，我們買其他的東西（xī）也是（shì）一樣，我們買水果他每次給你稱500克也（yě）是波動（dòng）的，有一個範圍（wéi），我們購買定量包裝的商品也是這（zhè）樣。

這樣就有一個問題，我們怎麽樣來比較不同的算（suàn）力，因為所（suǒ）有的（de）算力都（dōu）是波動的？

有一個概念（niàn）叫不確定度（dù），測量的（de）“真值“實（shí）際上是（shì）不存（cún）在的。例（lì）如我們測量（liàng）長度（dù），測（cè）量長度假設（shè）1米（mǐ），實際（jì）上它（tā）的最可能的範圍是呈正態（tài）分布的值，包含有（yǒu）不確定度。假定兩個（gè）人（rén）測量都是1米，這1米它不（bú）完（wán）全是相同，它有可能是正偏差，有（yǒu）的是負偏差，如（rú）果做可比較的話，就要把你測量結果的不確定度評估出來。我們有時候測量不確定度非常大（dà），比如（rú）說算力不確定度達到30%，你測量（liàng）一顆（kē）CPU算出來是2000，另（lìng）外一個是1500，實際上（shàng）比較不（bú）出來（lái）哪（nǎ）個算力更大。

今天大體來解釋一下做一個測量工具需要什麽（me）樣的（de）技術指（zhǐ）標。

這是我們的不確定度，任何（hé）一個測量工具必須有包含不確定度的結（jié）果（guǒ），它才是完整的測量結果，這個（gè）具體的（de）不確（què）定（dìng）度的值（zhí）我就不再具體解釋了。

總結一下，一個科學（xué）的基準（zhǔn）測試工具（jù）需要有幾個方麵的指標：

第一個（gè）是可測（cè）量，可測量是必須有值（zhí）測量出來，不能（néng）給你給個感（gǎn）覺這個挺快、那個很慢，必須是有量（liàng）值的；

另外（wài）一個可重複（fù），每次的測量結果都在一定的範圍（wéi）內是可以重複（fù）的。

另外是（shì）可以（yǐ）比較，就是我（wǒ）們（men）設定（dìng）兩種可以比（bǐ）較，比如單核的是什麽，雙核（hé）的是什麽，16核的（de）是什（shí）麽（me），當（dāng）然不（bú）是線（xiàn）性的（de）。如果別人（rén）拿給你一個工具講不清楚這（zhè）些指標，實（shí）際（jì）上你無法確定是（shì）不（bú）是可以用這個（gè）工具，當然（rán）你可（kě）以根（gēn）據這個工（gōng）具的發布（bù）方（fāng）是不是權威的組織，來確定是（shì）不（bú）是（shì）相信它。

另外要完（wán）全釋放硬（yìng）件性能，要準確模擬用戶的行為，我（wǒ）們選擇負載要有典（diǎn）型性，不能選一些很（hěn）不常（cháng）見的負載。

還（hái）有一個功能（néng）是（shì）引導未來軟件開發，基（jī）準測量工具是一個工具，它（tā）自己（jǐ）的穩定性實際上（shàng）是（shì）非常（cháng）高的，比一般（bān）測試程序的（de）穩定性要求要高。你要是用應用軟件的時候（hòu），比如（rú）WORD，它每次裝載的時（shí）間都不（bú）一樣的（de），那個不一樣對你的體驗影響是很小，但是（shì）基準（zhǔn）測（cè）量工具作為測量工具要求非常穩定。作為（wéi）基準測量工具，我（wǒ）們（men）認為這些（xiē）指標是必須的，剛才有很多嘉賓來講核心（xīn）的（de）指標、實際上它都是用基準工具測（cè）量出來的（de），如（rú）果你的指標（biāo）差異很大（dà），基準測試工具的影響（xiǎng）不明顯。如果差（chà）異（yì）很小，實際上影響很大的。

對於未來的考慮，我們（men）希（xī）望能建立硬件的服務器和雲計算的服務器一致的測量工具，這種更便於比（bǐ）較。

我（wǒ）們（men）的工作基本上（shàng）來提供工（gōng）具（jù）一致性（xìng），並不是（shì）說所有基準工（gōng）具都（dōu）是由（yóu）我們發布，實（shí）際上基準的測試（shì）工具主（zhǔ）要依靠廠商，我（wǒ）們來提（tí）供方法學的支持，怎麽來做一款基準測試工具（jù），怎麽來評價基（jī）準測試（shì）工具。

我們自己（jǐ）也寫（xiě）工具，我們自己（jǐ）寫的工具也（yě）不一（yī）定是最好的，這需要廠（chǎng）商共同的努（nǔ）力，剛（gāng）才郭亮講也（yě）計劃在ODCC立（lì）一個項目是關於基準測試工具的，我們國家基準測試工具實事（shì）求是講，還是非常落後（hòu），這還有一段過程。

我們（men）希望在ODCC的平台下，我們（men）國家的基準測試工具能夠獲（huò）得長足的進步，隻有工具進步（bù）了（le），進行市場監管的（de）時候才有基礎。比如有人投訴雲廠商（shāng），說我（wǒ）買（mǎi）的算力不夠，如果沒（méi）有基（jī）準（zhǔn）測試工具很難判定怎麽叫不夠，你買了一（yī）核（hé）到底多少算力才夠。計量是（shì）技術合規的原點，市場（chǎng）監管（guǎn）的基礎（chǔ）。

謝（xiè）謝大家。