Oba-Q's Free Space >  パソコン > ベンチマークの功罪

ベンチマークの功罪

同じパソのSSDを半分こしただけなのに、
マルチブートのWindowsでCrystalDiskMarkの
計測したスコアと、ubuntuのfioで計測した
スコアが違うのはなぜだい?という質問がありました。
SSDのベンチマークと言っても色々あり
シーケンシャルアクセス
ランダムアクセス    
メタデータ操作
などなど。。。
マルチ/シングルや様々なブロックサイズでの
テストもあります。
なんのベンチマークだったのか、また具体的な
計測値もなかったので一般論でお答えしました。

まずはファイルシステムによる差があります。
Windowsに使用されるNTFSは、ubuntuのext4より
遅いことによるものでしょう。
シーケンシャルのIN/OUTやランダムだけでなく
メタ操作であるファイル作成・削除や取得においても
NTFSはかなり遅いと言えます。
ただしこの手の情報を最終的に調べたのは数年前で、
現時点では改良がなされているかもしれません。

OSの違いによるバックランドプロセスの稼働で
他のリソースの消費量が異なることによる違いも
考えられます。

またブロックサイズにより計測値は大きく変化します。
Block Sizeが125KiBと512KiBで全然違うし、細かく
言うと、4Kと言っても4KBと4KiBでは違います。
そのへんが留意された測定だったでしょうか。

ま、ベンチマークは計測値が具体的な数字として
表示されるので、非常にわかりやすく自分のパソの
性能を知ることができますが、ではシーケンシャルの
アウトプットにおいてNTFSはext2や3・及び4の
半分くらいのスコアですが、それを知っても
Windowsのファイルシステムにextナンチャラや
もっと早いReiserFS・ReiserFSは使えませんので
諦めるかLinuxデスドロに切り替えるしかないわけです。

またベンチマークは同じOSで行っても環境によって
違う計測値になることもあります。
拙生は同じパソでストレージを交換したときや、
新しいパソを組んだときなど、比較程度には
使いますが、一度数値を気にし始めるとすべての
デバイスやバスが高速にならなければ気が
すまなくなり、大変なことになってしまいます。
気にしないのが一番です。
例えば500MB/Sが600MB/Sになっても大抵の方は
多分体感できないでしょうから。ww

無線機やさんに置いてあるしょぼいパソ上で
fioのコマンドで簡易計測した例

$ dd if=/dev/zero of=a.tmp bs=512M count=5 oflag=direct; rm a.tmp
5+0 レコード入力
5+0 レコード出力
2684354560 bytes (2.7 GB, 2.5 GiB) copied, 6.64559 s, 404 MB/s

昨日組んでみたパソは最後の404MB/Sが560MB/Sでしたが
体感できるようなものではありませぬ。

話は変わって・・

ちょっと古い話ですがベンチマーク詐欺が
行われていて、これもベンチマーク教信者の
逆手を取ったものでした。

昨年問題になったスマホなどの端末における
ベンチマーク詐欺。(と思われる。)
端末上で有名なベンチマークアプリである
3DMarkを走らせると、異常な発熱を生じる・・・

どういうことなのかというと、テストの結果
特定の有名なベンチマークアプリで測定した際に
ブーストモードになってハイスコアを叩き出すように
仕組まれているため、CPUがいきなり発熱するのでは
ないかという疑いが持たれたとうことです。
処理能力が要求される作業のときに、他のコアに
余力があればブーストする・・・という通常動作ではなく、
既知のベンチマークアプリ名を稼働させようとしたときに
強制的にブーストモードにしてしまえば、良いスコアが
はじき出されること間違い無しですよね。
ベンチマークでハイスコアを叩き出せば売上にも
つながるわけです。
もちろんベンチマーク結果が端末側で操作されること
自体はベンチマーク規約違反に当たります。

操作していたという根拠は3DMark、及び名前を
変えただけの同じアプリで計測すると、全く違う
結果が出てきて、名前の違うアプリでは、スコアも
半分程度に落ち発熱量も約2/3に下がることです。
中身は同じアプリですから同じ結果が出なくては
おかしいはずですよね。
逆にまったくベンチマークアプリとは異なる
極々小さなアプリを、有名なベンチマークアプリ名に
変更して実行させたら、いきなりCPUがブースト
モードになったことが報告されています。

以前K国Su・・やTy国OneP・・が同じ事をやって
いましたが指摘を受けた以降ベンチマーク詐欺は
やめています。
昨年の詐欺疑惑はまたもやTy国のHuaw・・とOPP・・
そしてそのサブブランドでした。
懲りずにやってるなぁ・・・という感想です。(笑

3DMark側が異常発熱してしまういくつかのテストを
外して対応しましたがいい迷惑ですよね。

結論

ベンチマーク教の信者にとっては、ほんの僅かな
計測値の違いが一喜一憂する材料となるために、
騙してやろうとする新興宗教が出てくるのでしょう。
数値が命というベンチマーク自体が趣味というので
なければ、体感的に遅くてイライラするとか、遅くて
仕事がはかどらないなどという状況でない限り
あまり気にしないのが体のためでしょう。。。
ま、起動させると使えそうな画面表示になりつつも、
実はまだバックグランドで起動作業の続きをやっていて、
快適に使えるようになるまで結構な時間がかかるOS・・・
なんてのも似たようなものかな。ww

This entry was posted in パソコン. Bookmark the permalink.

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

Posts that do not include Japanese are ignored, so please be careful. (Anti-Spam)
日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください