ベンチマークの功罪

同じパソのSSDを半分こしただけなのに、
マルチブートのWindowsでCrystalDiskMarkの
計測したスコアと、ubuntuのfioで計測した
スコアが違うのはなぜだい？という質問がありました。
SSDのベンチマークと言っても色々あり
シーケンシャルアクセス
ランダムアクセス　　　　
メタデータ操作
などなど。。。
マルチ/シングルや様々なブロックサイズでの
テストもあります。
なんのベンチマークだったのか、また具体的な
計測値もなかったので一般論でお答えしました。

まずはファイルシステムによる差があります。
Windowsに使用されるNTFSは、ubuntuのext4より
遅いことによるものでしょう。
シーケンシャルのIN/OUTやランダムだけでなく
メタ操作であるファイル作成・削除や取得においても
NTFSはかなり遅いと言えます。
ただしこの手の情報を最終的に調べたのは数年前で、
現時点では改良がなされているかもしれません。

OSの違いによるバックランドプロセスの稼働で
他のリソースの消費量が異なることによる違いも
考えられます。

またブロックサイズにより計測値は大きく変化します。
Block Sizeが125KiBと512KiBで全然違うし、細かく
言うと、4Kと言っても4KBと4KiBでは違います。
そのへんが留意された測定だったでしょうか。

ま、ベンチマークは計測値が具体的な数字として
表示されるので、非常にわかりやすく自分のパソの
性能を知ることができますが、ではシーケンシャルの
アウトプットにおいてNTFSはext2や3・及び4の
半分くらいのスコアですが、それを知っても
Windowsのファイルシステムにextナンチャラや
もっと早いReiserFS・ReiserFSは使えませんので
諦めるかLinuxデスドロに切り替えるしかないわけです。

またベンチマークは同じOSで行っても環境によって
違う計測値になることもあります。
拙生は同じパソでストレージを交換したときや、
新しいパソを組んだときなど、比較程度には
使いますが、一度数値を気にし始めるとすべての
デバイスやバスが高速にならなければ気が
すまなくなり、大変なことになってしまいます。
気にしないのが一番です。
例えば500MB/Sが600MB/Sになっても大抵の方は
多分体感できないでしょうから。ｗｗ

無線機やさんに置いてあるしょぼいパソ上で
fioのコマンドで簡易計測した例

$ dd if=/dev/zero of=a.tmp bs=512M count=5 oflag=direct; rm a.tmp
5+0 レコード入力
5+0 レコード出力
2684354560 bytes (2.7 GB, 2.5 GiB) copied, 6.64559 s, 404 MB/s

昨日組んでみたパソは最後の404MB/Sが560MB/Sでしたが
体感できるようなものではありませぬ。

話は変わって・・

ちょっと古い話ですがベンチマーク詐欺が
行われていて、これもベンチマーク教信者の
逆手を取ったものでした。

昨年問題になったスマホなどの端末における
ベンチマーク詐欺。（と思われる。）
端末上で有名なベンチマークアプリである
3DMarkを走らせると、異常な発熱を生じる・・・

どういうことなのかというと、テストの結果
特定の有名なベンチマークアプリで測定した際に
ブーストモードになってハイスコアを叩き出すように
仕組まれているため、CPUがいきなり発熱するのでは
ないかという疑いが持たれたとうことです。
処理能力が要求される作業のときに、他のコアに
余力があればブーストする・・・という通常動作ではなく、
既知のベンチマークアプリ名を稼働させようとしたときに
強制的にブーストモードにしてしまえば、良いスコアが
はじき出されること間違い無しですよね。
ベンチマークでハイスコアを叩き出せば売上にも
つながるわけです。
もちろんベンチマーク結果が端末側で操作されること
自体はベンチマーク規約違反に当たります。

操作していたという根拠は3DMark、及び名前を
変えただけの同じアプリで計測すると、全く違う
結果が出てきて、名前の違うアプリでは、スコアも
半分程度に落ち発熱量も約2/3に下がることです。
中身は同じアプリですから同じ結果が出なくては
おかしいはずですよね。
逆にまったくベンチマークアプリとは異なる
極々小さなアプリを、有名なベンチマークアプリ名に
変更して実行させたら、いきなりCPUがブースト
モードになったことが報告されています。

以前K国Su・・やTy国OneP・・が同じ事をやって
いましたが指摘を受けた以降ベンチマーク詐欺は
やめています。
昨年の詐欺疑惑はまたもやTy国のHuaw・・とOPP・・
そしてそのサブブランドでした。
懲りずにやってるなぁ・・・という感想です。（笑

3DMark側が異常発熱してしまういくつかのテストを
外して対応しましたがいい迷惑ですよね。

結論

ベンチマーク教の信者にとっては、ほんの僅かな
計測値の違いが一喜一憂する材料となるために、
騙してやろうとする新興宗教が出てくるのでしょう。
数値が命というベンチマーク自体が趣味というので
なければ、体感的に遅くてイライラするとか、遅くて
仕事がはかどらないなどという状況でない限り
あまり気にしないのが体のためでしょう。。。
ま、起動させると使えそうな画面表示になりつつも、
実はまだバックグランドで起動作業の続きをやっていて、
快適に使えるようになるまで結構な時間がかかるOS・・・
なんてのも似たようなものかな。ｗｗ