お名前.com VPSへ移転 その3: ベンチマーク

前回はお名前.com VPSをDebian 7に初期化しました。これからいろいろセットアップしなければいけませんが、その前にちょっとベンチマークを行って以前使っていたServersMan@VPS (Standardプラン)と比較してみたいと思います。

なお、ServersMan@VPS時代のベンチマークは下記で見ることができます。今回は64bit同士の比較を行います。

ServersMan@VPSを64bitに変更 その5: ベンチマークで比較

今回は32bit版DebianをインストールしたServersMan@VPSと、64bit版DebianをインストールしたServersMan@VPSを比較してみます。 ベンチマークによって傾向は違いますが、おおむね64bit版のほうがスコアが良いようです。これからセットアップするならば64bit OSがお勧めです。

scratchpad.jp

2014/06/25

ServersMan@VPSは月額934円のStandardプラン(メモリ2GB, HDD 100GB)で、お名前.com VPSは月額1315円のメモリ2GBプラン(メモリ2GB, CPU 3コア, HDD 200GB)です。

bonnie++: ハードディスク性能

まずはハードディスクの性能をbonnie++というツールで測定してみます。実行したコマンドは

bonnie++ -q > 記録用ファイル.csv

になります。

測定結果は次の通りです。性能が良いほうを青い背景としておきました。

もっと大差でお名前.com VPSのほうが勝つのではないかと思いましたが、勝ち負けの数は意外と拮抗しています。シーケンシャルインプットとランダムシークに関しては差がありすぎるため、ServersMan@VPSの測定時に記録間違えをしたのかもしれません。

またVirtioのON/OFFでも明確な差が出ませんでした。わずかにVirtio OFFのほうが優勢ですが明確な差があるようにも思えません。Virtio ONのほうが有利かと思っていたのですが、予想外でした。マルチスレッドを活用するベンチマークだと差が出るのかもしれません。

なお、何回か測定したのですが、大体上記のような傾向を示すものの、かなり数値のブレがありました。VPSはリソースを共有しているので仕方ないところもありますが、RAMディスクなどを使ってディスクの読み書きは減らすことを考えた方がよさそうです。

dbench: ハードディスク性能

つづいてdbenchというソフトでもハードディスク性能を測定してみます。実行したコマンドは

dbench スレッド数 -t 60 > 記録用ファイル.txt

となります。スレッド数を1, 2, 4, 8, 16と変えて試してみました。

結果は次の通りです。今回もスコアが良いほうを青い背景にしています。

このベンチマークでは全項目でお名前.com VPSの圧勝でした。

Virtio ON/OFFではVirtio ONのほうが高速なようです。MAXレイテンシに関しては一部逆転しています。MAXレイテンシはあくまでもMAXなので、共有している他のVPSの動き次第で大きくぶれるので、参考程度に考えてよいと思います。

mbw: メモリ性能

メモリの性能はmbwというソフトで試してみました。実行したコマンドは

mbw 256 > 記録用ファイル.txt

となります。256MBのデータを使ってデータコピーを行いスループットを測定します。

結果は次の通りです。今回もスコアが良いほうを青い背景にしています。

こちらは2勝1敗でServerMan@VPSのほうが有利となりました。

メモリ性能なのでVirtio ON/OFFは特に影響がないようです。

sysbench: 総合テスト

最後にsysbenchという総合ベンチマークソフトを使って性能を測定してみます。sysbenchはテスト項目が「cpu」「threads」「mutex」「fileio」「oltp(データベース)」が選択できます。

ServerMan@VPSのときにmutexの測定結果を忘れてしまったので、それ以外の結果を紹介します。

測定結果に標準偏差という見慣れない数値が出てきますが、これは測定結果にどれだけのブレがあったかを示す数値です。小さいほうが安定しているということができます。

CPU

sysbenchの説明によれば素数の演算を行うことにより測定するようです。実行したコマンドは

sysbench --test=cpu --num-threads=スレッド数 run > 記録用ファイル.txt

となります。スレッド数は1,2,4,8,16と変化させました。スレッド数を増やすことによりスケジューラの性能も評価できるようです。

結果は次の通りです。

このベンチマークでは明らかに1スレッド以外ではお名前.com VPSのほうが圧勝です。CPU性能については明らかにお名前.com VPSのほうに分があるようです。

VirtioのON/OFFについては誤差とみてよいと思います。このテストはCPUのベンチマークなので、VirtioのON/OFFでは差がつかないものと思います。

マルチスレッド

sysbenchの説明によればスケジューラのパフォーマンスを測定するために作られたテストとのことです。実行するコマンドは

sysbench --num-threads=スレッド数 --test=threads run > 記録用ファイル.txt

になります。スレッド数は1,2,4,8,16,32,64,128と変化させて行いました。

結果は次の通りです。

このベンチマークでは全項目でお名前.com VPSの圧勝です。体感できるぐらいが出るのではないかと思います。

また、お名前.com VPSでのVirtio ONとOFFではVirtio OFFのほうがわずかに有利な状況です。誤差というレベルだとおもますが、その割にはVirtio OFFのほうが微妙に良いので、実際に差があるのかもしれません。

ファイルI/O

sysbenchはファイルI/Oに関してはシーケンシャルとランダムでそれぞれ読み込み・書き込み・読み書きの3パターン、合計6パターンの測定を行うことができます。今回は時間がないのでランダムの読み書きのみ測定してみました。実行したコマンドは

sysbench --test=fileio --file-test-mode=rndrw prepare
sysbench --test=fileio --file-test-mode=rndrw --num-threads=スレッド数 run > 記録用ファイル.txt
sysbench --test=fileio --file-test-mode=rndrw cleanup

になります。スレッド数は1,2,4,6,16と変化させて行いました。

結果は次の通りです。

このベンチマークでも全項目でお名前.com VPSのほうが有利です。

興味深いのはお名前.com VPSでのVirtio ONとOFFの違いです。スレッド数が多くなるとVirtio OFFのほうが有利のようです。これは意外な結果でした。

データベース(MySQL)

最後にデータベースの速度比較です。sysbenchによると単純な検索のほかに複数の処理を組み合わせたトランザクションなどの処理を行っているとのことです。

このベンチマークを行う前にテスト用のデータベースを作成しておく必要があります。これはルートでMySQLに接続して行います

mysql -u root -p
(rootのパスワードを入力)

mysql> CREATE DATABASE benchmark;
mysql> GRANT ALL ON benchmark.* to benchmark@localhost;
mysql> FLUSH PRIVILEGES;
mysql> SET PASSWORD FOR benchmark@localhost=password('benchmark');

テスト用のデータベースの名前はbenchmarkとして作成し、パスワードもbenchmarkとしておきます。

準備が整ったらsysbenchを実行します。

sysbench --test=oltp --mysql-table-engine=myisam --mysql-user=benchmark --mysql-password=benchmark --mysql-db=benchmark --oltp-table-size=1000000 prepare
sysbench --test=oltp --mysql-table-engine=myisam --mysql-user=benchmark --mysql-password=benchmark --mysql-db=benchmark --oltp-table-size=1000000 --num-threads=スレッド数 run > 記録用ファイル.txt
sysbench --test=oltp --mysql-table-engine=myisam --mysql-user=benchmark --mysql-password=benchmark --mysql-db=benchmark --oltp-table-size=1000000 cleanup

スレッド数は1,2,4,8,16と変化させて行いました。

結果は次の通りです。

このベンチマークでもお名前.com VPSの圧勝です。Virtio ONとOFFでは常にVirtio ONのほうが早かったですが、差は微々たるものです。どちらを使うか難しいところです。

まとめ

今回は新たにセットアップしたお名前.com VPSと従来使っていたServersMan@VPSを各種ベンチマークテストで比較しました。

ベンチマークテストにより若干のブレはあるものの、全体を通してお名前.com VPSのほうが性能が高い数値が出ています。WordPressでサイトを構築したときにどのような差が出るのか興味があるところです。

なお、お名前.com VPSでVirtioをONにしたときとOFFにしたときについては、差があるのかないのかよくわかりません。LinuxのようにVirtioに対応しているOSを動かす場合は、VirtioをONにすることが推奨のようなので、とりあえずONにして運用したいと思います。

次回からはこのお名前.com VPSの環境構築をしていきたいと思います。