もくじ

 

• ・ISUCON11に参加します
• ・その１.レギュレーションを確認する
• ・その２. 過去問を解く
• ・その３.ボトルネックとなっている箇所を探す
• ・その４.ボトルネックを改善する
• ・その５.さらに改善する
• ・その６.前準備をしっかりと
• ・まとめ
• ・募集要項

 

 

 

 

 

 

 

 

ISUCON11に参加します

みなさんこんにちは！どんなに暑くても熱いお茶とコーヒーが大好きな株式会社EMoshU・CTOの松村です。（8月に書いてます）

 

 

今回はエンジニア向けの競技コンテストの１つであるISUCON11予選に参加することになったので、コンテストの予選に向けて傾向と対策を技術ブログの記事としてまとめてみました。

 

 

ISUCONは、LINE株式会社が運営するコンテストで「いい感じにスピードアップコンテスト」（Iikanjini Speed Up Contest）を略してISUCONと呼ばれています。（面白いネーミング）

何をいい感じにスピードアップするかについてですが、コンテストではお題として与えられたWebアプリケーションを時間内に高速化し、そのスコアを競う競技となっています。

 

 

我々がISUCONに取り組む意義としては、まず社の方針として多くの人に使ってもらえるサービスを世に出していきたいという気持ちがあります。その上で、ユーザーやサービス規模が大きくなっていった際に、使い勝手が悪くなってしまってはサービスをグロースさせることができません。そのため、サービスのボトルネックを見つけ改善していくノウハウを、このようなコンテストを通して体得していきたいという思いがあり、参加することにしました。

ちなみにチームメンバーとして、頼れるエンジニアマネージャーまさきもいっしょに参加します。

 

 

ISUCONは今年（2021年）で11回目となり昨年の10回目から参加者数が大きく増えており、年々注目度が増しているように思われます。本当は昨年のISUCON10も参加したかったのですが、すぐに参加枠が埋まってしまい参加することができませんでした。

このコンテストは、最大３名を1チームとして８時間という制限時間内に出題されたお題のボトルネックを見つけ出し改善していく必要があります。当然何も準備せずに挑戦しても何もできないまま終わってしまいますので、しっかり過去のお題を分析しておく必要があります。

 

 

そこでこの記事では、ISUCONに参加するにあたっての対策や問題への対応方法を紹介していこうと思います。

 

 

 

 

 

 

その１.レギュレーションを確認する

まずはレギューレション（規則）を確認しましょう。

 

 

競技コンテストですので決められたルールに従わないといけません。レギュレーションには使用できる言語や提供されるサーバの環境、採点方法などの基本的な情報の他に何をやっていいかという高速化をする上で重要な事柄も書かれていたりしますのでしっかり確認しておきましょう。

 

 

問題の実装で使われている言語はGo, Node.js, Perl, PHP, Python, Ruby, Rustになり（ISUCON10予選レギュレーションより）、どれを選ぶかについては慣れている言語が一番良いのではないかと思います。私を含め弊社のエンジニアはPHP経験のある人が多いのでPHPでいくことも考えましたが、次の自社サービスではGoを使って実装したいと考えているのでGoで挑戦する予定です。実際の参加者の利用比率だとGoを選択するチームが多いようです。

 

 

 

 

 

 

その２. 過去問を解く

内容を確認した後にやるべきこととしては、やはり実際出された過去のお題を解いてみるというのが一番良い

でしょう。過去のお題は予選・本戦ともに公式のHPから辿ることができます。環境の構築方法も公開されているので、実際にローカルPCで動作確認ができる問題をやってみると良いでしょう。

 

 

私はISUCON10予選とISUCON9本戦をローカルPC(MacBook)で動かして確かめることができました。問題によっては環境構築でつまずく可能性が十分あり得るので、公式の「過去問にチャレンジするためのシンプルな環境構築」（下記リンク）を参考にして動かしてみるのが良いかと思います。

 

 

 

 

それでは、次からは問題を解いていく上でのボトルネックの探し方をみていきたいと思います。

 

 

 

 

その３.ボトルネックとなっている箇所を探す

動作確認ができたら、次にやるべきことは情報の収集です。改善しようにも何がボトルネックになっているかが分からなければ対応しようがないからです。

 

 

それではどこから情報を集めてくるかですが、一番重要な情報が詰まっているのがアクセスログになります。アクセスログにはどこからアクセスされたのか、どこにアクセスしたのか、レスポンスを返すまでにどれくらいの時間を要したのかなどの情報が書かれています。

 

 

そしてこのアクセスログを集計してみると、どこへのアクセスに時間がかかっているのかが分かるため、ボトルネックとなっている箇所が一目瞭然となります。注意点として過去問などでDockerを利用する際はアクセスログの出力先が標準出力になっているので、ログをファイルに出力するように設定する必要があります。

 

 

アクセスログをファイル出力できるようになったら、実際にログを集計して分析します。ログ集計ツールとしてalpがよく使われているようで、実際に使ってみましたが簡単にインストールでき、集計も手軽にできて良い感じでした。下記にISUCONでのalpの使い方を説明したリンクを置いておきます。

 

 

 

以上がアクセスログについての情報収集でしたが、さらにボトルネックを分析する上で重要な指標としてDBのスロークエリログ（slow query log​）があります。文字通り遅いクエリのログです。サービスのリリース初期などDBのデータ量が少ない間はあまり問題になりにくいですが、ユーザー数増加に伴いDBに保存されるデータが増えてくると大きなボトルネックになってきます。そのため、お題のアプリケーションを動かしながらスロークエリログが出ていないか確認しましょう。スロークエリログはMySQLであれば、my.confファイルで検出するスロークエリの定義やログの出力先を設定できます。もしくは pt-query-digest のようなツールを使うのもの良いかもしれません。詳しくは下記を参考にしてください。

 

 

 

 

 

その４.ボトルネックを改善する

ボトルネックとなっているAPIやDBのクエリを見つけたら、次はそのボトルネックの改善をしてきましょう。過去問をやっていて一番スコアを改善できたなぁと思ったのが、スロークエリの改善です。遅いクエリを見つけたら、EXPLAIN などを使用して実行計画を確認してみましょう。大体、インデックスが貼られておらずフルスキャンによって重くなっていたりするので適切なインデックスを貼って対応します。

 

 

スロークエリを片付けたら次は遅いAPIの実装を確認して、ボトルネックとなっている箇所を探してみましょう。ボトルネックを見つける上で大事な観点としてはN+1問題がないかという点です。N+1問題とはDBからある情報のリスト（N個）を引っ張ってくる際にまず1回クエリを発行しますが、さらにそのN個それぞれのデータに紐づく情報をDBから引っ張ってこようとした際に、N回のクエリが呼ばれる実装になっている箇所です。合計N+1回のクエリが発行されるため、Nの数が大きくなるとパフォーマンスが落ちてしまいます。実装上は1回クエリを発行した後、その結果を使ってfor文を回し、その中でクエリを発行する実装になっている箇所が該当します。このような箇所を見つけたら、1回のクエリで結果を取得できないか検討してみると良いです。

 

 

 

 

 

その５.さらに改善する

これまで説明した内容は基本的な改善方法になりますが、さらなるスコアUPを図るには与えられた環境やスコア計算時の特殊な要件を利用することも必要です。

 

 

例えば、コンテストでは複数台のサーバが割り当てられたりするのですが、重い処理がアプリケーション側にある場合はアプリケーションサーバに多くのサーバを割り当てて改善するという方法があります。また、問題によっては外部APIと通信している箇所をバックグラウンドで処理してもよかったり、botからのアクセスは503を返すようにしても大丈夫などの特殊な要件も書かれていたりするので、その辺りを見逃さずに対応することもスコアUPには必要になります。他には表示レスポンスの改善にキャッシュなどを利用するというのもありそうです。

 

 

 

 

 

その６.前準備をしっかりと

最後に、コンテストは作業できる時間が限られているので時間を有効に使うことが重要になります。そのために前準備をしっかりしておくことも大事になります。問題は異なっても最初にやるべきことは計測になります。その計測を素早く行うためにもツール類は事前に準備しておきましょう。

 

 

また、複数名のチームでチャレンジする場合はそれぞれが対応する領域（アプリケーションやインフラなど）を決めておいたり、お題のソースコードをgitで管理してissueベースで改善していくなどチームとしての方針も重要になりそうです。

 

 

 

 

 

まとめ

今回の記事では、ISUCON予選に向けた対策と問題への対応方法について説明しました。まとめると以下のような感じです。

 

• レギュレーションを確認しよう
• ログから情報を収集してボトルネックとなっている箇所を見つけよう
• ボトルネックを解消しよう
• 事前準備をしっかりと

 

 

今回記事としてまとめた内容はISUCONに参加する上で最低限知っておくべきことを中心に書いてみました。予選を突破するには紹介した内容以上のことが求められそうなのでなかなかハードルが高そうですが、できる限りのことをやってみようと思います。また来年以降も継続的に参加し、他のエンジニアさんと切磋琢磨できたらなと思っています。

 

 

この記事をみてISUCONに興味を持たれましたら、ISUCONのホームページを見てみることをおすすめします。ホームページには過去問やその解説もありますし、座学の動画も配信されているので、興味のある方はぜひご覧になってください。

 

 

 

最後に、EMoshUではメンバー一丸となってより良いサービスを世に出すために頑張っています。そんな中で一緒に働きたいという方がいらっしゃいましたら是非ホームページからお問い合わせいただければと思います。そして一緒にISUCONのようなコンテストにも参加しましょう！

 

 

 

 

 

募集要項

• iOSエンジニア
• Androidエンジニア
• サーバーサイドエンジニア
• ディレクター
• エンジニアインターン

 

 

 

 

まずは話を聞いてみたいという方へ

• カジュアル面談
• カジュアルランチ