Capybara で同時に複数のリクエストを受け取った時のテストをする

Capybara を使って Rails Application のテストを書いていた時に同時にリクエストを受け取った時のテストを書きたくなったのでそのログ。

環境

• OSX Yosemite 10.10.4
• rbenv 0.4.0
• ruby-build 20150719
• Ruby 2.2.2
• Rails 4.2.2
• Rspec 3.3.1
• Capybara 2.4.4
• Postgresql 9.2.13

状況と解説と解決策

想定としては

• ユーザが resource を new する
• resource に対して Rails 側が unique な値を追加する
• unique な値は DB 内では重複してはいけない

といった感じです。

とりあえずアバウトなサンプルとして

• 本の名前と価格をユーザが入れる
• ISBNをRails側が順番に振っていく
• もし本の登録が無くなったらそのISBNは再利用

みたいなサンプルを書いてみました。

まず、リクエストを並列に投げるには spec 内で fork しちゃうと良いみたいです。

validates_uniqueness_of をすり抜ける程度には近いタイミングで実行されるようなので、同時に受け取ったテストと考えて良いかな、と思っています。

実際、 SQLite3 + validates_uniqueness_of のみを書いてある commit では、2つのリクエストを同時に投げると unique に振らないといけない ISBN に対して同じ値でレコードが2つ追加されてしまいます。

DB内で重複を排除するには unique な index を貼ることで回避してます。

そうすることで SQLite3 でも重複された値は格納されないようになるのですが

• /Users/atton/.rbenv/versions/2.2.2/lib/ruby/gems/2.2.0/gems/sqlite3-1.3.10/lib/sqlite3/statement.rb:108:in `step':
•  SQLite3::BusyException: database is locked: INSERT INTO "books" ("name", "price", "created_at", "updated_at") VALUES (?, ?, ?, ?)
•  (ActiveRecord::StatementInvalid)

と言われてしまってテストがコケちゃいます。
ActiveRecord::StatementInvalid を rescue で拾ってから再格納しようとしても BusyException が出るのでうまくいかず。


ということで DB を PostgreSQL に変えてみます。
そうすると、 validates_uniqueness_of をすり抜けて重複した値が入ってきた時には ActiveRecord::RecordNotUnique が返ってきます。
こいつを rescue してきちんとした値にしてやればどうにか目的は達成できました。
ちなみにちゃんと rescue するロジックを書いた場合だとテストで同時に80リクエストくらい捌けました。fork しまくったせいでメモリを数GBとか使うので80くらいが限界。

コマンドとか

Github に上げたサンプルをとりあえず動かすには

• git clone https://github.com/atton-/sample_of_rspec_to_concurrent_requests_using_capybara.git
• cd sample_of_rspec_to_concurrent_requests_using_capybara
• git checkout sqlite3_and_validates_uniqueness_of
• RAILS_ENV=test bundle exec  rake db:drop db:create db:migrate spec
• sqlite3 と validates_uniqueness_of のみ。
• unique であって欲しい column に同じ値が入ってしまう
• git checkout use_postgresql
• RAILS_ENV=test bundle exec  rake db:drop db:create db:migrate spec
• PostgreSQL + Unique Index
• unique であって欲しい column に同じ値は入らない
• 同じ値を入れようとすると ActiveRecord::RecordNotUnique
• git checkout handle_record_not_unique
• RAILS_ENV=test bundle exec  rake db:drop db:create db:migrate spec
• PostgreSQL + Unique Index + ActiveRecord::RecordNotUnique を rescue
• ActiveRecord::RecordNotUnique をきちんと処理してやれば unique にしてあげられる

とかです。
PostgreSQL の設定は環境変数に設定するか database.yml を変更してください。

まとめ

• 特定の column の値を Unique にしたかったら unique index を貼っておくと validates_uniqueness_of をすり抜けられてもDBに入るのは止められる
• SQLite3 だと Unique index がある table に同時に insert とかすると BusyException とか出ちゃう
• PostgreSQL だとほぼ同時なリクエストでも捌けた
• PostgreSQL だと返ってくる exception は ActiveRecord::RecordNotUnique に変わる

気になるところ

• Unique Index を貼る方法で Uniqueness を確保する方法って一般的なのかな
• 特定の column の値が [1,2,3,4, 6,7,8,9] みたいな状態で 5 を取ってくる SQL ってあったっけ(今は 1 から順に ActiveRecord#exists? で回してるので O(n) なんだよなー)
• 並列にリクエストを投げるのを SQLite3 でできると楽なんだけれど何か方法無いかな