atton.blog: RSpec

ラベル RSpec の投稿を表示しています。すべての投稿を表示

2017/10/07

Akatsuki を OSS 化した

Akatsuki を OSS 化して GitHub で公開しました。

Akatsuki とは琉球大学情報工学科のシステムです。具体的には

学生のIP申請

対応するドメインを内向き DNS へと登録
その IP を DHCP で配れるように

学生のVM新規作成/起動
学生のパスワード変更

unix login
802.11X で無線に繋ぐ際の RADIUS を提供

といったことができます。

つまり今まで記事で部分部分を解説していたものの本体です。

公開にあたって

もちろん大学の内部情報をそのまま GitHub に投げるわけにはいきません。

なので、こいつは OSS 化用にいじってあります。

具体的には漏れたらまずい情報を消してあります。
あとライセンスは MIT だし気にせず自分でいじって公開していく。

その手順として

$ git rm very-important-information

で公開してはいけない情報を消して

$ git commit

コミットします。

$ git rebase -i --root

その後に rebase します。
全部 fixup して一つのコミットにまとめてしまいます
fixup しないと復元ができてしまうので、消しても意味がない。
ということで、逆に言えばこの手順を踏めばアカンやつを隠蔽できます。

まとめ

所謂実績の一つとして見てもらえると良いかなー、と思って OSS 化しました。

ということで、大学生/大学院生時代にしていた仕事の1つが OSS になりました。

2015/10/09

ActiveLdap を使っている時に PG がエラーを吐いて RSpec が落ちる

RSpec を使って Rails の並列リクエスト込みのテストを書いていると、

PG::ConnectionBad: PQsocket() can't get socket descriptor

とか言われてテストがコケる。
テストだけじゃなくて Webrick でもエラーを吐く時は吐く。
実行する環境が Mac だとどうやっても通って Linux だとどうやっても通らない。

結論から言うと、 ActiveLDAP にタイムアウトを付けていると ActiveLDAP が fork するのでなんやかんや PG のソケットが足りなくなるから PG 側がエラーを吐いて死ぬっぽい。
fork が Process.fork してるのでたぶん OS 依存なバグになってややこしかった形。
対症療法としては activeldap の config の timeout を 0 にして無効化すれば発生しなくなる。

環境

具体的に試した環境としては

OKな環境(Mac)

Rails : 4.2.4
Ruby : 2.2.2, 2.1.5, 2.0.0-p645
DB

PostgreSQL : 9.2.13, 9.3, 9.4 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
MySQL : 5.7 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite

OpenLDAP : 2.4.39 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
ActiveLDAP : 4.0.4
pg : 0.18.2, 0.18.1, 0.18.0, 0.17.1, 0.17.0
RSpec 実行OS Mac OSX Yosemite

OK な環境(Linux)

Rails 4.2.4
Ruby : 2.2.2
MySQL : 5.7 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
OpenLDAP : 2.4.39 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
ActiveLDAP : 4.0.4
pg : 0.18.2, 0.18.1, 0.18.0, 0.17.1, 0.17.0
RSpec 実行OS : CentOS 7, Fedora 20

NG な環境(Linux)

Rails 4.2.4
Ruby : 2.2.2, 2.1.5, 2.0.0-p645
PostgreSQL : 9.2.13, 9.3, 9.4 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
OpenLDAP : 2.4.39 on Docker (1.8.0) on VirtualBox (5.0.0) on Mac OSX Yosemite
ActiveLDAP : 4.0.4
pg : 0.18.2, 0.18.1, 0.18.0, 0.17.1, 0.17.0
RSpec 実行OS : CentOS 7, CentOS 7 and Fedora 20 on VirtualBox, boot2docker 1.8.0

まとめると

Mac なら DB を PostgreSQL にしても MySQL にしても何でもOK
Linux だと DB を PostgreSQL にするとたまに再現
Linux だと DB を MySQL にすると再現せず
postgresql-server や postgresql-devel のバージョンを変えても問題は解決せず

原因調査の流れ

まずは gem のバージョンを変える。なるべく最新へ。解決せず。

gem のバージョンを過去のバージョンにもする。解決せず。

次に PostgreSQL も最新にする。解決せず。

クライアント側の postgresql-devel も最新に。解決せず。

とりあえず pg を読む。

PG::ConnectionBad: PQsocket() can't get socket descriptor

は 'pg' の gem の native extension で、PostgreSQL への socket が取れない時に投げられるらしい。

socket が取れないとのことなので pool を増やしたりもしたけれど解決せず。

MySQL にしてみる。 Linux でも動く。どうやら問題はDBだとアタリを付ける(結果的にははずれ)

動かす Linux の kernel を上げたりする。(CentOS でも Fedora でも動かず。 2.x でも 3.x でもダメ)

Linux を物理マシンに乗っけるも動かず。

試しに rails new したやつで並列にリクエストをしても捌く。どうやら原因はデフォルトの gem では無いらしい。

そうこうしてると Linux 側でコアダンプ吐いて Ruby が死ぬ。 stack trace を見ると ActiveLDAP の様子。

ということで覗いて見ると Process.fork とかしてるらしい。

fork した先で PG の connection を使いまくって PG が正しいソケット取れないのかな、と推測してとりあえず timeout を切る。

これで解決。再現せず。長かった……

とりあえず怪しいのは ActiveLDAP の fork 方法か Ruby の Linux 側の fork 。原因を追求したい気もするけれど今はちょっと放置。

2015/08/01

Capybara で同時に複数のリクエストを受け取った時のテストをする

Capybara を使って Rails Application のテストを書いていた時に同時にリクエストを受け取った時のテストを書きたくなったのでそのログ。

環境

OSX Yosemite 10.10.4
rbenv 0.4.0
ruby-build 20150719
Ruby 2.2.2
Rails 4.2.2
Rspec 3.3.1
Capybara 2.4.4
Postgresql 9.2.13

状況と解説と解決策

想定としては

ユーザが resource を new する
resource に対して Rails 側が unique な値を追加する
unique な値は DB 内では重複してはいけない

といった感じです。

とりあえずアバウトなサンプルとして

本の名前と価格をユーザが入れる
ISBNをRails側が順番に振っていく
もし本の登録が無くなったらそのISBNは再利用

みたいなサンプルを書いてみました。

まず、リクエストを並列に投げるには spec 内で fork しちゃうと良いみたいです。

validates_uniqueness_of をすり抜ける程度には近いタイミングで実行されるようなので、同時に受け取ったテストと考えて良いかな、と思っています。

実際、 SQLite3 + validates_uniqueness_of のみを書いてある commit では、2つのリクエストを同時に投げると unique に振らないといけない ISBN に対して同じ値でレコードが2つ追加されてしまいます。

DB内で重複を排除するには unique な index を貼ることで回避してます。

そうすることで SQLite3 でも重複された値は格納されないようになるのですが

/Users/atton/.rbenv/versions/2.2.2/lib/ruby/gems/2.2.0/gems/sqlite3-1.3.10/lib/sqlite3/statement.rb:108:in `step':
SQLite3::BusyException: database is locked: INSERT INTO "books" ("name", "price", "created_at", "updated_at") VALUES (?, ?, ?, ?)
(ActiveRecord::StatementInvalid)

と言われてしまってテストがコケちゃいます。
ActiveRecord::StatementInvalid を rescue で拾ってから再格納しようとしても BusyException が出るのでうまくいかず。

ということで DB を PostgreSQL に変えてみます。
そうすると、 validates_uniqueness_of をすり抜けて重複した値が入ってきた時には ActiveRecord::RecordNotUnique が返ってきます。
こいつを rescue してきちんとした値にしてやればどうにか目的は達成できました。
ちなみにちゃんと rescue するロジックを書いた場合だとテストで同時に80リクエストくらい捌けました。fork しまくったせいでメモリを数GBとか使うので80くらいが限界。

コマンドとか

Github に上げたサンプルをとりあえず動かすには

git clone https://github.com/atton-/sample_of_rspec_to_concurrent_requests_using_capybara.git
cd sample_of_rspec_to_concurrent_requests_using_capybara
git checkout sqlite3_and_validates_uniqueness_of
RAILS_ENV=test bundle exec rake db:drop db:create db:migrate spec

sqlite3 と validates_uniqueness_of のみ。
unique であって欲しい column に同じ値が入ってしまう

git checkout use_postgresql
RAILS_ENV=test bundle exec rake db:drop db:create db:migrate spec

PostgreSQL + Unique Index
unique であって欲しい column に同じ値は入らない
同じ値を入れようとすると ActiveRecord::RecordNotUnique

git checkout handle_record_not_unique
RAILS_ENV=test bundle exec rake db:drop db:create db:migrate spec

PostgreSQL + Unique Index + ActiveRecord::RecordNotUnique を rescue
ActiveRecord::RecordNotUnique をきちんと処理してやれば unique にしてあげられる

とかです。
PostgreSQL の設定は環境変数に設定するか database.yml を変更してください。

まとめ

特定の column の値を Unique にしたかったら unique index を貼っておくと validates_uniqueness_of をすり抜けられてもDBに入るのは止められる
SQLite3 だと Unique index がある table に同時に insert とかすると BusyException とか出ちゃう
PostgreSQL だとほぼ同時なリクエストでも捌けた
PostgreSQL だと返ってくる exception は ActiveRecord::RecordNotUnique に変わる

気になるところ

Unique Index を貼る方法で Uniqueness を確保する方法って一般的なのかな
特定の column の値が [1,2,3,4, 6,7,8,9] みたいな状態で 5 を取ってくる SQL ってあったっけ(今は 1 から順に ActiveRecord#exists? で回してるので O(n) なんだよなー)
並列にリクエストを投げるのを SQLite3 でできると楽なんだけれど何か方法無いかな

登録: 投稿 (Atom)