atton.blog: sh

ラベル sh の投稿を表示しています。すべての投稿を表示

2020/06/09

GitHub Actions で複数の Dockerfile の build と DockerHub への push を自動化した

私は作成した Dockerfile を GitHub で公開しています(前回の記事の atton/webpage-title も含む)。
Docker Image を手動で管理するのは面倒なので、何らかの形で自動化する事にしました。
最終的に、 Dockerfile が更新された際に build して DockerHub に push する GitHub Actions を作成しました。

GitHub Actions を作成する際に考慮した条件

Dockerfile が増えた場合も自動で対応する(現時点では2つ)
Dockerfile や関連ファイルに更新が無い Image は Push しない
GitHub Actions だけでなく、ローカルの環境でも build できる

具体的な GitHub Actions の内容

作成した .github/workflows/build-and-push.yml とbuild.sh は以下です(commit: 427f143)。

自動化できたので手動 push の必要は無くなりました。べんり。

これ以降は作業ログなどを書いておきますが、かなり長いです。

第一条件: Dockerfile が増えた場合も自動で対応する

この条件については、特定の構成をしているディレクトリを build 対象にする事で対応しました。具体的には

ディレクトリ名は任意

ls と [ -d ] で確認

ディレクトリの直下に Dockerfile が存在する

ls と [ -f ] で確認

といったディレクトリです。なお、ディレクトリ名は Docker Image の tag を決める際に使っています。

第二条件: Dockerfile や関連ファイルに更新が無い Image は Push しない

Docker Image を自動 build する際、最初は elgohr/Publish-Docker-Github-Action@master を使っていました。

ここで問題が発生。README.md を変更しただけの commit でも Docker Image の更新が行なわれました。

幸い、GitHub Actions の step では if が使えるようなので試してみましたが改善せず。

elgohr/Publish-Docker-Github-Action@master のソースを確認すると、 action.yml に if はありませんでした。

なので elgohr/Publish-Docker-Github-Action@master は利用しない方針に変更。
使わない事になりましたが、 entrypoint.sh に書かれた(docker login/logout など)内容は参考にできそうです。

さて、次は「Dockerfile や関連ファイルに更新が無い」事を判定をできれば解決しそうです。ググってみると

$ git diff-tree --no-commit-id --name-only -r ${{ github.sha }}

で確認できるとの事。ではこれを grep して exit code で判定すれば解決、しませんでした。

更新の有無に関わらず、全ての grep の exit code が 1 になっていました。
加えて、ローカル環境では想定通りの exit code が得られるので、どうやら原因は実行環境固有のようです。

「ローカルでは動くが、別環境では動かない」という悲しい事態なので、 printf debug で少しずつ状態を確認していきます。

git は存在するか
git の version は何か
git は実行できるか
remote origin は存在するか
commit log は辿る事ができるか
grep の version は何か
...

結果、「actions/checkout@master を使うと repository の情報が消える(?)」事が判明しました。具体的には

git コマンドは実行できる
git show を行なうと、全ファイルが新規作成扱いになっている
origin を fetch しても commit が取得できない

という謎の状態でした。その為、 actions/checkout@master は利用せずに直接 git clone を実行。
clone した repository では diff-tree が実行可能で、更新の有無が判定可能になりました。

余談: 第二条件の部分を書いている時に思った事

elgohr/Publish-Docker-Github-Action@master のソースを確認すると、 action.yml に if はありませんでした。

Pull Request を作成して提案する手がある

「ローカルでは動くが、別環境では動かない」

GitHub で動作 Image を提供している可能性がある

「actions/checkout@master を使うと repository の情報が消える(?)」

今は git clone で対応できるが、 branch の指定といったオプションに対応できない

第三条件: GitHub Actions だけでなく、ローカルの環境でも build できる

この条件は「ローカル環境でも Docker Image を作成可能」にする為につけました。メリットとしては

問題発生時の再現に使用できる
commit 前の Dockerfile も試しに build できる
新しい Image 作成時の build が楽

等があります。なお、この条件は build.sh に与える引数の有無で解決しました。

まとめ

結構な文量になりました。debug の説明を含めると長くなりますね。

結果的に「uses を排除して自前の run で記述する」というオレオレ GtiHub Actions で解決。

前回も書いた気がしますが、「個人的には十分満足しているので良しとします。」

参考文献や関連した文献など

2019/09/01

neovim で plugin を利用せずに sudo を使う

root 権限が必要なファイルを neovim や vim で編集する事があると思います。
その際、 sudoers で許可されているユーザならば

:write ! sudo tee % > /dev/null

で sudo を使って root として書き込むことができます。

ですが、 neovim では

:write ! sudo tee % > /dev/null

sudo: no tty present and no askpass program specified
shell returned 1

と言われて sudo が使えません。

解決策

以下のようなコマンドを定義することで対応できます。このコマンドは vim と neovim の両方で利用できます。

vim で利用する場合は ~/.vimrc に追記します。
neovim で利用する場合は ~/.cofig/nvim/init.vim に追記します。

使い方

$ nvim /etc/hosts

root 権限が必要なファイルを開いて編集します。保存の際は

:SudoWriteCurrentBuffer

を実行します。
パスワードを入力すれば root で書き込む事ができます。

動作確認をした環境

大元の環境(vim と neovim で動作確認済)

OS: macOS Mojave 10.14.6 (18G95)
Homebrew: 2.1.11

Homebrew/homebrew-core: (git revision 883ee; last commit 2019-09-01)

neovim: v0.3.8
vim: 8.0.1365
sudo: version 1.8.17p1

Sudoers policy plugin version 1.8.17p1
Sudoers file grammar version 45
Sudoers I/O plugin version 1.8.17p1

docker: 19.03.1, build 74b1e89

docker を使っていくつかの distribution でも動作を確認

Alpine linux: 3.10.2

neovim: v0.3.7
vim: 8.1.1365
sudo: version 1.8.27

Sudoers policy plugin version 1.8.27
Sudoers file grammar version 46
Sudoers I/O plugin version 1.8.27

CentOS: release 7.6.1810 (Core)

vim: 7.4.1099
sudo: version 1.8.23

Sudoers policy plugin version 1.8.23
Sudoers file grammar version 46
Sudoers I/O plugin version 1.8.23

Fedora: release 30

vim: 8.1.1912
sudo: version 1.8.27

Sudoers policy plugin version 1.8.27
Sudoers file grammar version 46
Sudoers I/O plugin version 1.8.27

Ubuntu: 18.04.3

vim: 8.0.1453
sudo: version 1.8.21p2

Sudoers policy plugin version 1.8.21p2
Sudoers file grammar version 46
Sudoers I/O plugin version 1.8.21p2

Debian: 10.0 (buster-20190812)

vim: 8.1.1401
sudo: version 1.8.27

Sudoers policy plugin version 1.8.27
Sudoers file grammar version 46
Sudoers I/O plugin version 1.8.27

何故 neovim では sudo が使えないのか

ここから先は先程の Vimscript を作るに至った経緯を書きます。

興味のある方はご覧ください。

まず sudo の error message

sudo: no tty present and no askpass program specified

を見ると、 tty と askpass が無いと言っています。

tty と askpass

実際、vim では

: ! tty

/dev/ttys004

などが得られますが、 neovim では

: ! tty

not a tty
shell returned 1

と言われてしまいます。

askpass は使ったことが無いのですが、fedora の container で dnf search すると
の様に、いくつかの askpass が確認できます。のでちょっと試してみます。

x11-ssh-askpass

openssh-askpass

ksshaskpass

という感じで全然起動してくれません。
ですがエラーの内容的に display を開こうとしているのが分かります。
なので、おそらく GUI で password を聞くような物だと思われます。

askpass を作る

askpass について調べていると、どうやら

password を stdout に出力するもの

であることが分かりました。

よって

neovim 内で password を取得
password を stdout に出力する
password の履歴はどこにも残さない

ようなものを作れば解決できそうです。

それで完成したのが /tmp/askpass を作るこの Vimscript です。

本当はファイル名は固定でなく tempfile 的な物で対応するなど、改善点はいくつも存在するかと思います。

ですが私は Vimscript に明るくないので、"3つの条件を満たして動けばOK" という条件で作成しました。

他により良い対応方法があればご指摘頂けると幸いです。

その他の解決策

調べた結果、 suda.vim というプラグインがあるようです。
また、他にも sudo.vim など、似たようなプラグインはいくつかあるらしいです。

これを使わなかった理由としては

docker のコンテナ内で作業をする事が多々ある
init.vim を配置するスクリプトは既にある
plugin を install するスクリプトはまだ無い
全コンテナに plugin を入れるのも面倒だし結構サイズがある

$ du -sh ~/.config/nvim/repos

100M /Users/atton/.config/nvim/repos

などがあります。

また、"sudo が使えるならこの際 root になってしまう" という解決策もあるのですが

前述した理由の後半3つ
複数人数のユーザが使う環境だと、 /root 配下に自分専用の設定を置くことになる

のでこちらも無しで。

他には、 "sudoers で NOPASSWD を設定する" という解決策もあります。
が、sudo を no password でガンガン使えば実質 root で作業しているのと変わらず、危険すぎるのでこちらも無し。

ということでこの Vimscript を書くに至った、という訳なのです。

おまけ: 環境変数の unlet

スクリプト内部では askpass の場所を示す SUDO_ASKPASS を設定している部分があります。
具体的には

let $SUDO_ASKPASS = s:askpass_path

ですね。

この環境変数を定義していると、 sudo -A した際に指定したファイルが実行されます。

一応、 :SudoWriteCurrentBuffer の実行後にはなるべく元の環境に戻すために

unlet $SUDO_ASKPASS

を書いていた時もありました。

ですが動作確認中、 Vim 8.0.1365 で unlet 時にエラーが出てしまいました。

また、-A を指定しなければ sudo の動作は変わらないので、残っていても無害と判断して unlet しない形になりました。

おまけ: shebang を指定しないとどうなるのか

ちなみに askpass の shebang を消すと

sudo: unable to run /tmp/askpass: Exec format error
sudo: no password was provided

と言われる為、きちんと書いておく必要があります。

おまけ: x flag を付けないとどうなるのか

setfperm(s:askpass_path, "rwxr-xr-x") をせずに 644 のままだと

sudo: unable to run /tmp/askpass: Permission denied

sudo: no password was provided

と言われるので、こちらもきちんと指定しておく必要があります。

参考

登録: 投稿 (Atom)