そもそもサーバーの場合 DHCP でアドレス割当しないほうが良いそれはそう
This account is not set to public on notestock.
デフォルトでは gtk 版の(/usr/bin/pinentry が /usr/bin/pinentry-gtk-2 のシンボリックリンクになっているので)pinentry が使われた気がする。で、GUI 環境がないとコケると。
gpg-agent.conf で pinentry-program を pinentry-tty 固定にするくらいしか思いつかない