collectdのログ出力を抑制する

AWSのCloudWatchエージェントで使用するためにcollectdをyumでインストールして初期設定のまま運用すると/var/log/messagesに下記ログが大量に出力されます。

collectd: Available write targets: [none]

通常collectdは少なくとも1つのWriteプラグインを有効にして使用するものですが、CloudWatchエージェントから使うだけならWriteプラグインは不要です。

collectdの初期設定ではsyslogプラグインが有効になっていて、デフォルトのLogLevelはinfoになっています。下記のようにsyslogプラグインのLogLevelを、notice以上に上げるとログ出力を抑制します。

<Plugin syslog>
        LogLevel notice
</Plugin>

なお、syslogプラグインで指定できるLogLevelは、debug|info|notice|warning|errのいずれかです。

参考
https://collectd.org/documentation/manpages/collectd.conf.5.shtml#plugin_syslog

新人プログラマーが「リーダブルコード」を読んでみた(後編)

こんにちは。
以前、新人プログラマーが「リーダブルコード」を読んでみた(前編)を投稿した者です。今回は、その続きを書きます。
今回も、各セクションごとに重要なポイントの記載に感想を交えていきます。

9. 変数と読みやすさ

<重要ポイント>

  • 不要な変数を削除し、変数の数を減らす。
  • 変数のスコープをできるだけ縮める。
  • 変数が更新される回数をできるだけ減らす。

コードを書いている時って、機能のことばかり考えていて、変数はそれを実現するための手段と考えてしまいがちだと思います。すると、変数をどう扱おうかって割と抜けちゃうんですよね…。
この本を読み、コードを書いているときの変数について気にすることをマニュアル化してくれると、今後意識できそうな気がします。

10. 無関係下位問題を抽出する

<重要ポイント>

  • プロジェクト固有のコードから、汎用的な機能を取り出し、汎用コード化する。
  • 1つのコードブロックの、高レベル目標を明確にし、それ以外に気を回す必要がないコードにする。
  • 小さな関数を作りすぎると、逆に読みにくくなるのでやり過ぎないようにする。

これは結構、意識していることではあります。
というのも、複雑なことをいくつも考えることができないので、自分の中で整理しておかないと、コードが把握しきれません。(家も散らかってくるとストレス感じます。。。)
ただ、結構行き当たりばったりな整頓をしている気がするので、ちゃんと計画を立ててコードを書かないといけないですね。

11. 一度に1つのことを

<重要ポイント>

  • 「読みにくい」コードがあった時に、そこで行われているタスクを列挙する。
  • タスクを別関数化、クラス化する。
  • それ以外の部分は、関数の論理的な段落となる。

10章で、コードを整理しなくてはという話がありました。
そこへの具体的なアプローチがこの章で記述されています。
「このごちゃごちゃコード、どこから手つけます…?」→「とりあえず列挙するか…」というムーブができるのは個人的にすごく大きいと思いました。

12. コードに思いを込める

<重要ポイント>

  • コードで行っていることや、ロジックを言葉にして説明してみる。
  • そのコンテクストに沿った形でコードを書いてみる。
  • ライブラリが提供してくれるものを知ることで、コードがより簡潔となる可能性がある。

チーム開発で大事なのは、一緒に開発する仲間との意思の疎通です。人間同士が意思の疎通を図るのに、一番良いのは会話だと思います。
分かりやすいコードについてのテクニックが、ここまでの章で紹介されていましたが、結局、文脈や実際の言葉に則ったコードが、分かりやすいということを伝えてくれています。
また、これは仲間に対してだけでなく自分に対しても有用です。
言葉にすることで、思考が整理されるんですね。
分かりにくいコードを、どうにも改善できないというときに、これを試してみたいと思います。

13. 短いコードを書く。

<重要ポイント>

  • 使っていないコードを削除する。
  • 過剰な機能を持たせない。
  • 標準ライブラリに慣れ親しむ。

使っていないコードを削除するというのは、当然のこととして、過剰な機能を持たせない。というのは、非常に心に残りました。
サービスを作るときには、ユーザーの視点になって考えることが大事ですが、そうすると、あれもこれもと機能を付けてしまいがちです。
何か機能を加えるときは、それが本当に必要なのか、別の何かで代替できないかを考え、判断しようと思います。

14. テストと読みやすさ

<重要ポイント>

  • 入出力のテストを1行で記述する。
  • 分かりやすいエラーメッセージを表示するようにする。(カスタマイズも可)
  • テストが、本物コードの読みやすさを阻害したり、開発の邪魔にならないよう、やり過ぎないようにする。
  • テスト駆動開発については様々な議論があるが、テストがしやすいようにコードをかくことは有効。

テストを分かりやすく書く方法についての章です。
テストの充実は、プロジェクトの保守性に非常に効果的ですし、テストこそ、他の人がよく編集する場所だと思います。なので、重要性は言わずもがなですが、同時に「テストがしやすいようにコードを書く」ことの大事さがここに書いてあります。
これって、テストについて言っているようで、これまでの内容のおさらいにもなっているんですよね。いかに機能を取り出して関数化、クラス化するか。
関数化もやりすぎは良くない。という話がありましたが、この「テストしやすいように」というのは、1つの物差しとなるのではないかと思います。

まとめ

前半に引き続き、後半についても内容をまとめさせていただきました。
非常に読みやすく、ページ数も多くない本でしたが、内容はかなり濃厚でした。
新人プログラマーや、コードがうまく書けないという人には是非おすすめしたいです。


正直なところ、この本に書いてあったことが今すぐできるかと問われれば、無理だと思います。
なので、この記事と本を何度も読み返すつもりです。

MySQL InnoDB AUTO_INCREMENTの上限値周りでの振る舞いを検証

AUTO_INCREMENTの値が型の上限値に達した際の振る舞いが気になったので、いくつか調べてみました。
AUTO_INCREMENTのドキュメントでは情報が足りませんでした。

例えば、一意性さえ確保できれば良いテーブルのidが上限に達した際に、1から順に再度振り直したくなるようなことがあるかもしれません。(アンチパターンの香り)

影響範囲の調査とか調整とかの工数を考えると、明らかにやるべきでない操作ですが、やむを得ない事情がある場合だってあるかもしれません(弊社には今の所ありません。良かった)。そんなときのために、知見をメモしておきます。

前提

  • UNSIGNED INT 型の上限値: 4294967295
  • UNSIGNED INT型のidカラムにAUTO_INCREMENTを指定

検証

idが上限値に達したテーブルに対し、さらにINSERTを実施する

iddata
10hoge
11hoge
4294967294hoge
4294967295hoge
INSERT INTO `id_test_table` (`id`, `data`) VALUES (NULL, 'hoge');
#1062 - '4294967295' は索引 'PRIMARY' で重複しています。

重複エラーが出て、テーブルにデータは入りません。

idを指定してINSERTする

INSERT INTO `id_test_table` (`id`, `data`) VALUES (1, 'hoge');
iddata
1hoge
10hoge
11hoge
4294967294hoge
4294967295hoge

重複が無ければ、問題なくINSERTできます。

この状態で再度INSERTした場合、次に割り当てられるidはなんでしょうか。

INSERT INTO `id_test_table` (`id`, `data`) VALUES (NULL, 'hoge');
#1062 - '4294967295' は索引 'PRIMARY' で重複しています。

AUTO_INCREMENTの値がリセットされるわけではないため、都合よく「2」などにはならず、当然のように重複エラーとなります。
こんな操作で「2」が入ったら、それこそバグの原因になってしまうので幸い。

AUTO_INCREMENTの値をリセットする

それでは、今度はテーブルのauto incrementをリセットしてみましょう。

ALTER TABLE tbl_name AUTO_INCREMENT = value; でリセットできます。

ALTER TABLE id_test_table AUTO_INCREMENT = 2;

テーブル情報から、現状のauto incrementの値を確認します。

SELECT auto_increment FROM information_schema.tables WHERE table_name = 'id_test_table';
auto_increment	4294967295

ダメみたいですね。

データを一部消してAUTO_INCREMENTの値をリセットする

レコードを一部DELETEしました。

iddata
1hoge
10hoge
11hoge

この状態で、auto incrementの値をリセットしてみます。

ALTER TABLE id_test_table AUTO_INCREMENT = 15;
SELECT auto_increment FROM information_schema.tables WHERE table_name = 'id_test_table';
auto_increment	15

この場合は無事「15」になりました。

INSERT INTO `id_test_table` (`id`, `data`) VALUES (NULL, 'hoge');
iddata
1hoge
10hoge
11hoge
15hoge

問題なくINSERTされます。

「指定したidの値より大きい値を持つレコードがある場合、変更できない」という仕様のようです。

15より低い値で入れてみると、やはり更新されません。

ALTER TABLE id_test_table AUTO_INCREMENT = 10;
SELECT auto_increment FROM information_schema.tables WHERE table_name = 'id_test_table';
auto_increment	16

冒頭の「idの採番を1から振り直す」なんてことをしたい場合には、指定したい値以上のidを持つレコードを削除してやる必要がありそうです。とんでもねえなおい。

実際に「idの採番を1から振り直す」ようなケースでは、テーブルにid:1~上限値までのデータが全て残っているような状態は珍しいのではないでしょうか。

つまるところ、
「指定したい値以上のidを持つレコードを削除」は
「テーブルのレコードを全て削除」とほぼ同じ意味になりそうです。

とんでもねえなおい。

結論

テーブルの設計段階で型を十分に検討するべき。

参考

Amazon S3(AWS)でExcelファイルが開かずにブラウザで文字列での表示になってしまう

せっかくデータベースのデータを抽出してExcelファイルを作成することができたのに、ファイルリンクを踏んでもExcelファイルとしてダウンロードにならずやや焦りました。ググってもそれらしき内容が出てこなく時間を取られてしまいました。
メタデータの Content-Disposition を設定すればよいようです。PHPファイル上では、インスタンス生成後に$s3client->putObject()内で、’ContentDisposition’ => ‘attachment’を追加したらうまくいきました。

  // S3clientのインスタンス生成
    $s3client = new Aws\S3\S3Client([
        'credentials' => [
            'key' => AWS_ACCESS_KEY,
            'secret' => AWS_SECRET_ACCESS_KEY
        ],
        'region' => 'ap-northeast-1',
        'version' => 'latest'
    ]);
    
    try {
        $s3client_CSV_upload = $s3client->putObject([
            'ACL' => 'public-read',
            'Bucket' => AWS_S3_BUCKET_NAME,
            'Key' => $upload_file['file_name'],
            'SourceFile' => $upload_file['file_path'],
            'ContentType' => mime_content_type($upload_file['file_path']),
            'ContentDisposition' => 'attachment'
        ]);
        
        // アップロードファイルのURL取得
        $results['upload_name'] = $s3client_CSV_upload['ObjectURL'];
        $results['result'] = 'SUCCESS';
    } catch (Exception $e) {
        $results['result'] = 'UPLOAD_ERROR';
        errorLog($e);
    }

なぜあなたはJavaでオブジェクト指向開発ができないのかを読んでみました

なかなか挑戦的なタイトルの本です。

なぜ僕はJavaでオブジェクト指向開発が出来ないんでしょうか。
その謎を解き明かしていきたいと思います。
Javaでと書くとJava以外だと出来るみたいに見えますが出来ませぬ…

全体の感想

モデリングの考え方が特に参考になった。
・仕様を見て何をクラス化するのか
・そのクラスから生み出されるインスタンスにどういう属性を持たせるか
・どういう操作を持たせるか
は時間をかけてしっかり吟味する。

吟味するためにも仕様はしっかりと書き出す。
モデリングにただ一つの正解はない。
自分ではわかりやすいつもりでも他の人から見たらわかりにくいかもしれないことは頭に入れておく。
デザインパターンを使えるといいのはこういうところだと思う。

コラムも凄く良かった。

ただオブジェクト指向プログラミングに全く触れてない人だと難しいかもしれない。
オブジェクト指向プログラミングの入門書を読んでみて、その入門書に書いてあることはなんとなく理解できるけど実際の現場でどう使うのかがわからないとか、使えているかどうか自信がない人向けだと思う。

今後の自分の課題

  • クラス設計を簡易にするために難しい例でも仕様をしっかりと書き出せるようになること(ユースケースをマスターする)
  • UML図を使いこなせるようになること
  • メモリ管理を意識したプログラムを書けるようになること

以下簡単なまとめ

Lesson 1 オブジェクト指向をなぜ難しいと感じるのか

オブジェクト指向は、ソフトウェアを効率的に開発するために生まれた技術
効率的というのは拡張とか再利用しやすいとかってことだと思う。

プログラミングの手順は、3つのステップに分かれている

  1. コンピュータに行わせたいことを理解する
  2. 理解したことを説明できるレベルまで整理する
  3. コンピュータにわかる言葉に翻訳する

プログラミングができない理由は1と2が出来ていないことが多い。
自分が先生とコンピュータが生徒という例えはしっくりきた。
人に何かを教えることができている = 自分が理解できている
1、2が出来ていないというのは自身がコンピュータに教える内容を理解できていないということだと思う。

Lesson 2 オブジェクト指向は本当に必要なのか

プログラミングにおいて最も難しいのは、仕様のわかっているソフトウェアを最初から作ることではありません。一度作ったソフトウェアに対して変更や機能追加をしていくことなのです。

全くもってその通りだと思うし、以前自分が書いたコードを最近後輩に触ってもらうことがあって修正しにくいコード修正させているなあと思った。
ほんとごめんなさい笑

極論を言うと変更、機能追加がなければプログラムはどんなに見にくくても要求通り動いてさえいればいいと思う。
変更、機能追加があることの方が多いので変更や機能追加がしやすくなるように初期の段階から考えていかなければならない。
ただし、

  • 既にそうなっていないもの
  • 初期の段階では想定できなかったもの
  • 想定して開発したつもりが後々手を付けてみると変更が難しかったもの
  • 時間の制約によりそこまで手が回らなかったもの

等に関しては後々適切にリファクタリングを行いたい。

一度作成されたプログラムの変更は根本的に難しい

これもっと世に広まってほしい…簡単と思われると辛い…笑
出来るだけ初期の段階で良いものを作りたい

Lesson 3 オブジェクト指向でのソフトウェア開発

  • オブジェクト指向とは人間の言葉をできるだけそのままコンピュータへ伝えるための方法として考えられたもの
  • オブジェクト指向で度々使われる操作とはメッセージをきっかけとしたオブジェクトの振る舞いのこと

余談だがコード例の下の辺りはenumを使って管理した方がいいとeffective javaに書かれていた気がする。

public static final int STONE = 0; // グー
public static final int SCISSORS = 1; // チョキ
public static final int PAPER = 2; // パー

Lesson 6 より複雑なソフトウェアの作成

オブジェクト指向で重要なのは明確に役割を分担すること
現実世界にできるだけ合わせるのはそうしたほうがわかりやすいためでありマストではない。
あくまで役割を明確に分担が最優先

モデリング手順

  1. 仕様を決める
  2. クラスを抽出する
  3. オブジェクト間のメッセージを考える
  4. 各クラスの操作を洗い出す
  5. 各クラスの属性を洗い出す

■仕様を決める
仕様を決定する段階ではユースケースという手法が一般的。

ユースケースとは
ユーザがソフトウェアをどのように利用するかというシナリオを文章として記述する。
ユースケースを書くことによって、ソフトウェアを使う側の視点に立って、それが「どうあるべき」を明確に整理することができる。

■クラスを抽出する
絶対的な正解があるわけではない。
どれをクラス化してどれをしないかをしっかり考える。
クラスの抽出に関しては、後に行う洗い出しの最中にまた戻って分析した方がいいこともある。

■オブジェクト間のメッセージを考える
以下の3点を考える

  • どのクラスからどのクラスへメッセージを送るのか
  • どのようなメッセージを送るのか
  • メッセージを受け取った結果、どのように振る舞うのか

クラス間に関連がある = それらのクラス間で何らかのメッセージをやり取りする可能性がある。

・各クラスの操作を洗い出す
そのインスタンスがどういう振る舞いをするのか

・各クラスの属性を洗い出す
外部に影響しない属性は不要

1〜5のモデリングが終わったらクラス図にまとめる。

Lesson 7 既存のソフトウェアの再利用
Lesson 8 再利用を考慮したソフトウェアの設計
Lesson 9 フレームワークを利用したソフトウェア開発

オブジェクト指向を使ってソフトウェアを効率的に開発していくには?
継承とか移譲とか自作フレームワークとかを使って共通点をモデリングしていく

例えばトランプの場合、全部でカードが54枚ということは共通している
ゲームによってはジョーカーを使用しない場合があるので52枚とジョーカー2枚でそれぞれクラス化した方がいいのかもしれない。
手札を使うゲーム(ババ抜き、大富豪)、使わないゲーム(神経衰弱)などもあるので、ここでも分けることもできる。
継承(is-a)や移譲(has-a)をうまく使っていく。
継承は誤るとわかりにくくなるので注意

モデリングのキレイなプログラムがよいプログラムがよいプログラムか? → △
近年だとコンピュータの処理速度が高くなっているため、拡張性・再利用性ばかり重視されて実行速度はあまり気にされないことが多い。
とはいえ無駄なループ、無駄なオブジェクトの生成はしないようにしっかり注意する。

結論:自分がJavaでオブジェクト指向開発が出来ない理由

モデリングが雑すぎることが一つの大きな原因だと思った。
振り返ってみるとモデリングを雑に起こっているがために
コーディング中にこのメソッドが足りなかっただの、これはいらなかっただの
ってことがある。
さらにいけないのがそれをその場で修正して結果的にそのクラスのインスタンスに相応しくない属性やメソッドが入っていたりするケースがあった。
もちろんプルリク通らず修正し直した。

今後は、
・自分がコンピュータに説明できるまで理解できているか
・Lesson 6 にあったモデリング手順の実践
・コーディング中にモデリングが甘かった部分が出てきたら手順を振り返ってクラス図を見ながら吟味する。
を意識して開発を行っていきたいと思った。
モデリングするための課題も見えたのであわせて学習していく。