データエンジニア日記

データエンジニアの雑記

2018-01-01から1ヶ月間の記事一覧

自分の会社の分析システム

現在、自分が所属している会社のシステムの概略について書いておく。 使用しているデータベース Netezzaを利用しているがRedshiftにリプレースを進行中 利用ツール IBM SPSS Modeler Jupyter(Python) RSrudio(R) が中心。その他チーム外への簡易な分析プラッ…

Dockerのイメージは実際はどこにある?

タイトルの疑問が沸いたので整理 Linux上では 以下のサイトにばっちり書いてあった。 Dockerのイメージはどこにある? | SOTA /var/lib/docker 以下らしい Macbook上では VMで動いているらしいので、Finderなどのファイルシステム上では見えない。ちなみにVM…

Rundeck系情報まとめ

自分の会社のシステムでは一部Rundeckを採用している。 主に今までcrontabでキックしていたものを管理しやすくするためである。 cronで不満だった点 そのままではジョブが実行中なのか、完了したのか、異常終了したのかが把握しにくい点(別途ログ出しや監視…