「データエンジニアの始まり」というエントリーを読んで

データエンジニアの始まり（翻訳） - satoshihirose というエントリー（翻訳）を読んで考えたことをメモ。ちなみに元エントリーは https://medium.freecodecamp.org/the-rise-of-the-data-engineer-91be18f1e603 未だにデータエンジニアとデータサイエンテ…

2018-06-12

Docker版のJupyter-notebookとRStudioのdocker-composeの例

（今回はデータエンジニアというより、分析基盤エンジニア的なエントリーです）自分の担当システムでは解析者用にRStudioとJupyterNotebookをDockerコンテナで提供している。（原始的にEC2にDockerとdocker-composeをインストールして、その上に都度コンテ…

2018-04-26

EC2（EBS)のサイズ拡張が簡単になっていた件

AWS

会社で使っているサーバ（EC2）の容量がFullになっていた。ここで動いているRStudioServerにブラウザ経由でログインできなくなったことにより発覚。*1 そこでそのEC2にアタッチされているEBSの拡張をしようと思った、、、のだが、 EC2を停止該当EBSのスナ…

2018-04-24

docker-composeメモ

Docker-compose系のコマンドのまとめ docker-composeファイルを置いたディレクトリで操作する。全サービスのアップ Webサービスなどは-dオプションをつけて docker-compose up -d とする。全てのサービスが立ちあがる。（正確にはコンテナを【作成】して【…

2018-04-04

IAMRoleを使ったアクセスの有効時間が変更可能になった

AWS

元ネタは以下 aws.amazon.com 日本語解説はクラスメソッドさんのところより dev.classmethod.jp むしろ、自分はここで衝撃の事実【IAMRoleを通してのアクセス許可は1時間だった】ということを知りました！ RedshiftでCOPYやUNLOADコマンドを打つ時にS3への…

2018-04-02

あるマシンから別のEC2へポートフォワード（トンネリング）したい場合のsshコマンド

Tips 小ネタ

以下のような要望があったとする。あるEC2(Linux)上のあるポート番号で動いているWebアプリケーションにつなぎたい。（例として9001番ポートとする）セキュリティ上、10022ポートでのSSH接続しか許可されていない。このEC2へのSSHログインはできる。（ア…

2018-03-14

Incrementさんのリモートワークのガイドラインがいい感じだった

リモートワーク

zine.qiita.com こちらの真ん中あたりに「リモートワークのガイドライン」というのが実際に載っている。これ非常にいいですね。議論のログを残すようにしましょう。特に、何らかの意思決定や問題解決が行われた場合などには、その過程を書き残しておくこ…

2018-03-02

TalendOpenStudioで実現する無料（無償）のETLエコシステム

ETL

全体のアイディア有償版のTalendはジョブの開発機能だけではなく、複数人で共通開発するための共有リポジトリやジョブ実行ターミナル（定期実行するWebアプリケーションの仕組み）がついている。 *1 僕も以前これを導入して利用したことはあるが、安定して…

2018-01-24

自分の会社の分析システム

現在、自分が所属している会社のシステムの概略について書いておく。使用しているデータベース Netezzaを利用しているがRedshiftにリプレースを進行中利用ツール IBM SPSS Modeler Jupyter(Python) RSrudio(R) が中心。その他チーム外への簡易な分析プラッ…