2019-01-01から1ヶ月間の記事一覧

AWS スポットインスタンスでJupyterを起動するまで

Kaggleの Microsoft Malware Prediction に参加しています。分析にはローカルPCを使用していましたが、リソースが足りなくなることが多いため、パブリッククラウドで1番慣れているAWSのスポットインスタンスを使ってみたので、Jupyterを起動するまでの手順…

Pythonの内包表記について

Pythonには内包表記という、リストなどの iterableな オブジェクトのループ処理をシンプルに記述できる記法があります。今回は基本的な内包表記についてまとめてみました。 通常のリスト Pythonでリストに追加するには下記のように下記のが一般的ですが、内…

【読書メモ】ゼロから作るDeep Learning 5章

ゼロから作るDeep Learningの読書メモとしてまとめました。 本を読む目的 Coursera Machine Learningを受講してニューラルネットワークを理解したので、次はディープラーニングについて深く理解をしたいため。 前章までのまとめ 【読書メモ】ゼロから作るDee…

【読書メモ】ゼロから作るDeep Learning 4章

ゼロから作るDeep Learningの読書メモとしてまとめました。 本を読む目的 Coursera Machine Learningを受講してニューラルネットワークを理解したので、次はディープラーニングについて深く理解をしたいため。 前章までのまとめ 【読書メモ】ゼロから作るDee…

DockerコンテナでPython3、Jupyterの入ったデータ分析環境を作成

背景 データ分析コンペに参加した時に、爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りましたを参考に、DockerコンテナにJupyter notebookが使える環境構築をしたのでその手順についてまとめました。めちゃくちゃ早く環境構築ができ…

AWS Redshiftを使ってデータをロードしてクエリを実行するまで

AWS Redshiftとは 完全マネージド型、ペタバイトスケールのAWSデータウェアハウスサービス。 AWS Athenaとの違い 「Amazon Athena よくある質問」には下記記載あり。大きな違いは、課金体系でRedshiftはクラスタの起動時間課金に対して、Athenaの場合はデー…