はてなブックマーク

はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン

※おすすめの基準には上記「導入の手軽さ」「学習の手軽さ」「パッケージ依存関係の解決」以外に、「対象OSとの相性」「検索による情報の見つかりやすさ」を考慮しています。詳しくは後述します 筆者の主観が入りますが、概ね以下のフローチャートのように選択すると良いかと思います (詳しくは後述します) なお、実用上ハマりやすいプロキシ環境での使用方法についても、以下の記事に別途まとめました 必要知識 ここから先は、Pythonのパッケージ管理が何をやっているかを解説します。 「御託はいいから早く使いたい！」という方は、「3種類の方法比較」の項目まで飛んでください まず、一般的に「パッケージ管理」と呼ばれている要素を、以下の4つの機能に分割して考える必要があります。 A. インタプリタ切替 (Pythonのバージョンを切り替える) B. パッケージ切替 (パッケージのバージョンを切り替える) C. パッ

はじめに AWS内にデータを保管する際、多くのケースでS3が第一の選択肢となるかと思います。 一方で、データ保管にはセキュリティやバックアップの設定が不可欠であり、適切に設定しないとデータの窃取・消失リスクが増大してしまいます。 本記事では、上記リスクを下げるために役立つS3のセキュリティとバックアップ機能をまとめた上で、公式ベストプラクティスの実践方法を整理しました！ 「S3を何となく使っているけど、適切に設定できているか不安」という方に、ぜひご一読頂ければと思います。 概要 本記事は、以下の3節から構成されます S3のセキュリティ機能 バックアップとバージョン管理 ベストプラクティスの実践 順を追って解説します S3のセキュリティ機能 S3は大容量データを保管するという性質上、当然機密情報が含まれるケースを想定しなければなりません。 例えば、2021年に巷を騒がせた免許証流出事件も、(

はじめに Amazon VPCは、AWS上で仮想ネットワークを構築できるサービスです。 VPCの概要や理論については以下の記事で詳細に解説しました。 一方で、「理論だけでなく実践も重要！」 と思われる方も多いと思いますので、 本記事では実際にVPCによる仮想ネットワークを構築する方法を解説します。 構築の指針として、以下のベストプラクティスを極力満たすよう進めていきたいと思います。 特にVPCフローログやVPCピアリング、VPN等は設定が複雑でハマりがちですが、極力分かりやすく解説したつもりなので、効率よく構築法を習得できる記事となれば幸いです。 本記事で構築するVPCの構成 下図構成のVPC (上記記事の冒頭で紹介した構成)の構築を、実際のコンソール操作方法を交えて解説します。 上記構成の意図として、VPC1 (Webアプリ用のVPC)とVPC2 (社内ネットワークを模擬したVPC)を組

応用情報と比較すると、長大な問題文の午後問題が特徴として挙げられ、この点では情報処理安全確保支援士と共通した問題構成となっています。 問題内容も情報処理安全確保支援士と共通点が多く、後ほど類似点と相違点を交えて試験の特徴を解説します ※午前1試験の免除 こちらに記載されているように、午前1試験は直近2年で以下の条件を満たすと免除となります。 ①応用情報技術者試験（AP）に合格 ②情報処理技術者試験の高度試験、情報処理安全確保支援士試験のいずれかに合格 ③情報処理技術者試験の高度試験、情報処理安全確保支援士試験の午前Ⅰ試験で基準点以上の成績をとる 免除には受験申込時に申請が必要なため、忘れないよう注意してください！ 受験のメリット 本資格は名前の通りネットワークの知識を問う資格ですが、IPAのホームページには以下のように定義されています ネットワークの固有技術からサービス動向まで幅広く精通し

はじめに AWSのアクセス制御サービスであるIAMについて、2022年7月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 IAMをよく分からないまま適当に設定するとセキュリティ的にまずいので、これを機に設定を見直して頂き、セキュリティレベル向上に貢献できれば幸いです。 特に、後述するIAM設定手順は、AWSに登録して最初に実施すべき設定に相当するため、セキュリティに興味がなくとも一度は実施することをお勧めします。 また公式のベストプラクティスは丁寧にまとめたつもりなので、初学者以外でもAWSのセキュリティ確保に興味がある方は、ぜひご一読頂けると嬉しいです。 IAMとは 「Identity and Access Management」の略です。 公式ドキュメントによると、IAMは「誰」が「どのAWSのサービスやリソース」に「どのような条件」でアクセスできるかを

LightGBMとearly_stopping LightGBMは2022年現在、回帰問題において最も広く用いられている学習器の一つであり、機械学習を学ぶ上で避けては通れない手法と言えます。 LightGBMの一機能であるearly_stoppingは学習を効率化できる（詳細は後述）人気機能ですが、この度使用方法に大きな変更があったようなので、内容を記事にまとめたいと思います 変更の概要 early_stoppingを使用するためには、元来は学習実行メソッド（train()またはfit()）にearly_stopping_rounds引数を指定していましたが、2021年の年末（こちらのissues）よりこの指定法は非推奨となり、コールバック関数lightgbm.early_stopping()で指定する方式へと変更になりました。 新たな方式であるコールバック関数によるearly_stopp

MPAndroidChartとは？ MPAndroidChartとは、Philipp Jahoda氏作成の、Andoroidでグラフを作るためのライブラリです。 Andoridアプリにおけるグラフ描画の、デファクトスタンダードとも言える存在となっています。 （下の図は、本ライブラリを使用して私が作成したグラフの一例です。日なたの気温が凶悪ですね‥） また、iOS版のChartsライブラリも存在し、こちらも広く開発に使われています。 公式GitHubのAboutには A powerful 🚀 Android chart view / graph view library, supporting line- bar- pie- radar- bubble- and candlestick charts as well as scaling, panning and animations. と

上記のように簡単かつ汎用性が高い相関係数ですが、あまりに身近すぎて「ツールとして使えればいいや」の精神で用いられる事が多く、その理論的な正体については意外と知られていないのではないでしょうか？ 相関係数の理論は多数の統計書籍で紹介されていますが、多くのページに分散して記載されていることが多いため、本記事ではPythonでの実装法も交え、「相関係数に絞ってカンゼンニリカイ」できる記事を目指してまとめたいと思います。 まとめてみて思ったところとして、極端に高度な内容を含まず、かつ確率論の頻出テクニックを多く組み合わせて求める指標のため、統計学の理解を深めるのにピッタリのテーマだと感じました。 統計について勉強したいという方も、ぜひご一読頂ければと思います。 本文に進む前に 本記事の内容をより深く理解するためには、「共分散」に関する知識があることが望ましいです。 共分散については以下の記事にまと

はじめに MLflowは機械学習のライフサイクル管理（MLOps）を目的としたライブラリで、主に実験管理用途で使用されることの多い注目度の高い（GitHubのStar1万超え）ツールです。 ※水色がMLflowのStar数推移 一方で、MLflowの環境構築は機械学習エンジニアにとって門外漢のインフラの知識が求められるため、その活用において鬼門とも言える存在です。 本記事では、インフラの深い知識がなくともMLflowの環境構築ができるよう、公式ドキュメントのチュートリアル（4つのシナリオ）をベースに、分かりやすさ重視で解説していきたいと思います。 本記事の注意点 ※本記事は環境構築に絞った内容となっております。まずはMLflow全般を解説した以下の記事をご参照ください MLflow環境構築の概要 MLflowによる実験管理を実現するためには、以下の4種類の機構を整備する必要があります（実験

MLflowとは？ MLflowは機械学習のライフサイクル管理（MLOps）を目的としたライブラリで、主に実験管理用途で使用されることの多いツールです。 実験管理とは、 ・使用した学習器や学習データ、ハイパーパラメータ等のモデル作成条件 ・そのモデルを評価して得られた評価指標 のセットを記録し、複数条件の比較を行うことで最適なモデル選定を行う工程です。 このような条件記録はExcel等での手入力が一般的かと思いますが、 「手入力は時間が掛かる！」 「手入力をミスして苦労して集めた結果が信頼できなくなった」 という経験をされた方も多いかと思います 上記のような経験から、MLflowにより実験管理を自動化すれば、多くのメリットが得られることはイメージが付くかと思います。 MLflowは2018年リリースの比較的新しいライブラリですが、GitHubのStarは既に1万を突破しており、下図のように

午後問題は特にIPAの記載と試験内容がリンクしており 「応用的」 → 実際の業務を想定した出題が多い 「方向性を確立」→ 11問中5問を選択（6問は解かなくとも良い） の部分がキモだと感じました。 詳細は後述しますが、効率よい合格のためには戦略が重要な試験だと、経験を通じて実感しています。 あんた誰？ 製造業でデータ分析をしています。職種的には「データサイエンティスト」や「機械学習エンジニア」にあたるかと思います。 IT本流のエンジニアではないので、試験分野に関しては未経験者とITを本業とするエンジニアとの中間くらい、といった感じのキャリアかと思います。 基本情報技術者は2016年に取得済です。 私が合格したときの状況 選択した科目と点数 問1、3、4、10、11を選択しました 学習時間 諸事情により、直前10日間が休みだったので（これが油断を生み勉強開始が遅れましたが‥） この期間に突貫

モチベーション 私は10年近く、工業分野のIT化に取り組んでおりますが、以前から 「世の中の商用向けIoTサービス、高すぎない？」 と感じてきました。 ・センサでデータを取得して遠隔から見られるようにする たったこれだけなのに、ウン十万円～ウン千万円といったオーダーの費用が掛かります。 そこで、 家庭向けの製品を組み合わせて、安価にIoTシステムを構築できないか ということを、まずは我が家で試してみました。 結論から言うと、低コストでも完成度の高いおうちIoTシステムを構築できたと感じています。 2022/1/18追記: 本システムでトンガ火山噴火の衝撃波検出に成功しました おうちIoTシステムの要件 IoTとは？ まず、「IoTとは何か？」というところをハッキリさせます。 総務省のホームページには、 IoTのコンセプトは、自動車、家電、ロボット、施設などあらゆるモノがインターネットにつな

Mac OS初期設定 開発用ソフトをインストールする前に、まずはMac OSの設定を整えて使いやすいデスクトップ環境を構築します。 初期設定 電源を入れると、色々と初期設定が求められます。基本的には指示に従って進めればOKです デスクトップ設定 まず電源を入れて目につくのが、下のDockが大きくて邪魔だということです。 その他にもスクロールの向きがWindowsと逆だったり、Finder(Windowsでいうエクスプローラ)が使い辛かったりするので、 以下のYouTubeチャンネルを参考にして設定し直すと、使いやすくなるかと思います。 OSアップデート 購入直後のOSはバージョンが古くなっていてセキュリティ的に脆弱なことがあるので、アップデートします。 基本的には初回起動時に自動でアップデート画面が出てきますが、以下の方法で手動アップデートも可能です ・Dockから「システム環境設定」を開

はじめに Windows一筋20年の私ですが、この度心変わりして新型MacBook Proを購入しました。 話題性の高い製品のため、購入を迷われていたり、購入後の環境構築に苦戦している方も多いと思うので、インプレと環境構築について記事にまとめました。 特にPythonとDockerの環境構築については現状でのベストプラクティスを目指して記事を書いたので、M1 MacBook Air/Proユーザも含めご一読頂ければと思います。 自己紹介 今まで仕事もプライベートもWindowsを使い続けてきた、生粋のWindowsユーザです。 どれくらい生粋かというと、Windows95の頃からのべ10台以上使い続けています‥笑 今回のMacBook ProはTouch Bar廃止やHDMIポート復活等、汎用性を意識した仕様となっており、Windowsからの乗り換えを検討している方も多いと思うので、このよ

はじめに 本記事は、話題のニュースを分析シリーズ第2弾となります（第1弾はこちら） 以下にご留意頂ければと思います。 ・ゴシップなテーマではありますが、内容は技術の共有を目的としているため、個人名・企業名等は伏せさせて頂きます ・本記事の内容は、自由に転載頂いて構いません ・本記事に対する問い合わせは、私のTwitterまでお願い致します また、文中のコードはGitHubリポジトリにもアップロードしております 動機 2021年夏は、インフルエンサーの炎上が続発し、社会的に大きく取り上げられることとなりました。 炎上するとYouTubeに他のユーザーからの批判的な動画が多くアップロードされることとなるのですが、これらの動画をよく見ると、アップロードしたユーザーの登録者数や再生回数が大きく伸びているケースが多いと感じました。 そこで今回、炎上がYouTubeの視聴者行動にどのような影響を与える

はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、LightGBMにおける実装例を紹介する記事となります。 ※2022/4 early_stoppingの仕様変更について early_stoppingの指定に関して、以前はfit()メソッドのearly_stopping_round引数で指定する事ができましたが、現在はcallbacks引数にコールバック関数early_stopping()を指定する方法に変わっています。 本記事も新しい仕様に合わせて修正しました。 ※2023/6 チューニング手順の改善 本記事に記載されていた手法では以下のような問題が発生していたため、内容を修正いたしました。 こちらの記事で述べたように、本記事で紹介していたcallbacks引数にコールバック関数を指定する方法とScikit-learnのcross_val_score()メソッドとを

はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、XGBoostにおける実装例を紹介する記事となります。 XGBoostとパラメータチューニング XGBoostは分類や回帰に用いられる機械学習アルゴリズムで、その性能の高さや使い勝手の良さ（特徴量重要度などが出せる）から、特に回帰においてはLightBGMと並ぶメジャーなアルゴリズムです。 一方でXGBoostは多くのハイパーパラメータを持つため、その性能を十分に発揮するためにはパラメータチューニングが重要となります。 チューニング対象のパラメータ XGBoostの主なパラメータは、こちらの記事で分かりやすく解説されています。 XGBoostのパラメータ数は他の回帰アルゴリズム（例：ラッソ回帰（1種類）、SVR（3種類））と比べてパラメータの数が多く、また使用するboosterやAPI（Scikit-learn API

コードはGitHubにもアップロードしております おすすめ機能 個人的に使用頻度の高い機能を紹介します おすすめ1：CustomPairPlot.pairanalyzer 相関係数と散布図行列を一括表示します。 分析の初期段階でデータを一括で可視化したいときにオススメです。 Rのggplot2ではほぼ同様の図が出力可能ですが、なぜかPythonには同様のツールがなかったので、作成しました。 散布図では表示が重なり見辛い離散変数は、自動で箱ひげ図とバブルチャートに変更する機能も追加しています。 from seaborn_analyzer import CustomPairPlot import seaborn as sns titanic = sns.load_dataset("titanic") cp = CustomPairPlot() cp.pairanalyzer(titanic,

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

使用するデータ こちらの記事と同じデータを使用して、実装を進めます 必要ライブラリのインストール トラブルシューティング含め、こちらの記事を参照ください 具体的な実装例 Shapefileの読込、処理、保存、表示に分けて、 各ユースケースの実装法を解説します 読込1：Shapefileの読込 Shapefileの読込には、read_fileメソッドを使用します。 # 必要ライブラリの読込（読込以外で使用するライブラリも含みます） import geopandas as gpd from shapely.geometry import Point import pyproj import pandas as pd import numpy as np import re # 入力ファイルのパス DAM_PATH = './W01-14_GML/W01-14-g_Dam.shp' # 国交省ダ

Pythonと地理データ 飛ぶ鳥を落とす勢いで利用が広がるPythonですが、地理データに関してもその傾向は同様です。 Pythonの主用途であるデータ分析と地理、一見関連が薄そうですが、 日本地図を作った伊能忠敬が偉人と言われるように、地理データは古来から重要な情報として活用され、現在では公的機関のサイトから良質のデータが無料で手に入るため、データ源として極めて有用です。 というわけで意気揚々と公的機関のサイトに乗り込み、ダウンロードしたファイルを解凍すると、多くの人は以下の困難にぶつかるかと思います。 「拡張子が・・・・わからん…」 こんな方のために、本記事では地理データの主要な形式であるShapefile（.shpファイル）をPythonで扱う方法を、実装例(GitHub)を交えて解説しようと思います。 本記事を読めばShapefileはひととおり扱えるというような、ポータルサイト的

機械学習とパイプライン エンジニアの皆さんは、「パイプライン」といえば何を思い浮かべるでしょうか？ 恐らく多くの人は、 ①最近ハッキングされたことで話題の、石油輸送管 ②基本情報試験などで頻出の、CPUの並行命令実行の仕組み を思い浮かべるかと思います。 ※画像はWikipediaより 機械学習分野でも、Scikit-LearnやMLOps系のツールにおいて頻出する用語であり、 何となく、「複数の処理を連続で行う仕組み」といったイメージを持たれている方が多いかと思います。 ですが、連続処理なら各処理を順番に実装すれば同様の機能を実現できるため、正直 「メリットがよく分からん！」 と思われている方も多いかと思います。 私もそう思っていましたが、調べてみると、場面によっては必要不可欠と言えるようなメリットがある事が分かったので、 記事にまとめようと思います パイプラインとは？ パイプラインの概

正則化、ムズいよ‥ 機械学習で過学習防止に使われる正則化 その例として、よく以下のような図が挙げられているかと思います この図を初めて見た時、少し考えて導き出した結論が以下です 「う～ん‥わからん！」 この図、解説が不十分なことも多く、初見で理解できた人って結構少ないのではないでしょうか‥ 図が理解できない事で正則化やリッジ回帰に苦手意識を持った方も多いかと思います（私もそうでした‥） この現状を打破すべく、図の解釈を自分なりに整理したので、分かりやすさ最優先で解説したいと思います。 正則化は機械学習では避けて通れないテクニックなので、皆さまの理解に少しでも貢献できれば幸いです。 ※注意 本記事は私の独自解釈が多く含まれています。 正確な記事を目指すためにも、「ここが間違っている！」という指摘は気軽に頂ければと思います 正則化とは？ 前提知識として、過学習と正則化について解説します 過学習

概要 データに基づき、自動でラベルを見分ける機械学習手法を「分類」と呼びます。 例えば、「大きさ」と「色」のデータから、「リンゴ」と「ミカン」を見分けるようなイメージです。 今回はPythonのグラフ描画ライブラリ「seaborn」をベースにして、 分類結果の解釈を強力にサポートするツールを作成しました！ 機能1. 決定境界の可視化 機能2. クラス確率の可視化 RGB画像表示 (proba_type='imshow') 等高線表示 (proba_type='contourf') 2021/7 修正：pipでインストールできるよう改良しました 下記コマンドでインストール可能となりました ※関連ツールを1つの記事にまとめました！よければこちらもご覧ください もしこのツールを良いと思われたら、GitHubにStar頂けるとありがたいです！ 背景 分類は、データの基づき自動でラベル（「クラス」「

概要 近年、品質管理やマーケティングの分野で「ばらつき」分析の重要性が叫ばれていますが、 ばらつき分析と切っても切り離せないのが**「ヒストグラム」と「分布の種類の判断」**です。 今回はPythonのグラフ描画ライブラリ「seaborn」をベースにして、 分析の種類の判断を強力にサポートするツールを作成しました！ 機能1. 正規分布かどうかの判断 機能2. 各種確率分布のフィッティングとあてはまり評価指標 2021/7 修正：pipでインストールできるよう改良しました 下記コマンドでインストール可能となりました こちらの記事で紹介しているseaborn_analyzerライブラリの一部として、githubにもアップロードしております。 histクラスが、本記事の内容に該当します。 バグや改善要望等ありましたら、コメント頂けますとありがたいです また、もしこのツールを良いと思われたら、Gi