GIS奮闘記

元GISエンジニアの技術紹介ブログ。主にPythonを使用。

スポンサーリンク

Microsoft が公開している道路データを可視化してみよう

明けましておめでとうございます。本年も GIS奮闘記をよろしくお願いいたします。 2022年末に Microsoft が4780万kmを超える道路データ(GeoJSON形式)の公開をアナウンスしました。本年一発目のエントリーではそのデータを可視化してみようと思います。 公…

Python で無相関検定をしてみる

さて、本日は Python を使って無相関検定をしてみようと思います。以下二つのエントリーで「相関係数の算出」と「データの散布図へのプロット」を実施しましたが、使用した二つの変数(築年数と販売価格)に対して無相関検定を実施します。 www.gis-py.com w…

Python で相関分析に使うデータを散布図で可視化してみる

さて、本日は相関分析に使うデータを散布図で可視化してみようと思います。前回エントリーでは相関係数の計算を行いました。今回は相関係数算出に使ったデータを散布図で可視化してみようと思います。 散布図とは 散布図は、横軸と縦軸にそれぞれ別の量をと…

Python で相関係数を算出する方法

さて、本日は Python で相関係数を算出してみようと思います。今の業務で Tableau を使って相関係数を計算しているのですが、計算対象のデータパターンが多くて(相関係数を算出する対象が何十、何百パターンもある)、 Python で一括処理をしたいと思ってい…

Python と気象庁の天気予報 JSON を使って全国の天気予報を取得してみる

正式公開の WebAPI ではないですが、天気予報情報がJSON形式で取得できるみたいですね。

Python で気象庁防災情報XMLの地震情報をCSV出力する方法

さて、本日は気象庁防災情報XMLの地震情報をCSV出力しようと思います。 気象庁防災情報XMLとは 気象庁は過去長年にわたり、それぞれの防災情報毎に情報の性質・利用形態などを考慮し、気象庁独自の電文形式(フォーマット)を作成してきました。この方式は、…

Elasticsearch と Python を使って空間検索をしてみる

皆様、お久しぶりです。前回のエントリーから間が空いてしまいましたが、また少しずつブログの更新をしていきたいと思っています。今回は Elasticsearch と Python を使って空間検索をしてみようと思います。 以前にも Elasticsearch に関して以下のエントリ…

FIFA 20 のプレイヤーをクラスタリングしてみよう!

さて、本日は機械学習のクラスタリングという手法を使ってFIFA 20 のプレイヤーをグルーピングしてみようと思います。 FIFA20 とは 『FIFA 20』は、EAスポーツが開発し、エレクトロニック・アーツより2019年9月27日に世界同時発売されたサッカーゲーム。(出…

Amazon Location Service を使ってみよう!

さて、本日は Amazon Location Service を使用してみようと思います。とうとう AWS が GIS の世界に進出してきましたね。サービス開始時からどんな感じかずっと気になっていたので今回紹介したいと思います。 Amazon Location Service とは Amazon Location …

Amazon Comprehend と Python で自然言語処理をしてみよう!

さて、本日は自然言語処理について書いてみようと思います。様々な自然言語処理サービスがありますが、今回は Amazon Comprehend を使ってみようと思います。このサービスを使うと簡単にテキストの感情分析などができるようになります。 Amazon Comprehendと…

SUUMO の中古物件情報を Tableau で分析してみる ~データ予測編~

さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ予測編~」です。データ収集編で SUUMO の情報をスクレイピング、データ分析編でその情報の分析をしましたが、今回は機械学習を使って販売価格の予測を行ってみようと思います。 なお…

Python で四分位数を計算する方法

さて、本日は Python で四分位数を計算する方法を紹介します。 四分位数とは 統計では、四分位数は、データポイントの数をほぼ等しいサイズの4つの部分、つまり4分の1に分割する分位数の一種です。(出典:Wikipedia) つまり、データを四等分する三つのデー…

SUUMO の中古物件情報を Tableau で分析してみる ~データ分析編~

さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ分析編~」です。前回のエントリーで SUUMO の情報をスクレイピングしましたが、今回はTableau を使ってそのデータを分析してみようと思います。 なお、本シリーズは以下3エントリー…

SUUMO の中古物件情報を Tableau で分析してみる ~データ収集編~

さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ収集編~」です。私が中古物件を探しているのですが、条件(最寄りの路線や駅近など)によって価格の変動やどういった傾向にあるのかを知りたかったため、Tableau を使って傾向を分析…

VSCode Map Preview を使って テキストエディタ上で地図を表示してみよう!

さて、本日はテキストエディタ上で地図を表示してみようと思います。使用するテキストエディタは Visual Studio Code です。 Visual Studio Code とは Visual Studio CodeはMicrosoftが開発しているWindows、Linux、macOS用のソースコードエディタである。デ…

機械学習で行った定期預金申し込み推論結果を Tableau で可視化してみよう!

さて、本日は機械学習で行った定期預金申し込み推論結果を Tableau で可視化してみようと思います。機械学習を行うことも難しいのですが、その結果をわかりやすく表示することも多くの方が頭を抱える悩みではないかと思います。Tableau を使えばそんな悩みも…

Python での探索的データ解析には pandas-profiling を使おう

さて、本日は pandas-profiling について紹介してみようと思います。機械学習をやっていると避けて通れないのが探索的データ解析ですが、かなり面倒な作業ですよね。ただ、pandas-profilign を使えばすごく簡単に探索的データ解析を行うことができます。 探…

Prophet で時系列解析を行い電力需要の推論値を Tableau で可視化してみよう!

さて、本日は Prophet を利用して電力需要の推論値を可視化してみようと思います。前回に引き続き今回も機械学習に関するエントリーを書いてみました。機械学習に関してはまだまだ学習中の身で拙い内容かもしれませんがこれから機械学習を始めてみようという…

気象データを Python でスクレイピングする方法

さて、本日は気象庁の HP から気象データをスクレイピングしようと思います。 スクレイピングとは ウェブスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれ…

機械学習を使って不動産取引価格の予測値を可視化してみよう!

さて、本日は機械学習ですね。今までのエントリーと異なりデータを加工・可視化するのではなく、収集したデータを使って将来の予測値を可視化してみようと思います。 機械学習とは 機械学習(きかいがくしゅう、英: Machine Learning)とは、経験からの学習…

Windows の Anaconda 環境に PyStan をインストールする方法

さて、本日は Windows の Anaconda 環境に PyStan をインストールする方法について書いてみようと思います。というのも先日この作業にはまったので備忘録として本エントリーを残そうと思います。本エントリーが同じ問題に直面した方の手助けになれば幸いです…

Tableau の空間関数を使ってみよう!

さて、本日も前回のエントリーに続き Tableau について書いてみようと思います。以下のエントリーで Tableau を使って地図データを可視化してみましたが、今回はもう一歩踏み込んで空間関数を使ってみようと思います。 www.gis-py.com 使用するデータ ESRIジ…

Tableau を使って地図データを可視化してみよう!

さて、本日は Tableau を使って地図データを可視化してみようと思います。Tableau と言えば BI ツールとして有名だと思いますが、なんと これで地図データも可視化できるようです。ちょっと地図データを可視化したいくらいだったら GIS を導入しなくても BI …

Elasticsearch と Kibana を使って地図データを可視化してみよう!

さて、本日は Elasticsearch と Kibana を使って地図データを可視化してみようと思います。ただ、Elasticsearch と Kibana のインストールや使い方については本エントリーでは紹介はしませんので、興味のある方は公式ドキュメントを読んでみてください。 www…

Python で2点の緯度経度から距離を計測する方法

さて、本日は2点の緯度経度から距離を計測する方法について紹介しようと思います。平面上の単純な2点間の距離計測などは簡単にできるかと思いますが、地球は回転楕円体なため(実は地球は完全な球体というわけではありません)、その丸みを考慮した計算が必…

Python と OpenCV で画像の幾何学変換をしてみよう

さて、本日は画像の幾何学変換について書いてみようと思います。以下エントリーと同様に OpenCV を使ってみようと思います。 www.gis-py.com 幾何学変換とは 幾何学変換と聞くだけで頭が痛くなりそうな気がしますがそんなに難しく考える必要はありません。ま…

Python の認証プロキシ設定について

さて、本日は Python の認証プロキシ設定について書いてみようと思います。社内環境で WebAPI などを叩こうと思ったときに認証プロキシにひっかかることがあるかと思います。今回は認証プロキシの突破方法について書いてみようと思います。 実行環境 Windows…

Python と OpenCV で画像処理をしてみよう!

さて、本日は OpenCV を使って画像処理をしてみようと思います。私は最近画像を扱うことが多く、OpenCV を使ってもう少し画像関連の知識の幅を広げようと思っています。 今回のテーマは GIS とは直接は関係ないのですが、GIS の世界では航空写真など多くの画…

Python で緯度経度を地域メッシュコードに変換する方法

明けましておめでとうございます。 昨年は一昨年に続き変化の多い年でした。新しい分野に挑戦することになり四苦八苦していますが、頑張ろうと思います。 さて、本日は Python で緯度経度を地域メッシュコードに変換してみようと思います。以下のエントリー…

Python で交通事故統計データを可視化してみよう!

さて、本日は交通事故統計データの可視化をしてみようと思います。本エントリーですが、以下二つのエントリーで行った作業を前提として進めていきます。興味がありましたらぜひ以下エントリーも読んでみてください。 www.gis-py.com www.gis-py.com 交通事故…