GIS奮闘記

現役GISエンジニアの技術紹介ブログ。主にPythonを使用。

スポンサーリンク

Python

FIFA 20 のプレイヤーをクラスタリングしてみよう!

さて、本日は機械学習のクラスタリングという手法を使ってFIFA 20 のプレイヤーをグルーピングしてみようと思います。 FIFA20 とは 『FIFA 20』は、EAスポーツが開発し、エレクトロニック・アーツより2019年9月27日に世界同時発売されたサッカーゲーム。(出…

Amazon Comprehend と Python で自然言語処理をしてみよう!

さて、本日は自然言語処理について書いてみようと思います。様々な自然言語処理サービスがありますが、今回は Amazon Comprehend を使ってみようと思います。このサービスを使うと簡単にテキストの感情分析などができるようになります。 Amazon Comprehendと…

SUUMO の中古物件情報を Tableau で分析してみる ~データ予測編~

さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ予測編~」です。データ収集編で SUUMO の情報をスクレイピング、データ分析編でその情報の分析をしましたが、今回は機械学習を使って販売価格の予測を行ってみようと思います。 なお…

Python で四分位数を計算する方法

さて、本日は Python で四分位数を計算する方法を紹介します。 四分位数とは 統計では、四分位数は、データポイントの数をほぼ等しいサイズの4つの部分、つまり4分の1に分割する分位数の一種です。(出典:Wikipedia) つまり、データを四等分する三つのデー…

SUUMO の中古物件情報を Tableau で分析してみる ~データ収集編~

さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ収集編~」です。私が中古物件を探しているのですが、条件(最寄りの路線や駅近など)によって価格の変動やどういった傾向にあるのかを知りたかったため、Tableau を使って傾向を分析…

機械学習で行った定期預金申し込み推論結果を Tableau で可視化してみよう!

さて、本日は機械学習で行った定期預金申し込み推論結果を Tableau で可視化してみようと思います。機械学習を行うことも難しいのですが、その結果をわかりやすく表示することも多くの方が頭を抱える悩みではないかと思います。Tableau を使えばそんな悩みも…

Python での探索的データ解析には pandas-profiling を使おう

さて、本日は pandas-profiling について紹介してみようと思います。機械学習をやっていると避けて通れないのが探索的データ解析ですが、かなり面倒な作業ですよね。ただ、pandas-profilign を使えばすごく簡単に探索的データ解析を行うことができます。 探…

Prophet で時系列解析を行い電力需要の推論値を Tableau で可視化してみよう!

さて、本日は Prophet を利用して電力需要の推論値を可視化してみようと思います。前回に引き続き今回も機械学習に関するエントリーを書いてみました。機械学習に関してはまだまだ学習中の身で拙い内容かもしれませんがこれから機械学習を始めてみようという…

気象データを Python でスクレイピングする方法

さて、本日は気象庁の HP から気象データをスクレイピングしようと思います。 スクレイピングとは ウェブスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれ…

機械学習を使って不動産取引価格の予測値を可視化してみよう!

さて、本日は機械学習ですね。今までのエントリーと異なりデータを加工・可視化するのではなく、収集したデータを使って将来の予測値を可視化してみようと思います。 機械学習とは 機械学習(きかいがくしゅう、英: Machine Learning)とは、経験からの学習…

Windows の Anaconda 環境に PyStan をインストールする方法

さて、本日は Windows の Anaconda 環境に PyStan をインストールする方法について書いてみようと思います。というのも先日この作業にはまったので備忘録として本エントリーを残そうと思います。本エントリーが同じ問題に直面した方の手助けになれば幸いです…

Python で2点の緯度経度から距離を計測する方法

さて、本日は2点の緯度経度から距離を計測する方法について紹介しようと思います。平面上の単純な2点間の距離計測などは簡単にできるかと思いますが、地球は回転楕円体なため(実は地球は完全な球体というわけではありません)、その丸みを考慮した計算が必…

Python と OpenCV で画像の幾何学変換をしてみよう

さて、本日は画像の幾何学変換について書いてみようと思います。以下エントリーと同様に OpenCV を使ってみようと思います。 www.gis-py.com 幾何学変換とは 幾何学変換と聞くだけで頭が痛くなりそうな気がしますがそんなに難しく考える必要はありません。ま…

Python の認証プロキシ設定について

さて、本日は Python の認証プロキシ設定について書いてみようと思います。社内環境で WebAPI などを叩こうと思ったときに認証プロキシにひっかかることがあるかと思います。今回は認証プロキシの突破方法について書いてみようと思います。 実行環境 Windows…

Python と OpenCV で画像処理をしてみよう!

さて、本日は OpenCV を使って画像処理をしてみようと思います。私は最近画像を扱うことが多く、OpenCV を使ってもう少し画像関連の知識の幅を広げようと思っています。 今回のテーマは GIS とは直接は関係ないのですが、GIS の世界では航空写真など多くの画…

Python で緯度経度を地域メッシュコードに変換する方法

明けましておめでとうございます。 昨年は一昨年に続き変化の多い年でした。新しい分野に挑戦することになり四苦八苦していますが、頑張ろうと思います。 さて、本日は Python で緯度経度を地域メッシュコードに変換してみようと思います。以下のエントリー…

Python で交通事故統計データを可視化してみよう!

さて、本日は交通事故統計データの可視化をしてみようと思います。本エントリーですが、以下二つのエントリーで行った作業を前提として進めていきます。興味がありましたらぜひ以下エントリーも読んでみてください。 www.gis-py.com www.gis-py.com 交通事故…

Python で CSV ファイルを SQLite にインポートする方法

さて、本日は CSV ファイルを SQLite にインポートしてみようと思います。前回のエントリーで「交通事故統計情報のオープンデータ」のコード表を CSV に変換してみました。本エントリーではその CSV を SQLite にインポートしてみようと思います。 PDF を CS…

Python で PDF を CSV に変換してみよう!

さて、本日は Python で PDF を CSV に変換してみようと思います。実は「交通事故統計情報のオープンデータ」を可視化してみようと思ったのですが、そこで使用しようと思ったデータの一部がPDFで公開されており(データ自体はCSVだったのですが、コード表がP…

Amazon Polly と Python で音声合成をしてみよう!

さて、本日は Amazon Polly と Python を使って音声合成(テキストなどによって入力した言葉を読み上げさせること)をしてみようと思います。ここ数年どんどん存在感を増してきている AWS ですが、本当に色々なサービスがあり便利ですね。 Amazon Polly とは…

Python と Googleマップのタイムライン機能を使って自分の移動履歴を可視化してみよう!

さて、本日は Googleマップのタイムライン機能を使って自分の移動履歴を可視化してみようと思います。自分の移動履歴が見れるなんて面白そうですね! タイムライン機能とは? Googleマップの機能で自分がいる「場所」と「時間」を記録してくれるものです。 …

PyShp を使って CSV をシェープファイルに変換する方法

さて、本日は久しぶりに GIS に関するエントリーを書いてみようと思います。PyShp を使って CSV をシェープファイルに変換してみます。 PyShp とは Shape ファイルを読み書きするためのライブラリです。 使用するデータ ESRIジャパンさんが主催した「ArcGIS …

Python で Tkinter を使って GUI アプリを作ってみよう!

さて、今日は Python で Tkinter を使って GUI アプリを作ってみようと思います。意外と知られていないのですが、Python でも GUI アプリを作ることができます。様々な GUI 系のライブラリがあるのですが、今日は Tkinter というライブラリを使ってみようと…

Python で PostgreSQL を操作してみよう!

さて、本日は Python を使った PostgreSQL の操作について紹介しようと思います。 関連記事 Python で SQL Server、SQLite を操作する方法についても書いていますので、興味のある方はぜひ読んでみてください。 www.gis-py.com www.gis-py.com 使用するライ…

Python で ini ファイルを読み込んでみよう!

色々忙しくてしばらく更新が止まっていましたが、今日は久しぶりに書いてみようと思います。本日は Python で ini ファイルを読み込む方法について紹介しようと思います。 ini ファイルとは 一言でいうと設定ファイルですね。プログラムで使用する値を ini …

Python で XML を CSV に変換する方法

さて、本日はPython で XML を CSV に変換する方法について書いてみようと思います。前回のエントリーでは Python で CSV を XML に変換する方法について書きましたが、今回はその逆ですね。 使用する XML 前回のエントリーで作成した prefectures.xml を使…

Python で CSV を XML に変換する方法

さて、本日は Python で CSV を XML に変換する方法について書いてみようと思います。自粛ムードが高まってきていてなかなか外出はできないかと思いますが、休日にコーディングをするチャンスでもありますね。自分ももっと勉強しなければならないので、これ…

Python と Tesseract OCR を使って文字認識をしてみよう!

本日は Python と Tesseract OCR を使って文字認識をしてみようと思います。みなさんは OCR と聞いてピンときますか?実は私たちの周りは OCR を使用したテクノロジーで溢れかえっています。 OCR とは? OCR(Optical Character Recognition/Reader、オーシ…

Python で地域メッシュコードを緯度経度に変換する方法

最近は ArcGIS API for JavaScript の話が続いてしまっていたので、今回は気分を変えて Python を使って地域メッシュコードを緯度経度に変換してみようと思います。緯度経度を地域メッシュコードに変換したい方は以下のエントリーを参考にしてみてください。…

ezdxf を使って Python で DXF を扱ってみよう!

さて、本日は ezdxf を使って Python で DXF を扱ってみようと思います。 DXF とは 以下エントリーでも少し紹介しているのですが、DXFは、Autodesk社が開発したファイル形式の1つで、CAD 系のデータですね。しかし、GIS の世界でも DXF はよく使われます。 w…