Python
明けましておめでとうございます。本年も GIS奮闘記をよろしくお願いいたします。 2022年末に Microsoft が4780万kmを超える道路データ(GeoJSON形式)の公開をアナウンスしました。本年一発目のエントリーではそのデータを可視化してみようと思います。 公…
さて、本日は Python を使って無相関検定をしてみようと思います。以下二つのエントリーで「相関係数の算出」と「データの散布図へのプロット」を実施しましたが、使用した二つの変数(築年数と販売価格)に対して無相関検定を実施します。 www.gis-py.com w…
さて、本日は相関分析に使うデータを散布図で可視化してみようと思います。前回エントリーでは相関係数の計算を行いました。今回は相関係数算出に使ったデータを散布図で可視化してみようと思います。 散布図とは 散布図は、横軸と縦軸にそれぞれ別の量をと…
さて、本日は Python で相関係数を算出してみようと思います。今の業務で Tableau を使って相関係数を計算しているのですが、計算対象のデータパターンが多くて(相関係数を算出する対象が何十、何百パターンもある)、 Python で一括処理をしたいと思ってい…
正式公開の WebAPI ではないですが、天気予報情報がJSON形式で取得できるみたいですね。
さて、本日は気象庁防災情報XMLの地震情報をCSV出力しようと思います。 気象庁防災情報XMLとは 気象庁は過去長年にわたり、それぞれの防災情報毎に情報の性質・利用形態などを考慮し、気象庁独自の電文形式(フォーマット)を作成してきました。この方式は、…
皆様、お久しぶりです。前回のエントリーから間が空いてしまいましたが、また少しずつブログの更新をしていきたいと思っています。今回は Elasticsearch と Python を使って空間検索をしてみようと思います。 以前にも Elasticsearch に関して以下のエントリ…
さて、本日は機械学習のクラスタリングという手法を使ってFIFA 20 のプレイヤーをグルーピングしてみようと思います。 FIFA20 とは 『FIFA 20』は、EAスポーツが開発し、エレクトロニック・アーツより2019年9月27日に世界同時発売されたサッカーゲーム。(出…
さて、本日は自然言語処理について書いてみようと思います。様々な自然言語処理サービスがありますが、今回は Amazon Comprehend を使ってみようと思います。このサービスを使うと簡単にテキストの感情分析などができるようになります。 Amazon Comprehendと…
さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ予測編~」です。データ収集編で SUUMO の情報をスクレイピング、データ分析編でその情報の分析をしましたが、今回は機械学習を使って販売価格の予測を行ってみようと思います。 なお…
さて、本日は Python で四分位数を計算する方法を紹介します。 四分位数とは 統計では、四分位数は、データポイントの数をほぼ等しいサイズの4つの部分、つまり4分の1に分割する分位数の一種です。(出典:Wikipedia) つまり、データを四等分する三つのデー…
さて、本日は 「SUUMO の中古物件情報を Tableau で分析してみる ~データ収集編~」です。私が中古物件を探しているのですが、条件(最寄りの路線や駅近など)によって価格の変動やどういった傾向にあるのかを知りたかったため、Tableau を使って傾向を分析…
さて、本日は機械学習で行った定期預金申し込み推論結果を Tableau で可視化してみようと思います。機械学習を行うことも難しいのですが、その結果をわかりやすく表示することも多くの方が頭を抱える悩みではないかと思います。Tableau を使えばそんな悩みも…
さて、本日は pandas-profiling について紹介してみようと思います。機械学習をやっていると避けて通れないのが探索的データ解析ですが、かなり面倒な作業ですよね。ただ、pandas-profilign を使えばすごく簡単に探索的データ解析を行うことができます。 探…
さて、本日は Prophet を利用して電力需要の推論値を可視化してみようと思います。前回に引き続き今回も機械学習に関するエントリーを書いてみました。機械学習に関してはまだまだ学習中の身で拙い内容かもしれませんがこれから機械学習を始めてみようという…
さて、本日は気象庁の HP から気象データをスクレイピングしようと思います。 スクレイピングとは ウェブスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれ…
さて、本日は機械学習ですね。今までのエントリーと異なりデータを加工・可視化するのではなく、収集したデータを使って将来の予測値を可視化してみようと思います。 機械学習とは 機械学習(きかいがくしゅう、英: Machine Learning)とは、経験からの学習…
さて、本日は Windows の Anaconda 環境に PyStan をインストールする方法について書いてみようと思います。というのも先日この作業にはまったので備忘録として本エントリーを残そうと思います。本エントリーが同じ問題に直面した方の手助けになれば幸いです…
さて、本日は2点の緯度経度から距離を計測する方法について紹介しようと思います。平面上の単純な2点間の距離計測などは簡単にできるかと思いますが、地球は回転楕円体なため(実は地球は完全な球体というわけではありません)、その丸みを考慮した計算が必…
さて、本日は画像の幾何学変換について書いてみようと思います。以下エントリーと同様に OpenCV を使ってみようと思います。 www.gis-py.com 幾何学変換とは 幾何学変換と聞くだけで頭が痛くなりそうな気がしますがそんなに難しく考える必要はありません。ま…
さて、本日は Python の認証プロキシ設定について書いてみようと思います。社内環境で WebAPI などを叩こうと思ったときに認証プロキシにひっかかることがあるかと思います。今回は認証プロキシの突破方法について書いてみようと思います。 実行環境 Windows…
さて、本日は OpenCV を使って画像処理をしてみようと思います。私は最近画像を扱うことが多く、OpenCV を使ってもう少し画像関連の知識の幅を広げようと思っています。 今回のテーマは GIS とは直接は関係ないのですが、GIS の世界では航空写真など多くの画…
明けましておめでとうございます。 昨年は一昨年に続き変化の多い年でした。新しい分野に挑戦することになり四苦八苦していますが、頑張ろうと思います。 さて、本日は Python で緯度経度を地域メッシュコードに変換してみようと思います。以下のエントリー…
さて、本日は交通事故統計データの可視化をしてみようと思います。本エントリーですが、以下二つのエントリーで行った作業を前提として進めていきます。興味がありましたらぜひ以下エントリーも読んでみてください。 www.gis-py.com www.gis-py.com 交通事故…
さて、本日は CSV ファイルを SQLite にインポートしてみようと思います。前回のエントリーで「交通事故統計情報のオープンデータ」のコード表を CSV に変換してみました。本エントリーではその CSV を SQLite にインポートしてみようと思います。 PDF を CS…
さて、本日は Python で PDF を CSV に変換してみようと思います。実は「交通事故統計情報のオープンデータ」を可視化してみようと思ったのですが、そこで使用しようと思ったデータの一部がPDFで公開されており(データ自体はCSVだったのですが、コード表がP…
さて、本日は Amazon Polly と Python を使って音声合成(テキストなどによって入力した言葉を読み上げさせること)をしてみようと思います。ここ数年どんどん存在感を増してきている AWS ですが、本当に色々なサービスがあり便利ですね。 Amazon Polly とは…
さて、本日は Googleマップのタイムライン機能を使って自分の移動履歴を可視化してみようと思います。自分の移動履歴が見れるなんて面白そうですね! タイムライン機能とは? Googleマップの機能で自分がいる「場所」と「時間」を記録してくれるものです。 …
さて、本日は久しぶりに GIS に関するエントリーを書いてみようと思います。PyShp を使って CSV をシェープファイルに変換してみます。 PyShp とは Shape ファイルを読み書きするためのライブラリです。 使用するデータ ESRIジャパンさんが主催した「ArcGIS …
さて、今日は Python で Tkinter を使って GUI アプリを作ってみようと思います。意外と知られていないのですが、Python でも GUI アプリを作ることができます。様々な GUI 系のライブラリがあるのですが、今日は Tkinter というライブラリを使ってみようと…