programming-soda

CDPコンペティションのゴールであるKPI開発について検討します。企業や都市が、環境や社会へのインパクトを考慮に入れた活動をしているかを計測する指標が本コンペティションで開発を求められているKPIです。私の専門は企業価値分析なので、もちろん企業に対するKPI開発を検討します。

Kaggleで開催されているCDP: Unlocking Climate Solutionsへ挑戦します。とはいえ私はKaggleのコンペにチャレンジするのは初めてなので、トップNに入ってやろうというより以下3点に注力したいと思います。

Part2では可視化に使用するAltairの解説を行います。Altairの概要、基本的な使い方、最後に目的とする連動グラフの描画までを解説します。本記事では以下の順で記載していきます。

前回はXBRLからのデータ取得を行いました。今連載ではデータの可視化に挑戦します。可視化の手法を確立しておくことで、今後注記情報なども含めて構造化していこう・・・としている財務情報について、データを入れればサクッとみられるようにしておきたいと思います。…

Part3では、タクソノミ文書の定義を利用してXBRLの情報を読み取ります。Part2では、インスタンス文書のみからの情報抽出を行いました。文書の構造を定義するタクソノミ文書を使用することで、文書構造(財務諸表だと勘定の体系など)に基づいた情報抽出、情報整理が可能です。

Part2では、XBRLファイルをPythonで読み込んでいきたいと思います。XBRLとは何か?についてはPart1をご参照ください。Part2では、簡単な抽出から複雑な抽出まで順を追って行っていこうと思います。実装は、以下で公開しています。

Part5では実際に機械学習パイプラインを運用した知見をまとめます。…

Part4はパイプラインの「運用」にフォーカスします。Part3は構築からデプロイまでを扱ったため、その先の話となります。「運用」という言葉がさす範囲は広いですが、本記事ではAirflowにおける「スケジューリング」と「障害復旧」にフォーカスします。スケジューリングは日常の、障害…

Part2では、Airflowの基本的な使い方を学びました。Part3では、実際にパイプラインの実装に入っていきたいと思います。とはいえ一度に全部は作れないため、パートに分けて作成をしていきます。今回は、データ収集を担当するパートの一部を実装しようと思います。

Part2では、実際にAirflowを使ってパイプラインを構築してみたいと思います。Part1でのサーベイを受けて構成を考える、というのがセオリーですがまずはAirflowの機能がどんなものかをざっくりと体感しようと思います。知らないツールでいきなり高度なものは作れないためです。…

Part1では、既存の「機械学習パイプライン」がどのような処理を行なっているのかをサーベイします。Part0で述べた通り、現在の機械学習パイプラインはエンジニア向けに作られていることが多いです。しかし、現在はエンジニア向けであるものが一般化する、と考えれば既存のパイプラインを調べ…

本連載では、Apache Airflowを用いて機械学習の専門家ではないユーザー(=エンドユーザー)が、機械学習を活用するためのパイプラインの構築を目指します。Part0では、このチャレンジを行う背景について書いていきたいと思います(長くなってしまったので・・・)。