データ基盤の基本

布施香苗

今回は、データ基盤について学習します。

布施香苗

会社にあるさまざまなデータを、分析したり活用したりするための土台のことです。

布施香苗

データベースとデータ基盤は、役割が異なります。
データベースは、業務システムなどで必要となるデータを管理するための仕組みです。
例えば、販売システムなら、商品や注文、売上などのデータを保存し、必要に応じて登録・検索・更新します。

布施香苗

そうですね。
一方、データ基盤は、社内のさまざまなシステムやデータベース、社外の情報などからデータを集め、蓄積・加工して、分析や活用につなげるための仕組みです。

布施香苗

その理解で大丈夫です。
今回は、データ基盤で使われるデータウェアハウス、データマート、データレイクなどについて学習していきます。

布施香苗

まずは、データウェアハウスから見ていきましょう。
データウェアハウスは、英語では「Data Warehouse」、略してDWHと呼ばれます。
Warehouseは「倉庫」という意味ですね。

布施香苗

そうですね。
データウェアハウスは、企業活動で生じるさまざまなデータを整理・統合し、時系列に蓄積して、経営の意思決定支援などに利用するための仕組みです。

布施香苗

簡単にいえば、会社がこれからどうするかを決めるために、データを役立てることです。
例えば、これまでの売上を分析して、
「来月はどの商品を多く仕入れるか」
「どの商品に力を入れて販売するか」
といった判断に役立てます。

布施香苗

そのとおりです。
例えば、店舗やネット通販の売上などを長期間にわたって蓄積しておけば、商品別、店舗別、期間別など、さまざまな角度から分析できます。

布施香苗

そもそも、データベースとデータウェアハウスでは、データを保存する目的が異なります。
例えば、販売システムのデータベースでは、注文を登録したり、在庫数を更新したりするなど、日々の業務に合わせてデータが変化します。
これらを正確に管理することがデータベースの目的です。
一方、データウェアハウスは、さまざまなデータを蓄積して分析することが目的です。
過去のデータも分析に利用するため、業務用データベースのように頻繁に更新・削除するのではなく、新しいデータを追加しながら、時系列で蓄積していくのが基本です。

布施香苗

はい。その理解で大丈夫です。
例えば、売上のデータだけを見ていても、「なぜ売上が増えたのか、減ったのか」までは分からないことがあります。
そこでデータウェアハウスには、売上だけでなく、在庫や在庫切れの状況、気温や天気、クレームの種類や件数など、分析に利用するさまざまなデータを蓄積しておきます。

布施香苗

そうですね。
例えば、「雨の日にはこの商品の売上が伸びる」「気温が高くなると別の商品が売れ始める」といった関係が見つかるかもしれません。
また、売上が落ちた時期に在庫切れが多かったり、クレームが増えていたりすれば、それも原因を考える手掛かりになります。

布施香苗

そのとおりです。
経営上、どのような判断が必要になるかは、そのときの状況によって変わります。
そのためデータウェアハウスでは、企業活動に関わるさまざまなデータを整理・統合し、過去から時系列で蓄積しておき、必要に応じてさまざまな角度から分析できるようにします。
こうして得られた分析結果を、販売計画や仕入れ、経営方針などの判断に役立てていきます。
違いを整理すると、次のようになります。

布施香苗

そうですね。
業務用データベースでも分析はできますが、データウェアハウスは、さまざまなデータをまとめて、分析や経営の意思決定に役立てることを重視した仕組みです。

布施香苗

続いて、データレイクについて見ていきましょう。
データレイクは、英語では「Data Lake」です。
Lakeは「湖」という意味ですね。

布施香苗

はい。
さまざまなデータが川のように流れ込み、元の形に近い状態のまま湖にたまっていくイメージです。
データレイクは、さまざまな形式のデータを、元の形式のまま大量に蓄積できる仕組みです。

布施香苗

例えば、売上データのように表形式で整理されたものもあれば、問い合わせの文章、商品画像、音声、動画などもあります。
こうしたデータは、大きく次のように分けられます。

布施香苗

そうです。
データウェアハウスでは、分析しやすいようにデータを整理・統合して蓄積します。
一方、データレイクでは、将来どのような分析に使うか決まっていないデータも含めて、元の形式のまま蓄積できるのが特徴です。
そのため、最初からすべてのデータを共通の表形式に加工しておく必要はありません。

布施香苗

そのとおりです。
例えば、今は売上データだけを分析していても、後からお客様の問い合わせ文章や商品画像などを分析に利用したくなるかもしれません。
データレイクに元のデータを残しておけば、そのときの目的に合わせて必要なデータを取り出し、加工して利用できます。
ここで、データウェアハウスとの違いを整理してみましょう。

布施香苗

はい。
ただし、「何でもためておけばよい」というわけではありません。
管理せずに大量のデータをため続けると、何のデータなのか分からなくなったり、必要なデータを見つけられなくなったりすることがあります。

布施香苗

そうですね。
このように、管理されないデータがたまり、活用することが難しくなった状態を、データスワンプ（Data Swamp）と呼ぶことがあります。
Swampは「沼」という意味です。

布施香苗

そのとおりです。
そのためデータレイクでは、データの内容や出所などを管理し、必要なデータを見つけて利用できるようにしておくことが大切です。

布施香苗

それでは、今回学習した内容を整理してみましょう。
データ基盤は、さまざまな場所にあるデータを収集・蓄積・加工し、分析や業務での活用を支える仕組みでしたね。

布施香苗

そのとおりです。
そして、データ基盤で使われる主な仕組みには、それぞれ異なる特徴があります。

布施香苗

いいえ。必ずすべてを使う必要はありません。
どのようなデータを扱い、何のために利用するかによって、必要な仕組みを組み合わせます。
例えば、データレイクに蓄積したデータの一部を加工してデータウェアハウスに取り込み、さらに販売部門向けのデータマートを作る、といった構成も考えられます。
しかし、すべてのデータが必ずこの順番を通るわけではありません。

布施香苗

そのとおりです。
特に、どのようなデータを、何のために蓄積するのか、そして、いつ加工して利用できる形にするのかを意識すると、それぞれの違いが整理しやすくなります。
それでは、確認問題で理解度を確かめてみましょう。