システム企画系の仕事で、社内の各システムからデータを収集して、データ基盤のようなシステムをつくろうと考えています。
最初SnowflakeやRedShiftのようなDWH製品を調べていたのですが、普通のRDBとの違いがいまいちしっくりきていません。
例えばSqlSeverにもSSASというツールがありますよね。
OLTPとOLAPの概念についてはなんとなく理解しました。
https://aws.amazon.com/jp/compare/the-difference-between-olap-and-oltp/
皆さんが普段実務的にどういう使い分けをされているのか知りたいです。
おっしゃる普通のRDBは、業務システ厶にて日々更新記録するDBのようなもので、例えばERPにおける会計・ロジ・人事のシステムに関するデータが格納され、リアルタイムに刻々と更新されているという位置づけのイメージです。更新が前提なので、行方向のデータ扱いに強いです。
これに対してDWHは、おっしゃる普通のRDBからデータを日次などで引き抜いてコピー・整形・クレンジングなどを施し、綺麗な形で大量のデータを別に保存し、それをBIツールで参照するといった、参照に特価したDBです。更新を前提としていないことと、参照、つまり大量データの集計などにも最適化する必要があり、列方向のデータの扱いが強いといった特性があります。ERPからからデータを引き抜いて、経営者が意思決定に用いてるようなイメージです。
尚、両方とも表形式でデータを保存し、I/Fは共にSQLということでは同じです。
ありがとうございます。
そういう感じなんですね。
ちなみに社内では、ユーザーがExcelやAccessに直接入力して管理しているデータもあり、そういったものもデータ基盤に集約しようと考えております。
今の所ローコードorVBA等でEUCを作成し、データ基盤の方に直接登録してもらうイメージを持っていますが、
DWHに対して、EUCでデータを登録更新するのはありでしょうか？
更新を前提としないとあるので、DWHに登録する前に、間にRDBを挟んだ方がいいでしょうか？
連続した質問ですみませんが、
どなたかそういった事例があれば教えてほしいです。
見知った事例は無いですが、そのEUCデータがDWHとしての分析に必要でデータ連携したいのなら、ユーザーがデータを一件更新するごとにDWHのデータが更新されるというイメージではなく、やはり日次などのバッチ処理で一気に行われるのが一般的です。データの洗い換えなどと呼んだりします。
そのためだけにローカル環境でのバッチ処理を開発するのはあまり現実的では無いので、サーバ側に集約して既にそこにあるDWHへの連携処理に合流させるというのも現実的な設計にも思えます。
これらは一般的なDWHでの処理を想定したもので、クラウド上での膨大なコンピューティングを活用した現代では、少しづつDWHの考えも変わってきている面はあるでしょう。
お忙しいところ丁寧にありがとうございます。
>そのためだけに…
>おっしゃる通り、Excel等で管理しているデータも、そこまで件数多いわけではなく、あんまり工数かけたくないないのでどうしようかなと思っておりました。
自分でももう少し考えてみます。