システム企画系の仕事で、社内の各システムからデータを収集して、データ基盤のようなシステムをつくろうと考えています。
最初SnowflakeやRedShiftのようなDWH製品を調べていたのですが、普通のRDBとの違いがいまいちしっくりきていません。
例えばSqlSeverにもSSASというツールがありますよね。
OLTPとOLAPの概念についてはなんとなく理解しました。
https://aws.amazon.com/jp/compare/the-difference-between-olap-and-oltp/
皆さんが普段実務的にどういう使い分けをされているのか知りたいです。
おっしゃる普通のRDBは、業務システ厶にて日々更新記録するDBのようなもので、例えばERPにおける会計・ロジ・人事のシステムに関するデータが格納され、リアルタイムに刻々と更新されているという位置づけのイメージです。更新が前提なので、行方向のデータ扱いに強いです。
これに対してDWHは、おっしゃる普通のRDBからデータを日次などで引き抜いてコピー・整形・クレンジングなどを施し、綺麗な形で大量のデータを別に保存し、それをBIツールで参照するといった、参照に特価したDBです。更新を前提としていないことと、参照、つまり大量データの集計などにも最適化する必要があり、列方向のデータの扱いが強いといった特性があります。ERPからからデータを引き抜いて、経営者が意思決定に用いてるようなイメージです。
尚、両方とも表形式でデータを保存し、I/Fは共にSQLということでは同じです。
ありがとうございます。
そういう感じなんですね。
ちなみに社内では、ユーザーがExcelやAccessに直接入力して管理しているデータもあり、そういったものもデータ基盤に集約しようと考えております。
今の所ローコードorVBA等でEUCを作成し、データ基盤の方に直接登録してもらうイメージを持っていますが、
DWHに対して、EUCでデータを登録更新するのはありでしょうか?
更新を前提としないとあるので、DWHに登録する前に、間にRDBを挟んだ方がいいでしょうか?
連続した質問ですみませんが、
どなたかそういった事例があれば教えてほしいです。
見知った事例は無いですが、そのEUCデータがDWHとしての分析に必要でデータ連携したいのなら、ユーザーがデータを一件更新するごとにDWHのデータが更新されるというイメージではなく、やはり日次などのバッチ処理で一気に行われるのが一般的です。データの洗い換えなどと呼んだりします。
そのためだけにローカル環境でのバッチ処理を開発するのはあまり現実的では無いので、サーバ側に集約して既にそこにあるDWHへの連携処理に合流させるというのも現実的な設計にも思えます。
これらは一般的なDWHでの処理を想定したもので、クラウド上での膨大なコンピューティングを活用した現代では、少しづつDWHの考えも変わってきている面はあるでしょう。
お忙しいところ丁寧にありがとうございます。
>そのためだけに…
>おっしゃる通り、Excel等で管理しているデータも、そこまで件数多いわけではなく、あんまり工数かけたくないないのでどうしようかなと思っておりました。
自分でももう少し考えてみます。
外資IT営業の給与ガイド
#給料
#営業
外資IT営業の給与体系・株式報酬、期待できる年収値や上がり幅を、WorkCircleのユーザー様且つパートナー企業チャレンジャーベース社市川さんと、外資エンタプライズ向けソフトウェア(SaaS)営業の経歴を持つ西村さん共同で記事にしました。
RSU完全ガイド(確定申告用スプレッドシート付き)
#給料
外資企業で多く採用される給与の一つ、RSUの構造や仕組み、リスクや確定申告方法に関してWorkCircleのユーザー様、且つパートナー企業チャレンジャーベース社代表の市川さんと紹介します。
外資・日系IT企業のRTO(オフィス出社)状況リスト
各企業のRTO(オフィス出社)状況をリスト化しました。 提供元データは所属企業が証明されているWorkCircleユーザーによるものです。 希望する働き方や転職先を決める軸の一つとして、是非参考にしてください!