数社でデータ基盤に関わったんですが、利用者の不満が大きい割にどの会社もうまくいってないのがメタデータ管理でした。
思うに、ドメイン知識などを持った人がナレッジを整備するインセンティブがあまり無いんですよね。純粋な利用者からすると不満の元なんですが…。
もしみなさんの所でうまくいっている例などありましたら施策のヒントなどを教えていただきたいです。
(編集済み)
35票
11
コメント一覧
みなさんどうしてるのか興味あります。
徐々に社内掲示板にまとめていますが、いい感じにデータカタログ化もしたいです。
LLMを使った自動化が進めば一気に使うことが当たり前になりそうなんですが、一部でも手入力に頼っている限りデータカタログは掛け声倒れになることが多いかと思いますね。カタログを整備したところでカタログ自体が金を生み出すわけでもないので。
カタログ整備されていないとLLM使ってもBI基盤構築と同じ問題発生しそうですがどうでしょうね？データマート層でカタログ整備して乗り切るのが現実的なところでしょうか。
「column_a_old」みたいなカラムがあると殺意湧きます、、が止むを得ない事情があったんだろうと思いにふけります。
LLMをモチベーションにデータカタログを整備できると期待したのですが、Duet AI for BigQueryを試した範囲では(申し訳ないですが)まだ使えない感じでした。
ああ、そういう意味ですね。ホントその通りだと思います。
Duet AIに関してはやはり自然言語の表現範囲とSQLのクエリ範囲が一致しそうがないのと、カタログの整備・メンテが厳しいだろうということで余り期待してないです。昔一瞬流行った日本語プログラミング言語の「ひまわり」と近いものを感じますねw
ただ、シンプルなデータマート的なデータに対して自然言語でクエリ投げれるのであれば多少は意味があるのかなぁ、という程度ですかね。
私のチームではdbtを使い始めました。メタデータも書かないとマージできないようにしているので、課題はありつつも以前よりデータの管理がしやすくなった印象です。
投稿者
いいですねぇ、dbtでマート作ってるケースだとCIに組み込んでしまうのが確かによさそうです！
トピック投稿主様へ
ご投稿ありがとうございます！
本トピックを、WorkCircle公式SNS、アンバサダーXアカウントにて紹介させていただいてもよろしいでしょうか？
社名や具体的な内容が含まれる場合、一部言い換えや塗りつぶしをし、匿名性の維持を徹底させていただきますので、ご安心ください。
大変お手数ですが、使用を許可していただける場合は、こちらのメッセージにご返信頂けますと幸いです。
どうぞよろしくお願いいたします。
投稿者
どうぞ！
ありがとうございます！投稿後にご連絡させていただきます。
