所属企業が証明されているユーザーが集まるコミュニティに参加しよう！

システム企画系の仕事で、社内の各システムからデータを収集して、データ基盤のようなシステムをつくろうと考えています。

最初SnowflakeやRedShiftのようなDWH製品を調べていたのですが、普通のRDBとの違いがいまいちしっくりきていません。

例えばSqlSeverにもSSASというツールがありますよね。

OLTPとOLAPの概念についてはなんとなく理解しました。

https://aws.amazon.com/jp/compare/the-difference-between-olap-and-oltp/

皆さんが普段実務的にどういう使い分けをされているのか知りたいです。

巷ではデータエンジニアの需要が近年増えてるけど、どこにもいないから高い年収を払ってでも雇いたい状況らしいですが全く実感がないです。

自分の周りにいるデータエンジニアは2次受け、3次受けの中小SIerから派遣されたSQLコーダーみたいな人達です。彼らはいくらでも替えが効きますし、とてもこんな仕事が高年収を得られるとは思えないです。

そもそもデータエンジニアってエンジニアなんですか？ものづくりしてないし、データ加工職人では？

Certified Business Analyst Professional (CBAP)をお持ちの方がいたら、応募時の要件クリアについてお聞きしたいです。

将来的なキャリアチャンスを増やす一環で取得検討してますが、下記応募要件を満たせてません。

周りに資格保有者が見当たらない場合、どうしたいいか、あわよくば聞けると助かります。

>>上司、クライアントまたはCBAP®資格保有者のいずれかによる2通の推薦状があること

ECサイトのサービス改善企画をする課におり、仮説を元にデータ分析を行うことがよくあります。(半分ジュニアデータアナリストに近い)

その上でTableauを使うことが多いのですが、どういう数字を取ってきてどのようなVizを作れば良いのかわからないことが往々にしてあります。

皆さんはどうやって実践的なTableauスキルを身につけましたか？参考にした書籍やサイト等あればご教示いただけますと幸いです。

▼現状の環境

① 周囲に相談できる人がいない

②KTという方が主催のData Saberという非公式のカリキュラムを合格したレベルの基礎力はあります

卒業できなくて詰むのか、やばい人材が大量流出するのか...どちらにせよどうしてこうなった...

https://twitter.com/Sankei_news/status/1744495760673325431

事業部でBusiness Analyst を5年ほどやっています。仕事の内容はデータ分析が多いのでData Analyst 寄りかもしれないです。

繁忙期になるとSQL書けない各管理職から「こういうデータない？出して！」という無計画な依頼をされることが多く、過去に出した数字や関連するプロジェクトで使われた数字との辻褄などケアしながら、期待値もコントロールしながら抽出することがあります。

しかし、その結果感謝はほとんどされず、またご自分の感覚と合わない結果を出すと、エビデンスなく「絶対間違ってる！」みたいな指摘をされることがあり、リスペクトが無いなと感じることが多いです。

データ出し=簡単なお仕事、のように思われてるのがあまり納得いかないんですが、どこもこういう感じなのでしょうか？特にSQLすら書けない職位の高い方に多い傾向がある気がしています。

周りのBA、BIE、DAに聞くと会社によるのかなという感じですが、みなさんのご意見をお聞かせください。

ちょっとパワハラな案件もあるので、告発するか転職するかは様子を見ています。

私はエンジニアなので、個人としては便利な道具が増えたなぁぐらいの気持ちなんですが、みなさんの周りでの変化はいかがですか？

顕著に感じるのは、これはとてもわかりやすいブレイクスルーなので、経営やビジネスのテックじゃない人のAIに対する熱量が上がったなと感じます…。

私のランキングはexpertです。(1銀1銅)

今開催中のLLMコンペに参加したいと思います。自然言語処理経験ある方一緒にやってみませんか。

ブームの割に(もうブームが去った説もありますが)、思ったより業界全体のヘッドカウント増えていない(横ばいぐらい？)な気がするのですが皆さんの感想はいかがですか？

マネジメント層があんまりデータ経営の必要性を内心では感じて無いんじゃないかなというのを想像しています。

社内で”母数”の誤用があると気になって仕方がないです。

うるさい人と思われないように、なるべく我慢するようにもしていますが、みなさんはどうでしょうか。

Google Optimizeが無くなり遅ればせながらどうしようか考えています。WebのA/Bテストツールは何を使ってますか？

おすすめや、使い勝手など教えていただけるとうれしいです。

数社でデータ基盤に関わったんですが、利用者の不満が大きい割にどの会社もうまくいってないのがメタデータ管理でした。

思うに、ドメイン知識などを持った人がナレッジを整備するインセンティブがあまり無いんですよね。純粋な利用者からすると不満の元なんですが…。

もしみなさんの所でうまくいっている例などありましたら施策のヒントなどを教えていただきたいです。

修士卒で機械学習系のR&Dに就職した新卒一年目です。

将来なるべく労働時間あたりの年収が高い企業 (e.g., 外資系企業) へと転職するために役立つ経験を今の職種で積むためにはどのような点を意識すべきか皆さんの意見を伺いたい、というのがこのスレの趣旨です。

転職候補の職種としては同じく機械学習系のR&D、MLエンジニア、サイエンティスト寄りのデータサイエンティストを考えています。

院にいた頃は愚直に良いカンファレンスを目指していれば良かったのですが、今のR&D職が開発色濃いめなので論文だけ書いていれば良いというわけでもない…ということを実感してきており、どのような方向に時間とエネルギーを使っていくべきかよくわからずにいます。

職歴3年未満のジュニアデータサイエンティストです。

最近転職しました。個人的には良い結果に終わったと思います。

データ系ポジションでステップアップのために転職するのは今回初めてで、面接に関する情報収集に苦労し不安がつきませんでした。とても辛かった。

その経験を踏まえ、同じような年次で転職を考えているデータアナリスト/サイエンティストの役に立てば良いなと思い、自分の経緯、面接で聞かれたことや対策した内容をシェアしようとスレを立てました。

そんなの当然知ってるわ役に立たんわという内容ばかりになるかもしれませんが、自分の備忘録がてら書きます

データサイエンティスト、データアナリスト、機械学習エンジニアの方に、お伺いしたいです。

みなさん、主にどのような分野の仕事をしていますでしょうか。

私はWeb系分析の仕事になります。

メガベンチャーでデータサイエンティストをやってます。

先日BCGのGAMMAというアナリティクスチームの記事を見ました。

https://www.axc.ne.jp/media/companyinterview/digitalbcg_gamma

BCG以外の戦略コンサルでもデータサイエンティストを採用しているケースが最近増えているのかな？と思います。

仕事内容は記事を見ていてなんとなくわかったのですが、ワークライフバランスや給与体系、Up or Outの文化はいわゆる戦略コンサルと似ているのでしょうか？もしくは戦略コンサルとは全く別物になるのでしょうか？

データサイエンティスト、データアナリスト、機械学習エンジニアの方にお伺いしたいのですが、所属部署は何でしょうか。

他の部署との関わりが重要と思いますが、どのような形でコミュニケーションを取るのかいいかという疑問があり、その辺りもお伺いしたいです。

私は、開発部門に所属するデータアナリストになります。

つかぬことをご相談しますが、テレコ系（三大キャリアなど）や製造業の企業（工場を持っているような企業）でのデータ活用方面で強いパートナーやSIerをご存知の方がいれば教えて頂けないでしょうか？

今2級で準1級は落ちました。みなさんどれくらい取得されていますか？

Microsoftの新しい統合データ分析基盤のMircosoft Fabricに搭載されたCopilot機能によりSQLやPythonが書けないビジネス側担当者がデータサイエンティストを使わずに自分で分析できるようになりました。

一般的にデータサイエンティストはビジネス側よりドメイン知識が劣るためビジネス側が自分で分析できるならその方が効率的なことも多いです。これからはドメイン知識に劣るデータサイエンティストは仕事がなくなるのでしょうか？

データ分析基盤でSQLを書いてくれるAIアシスタント機能はdatabricksも発表してますし、GoogleもDuet AIでBigQueryに必ずAIアシスタントを搭載します。

データサイエンティストはこれからどうやって生き残って行けば良いでしょうか？

https://build.microsoft.com/en-US/sessions/7744f376-a7b9-4fe6-b133-2753ba60b9b3?source=sessions

一世を風靡したオンプレHadoopですがみなさんの環境でまだ現役でしょうか？

一時期はデータ処理といえばHadoopクラスタを大変な思いをして用意するという仕事が必要でしたが、各種サービスの充実で無くても多くのことができるようになりました。

私もここ数年見なくなっていて、Hiveのクエリ流してゆっくりコーヒーを飲んでいた日々が懐かしいです(いまはすぐ結果が返ってきてしまう、笑)

クラスタを維持しているとHDD故障などがしょっちゅうあって、ノードの切り離しオペレーションをしていたのとか大変でしたね。

今はAuroraメインです。

そこそこ大きな会社で働いていると、データエンジニアのチームにも新卒の配属で、メンバーがジョインすることがあるかと思います。

自分はデータエンジニアというジョブタイトルで仕事をするようになってまだ数年で、その前は普通のWebアプリケーションの開発やインフラの仕事をしていたので、新卒データエンジニアという存在があんまりよくわかっていないところがあります。

いま新卒としてデータエンジニアの部署に入ってくるメンバーにはどういったOJTなどが適切でしょうか？

ぼんやり考えているのは、

- 一般的なSQLを使ったデータ分析のタスク

- Pythonで何かを作るようなタスク

- パブリッククラウドを使って何かしらつくるようなタスク

をOJTとして考えていますが、コメントいただけるとありがたいです。

データウェアハウスには何を使っていますか？今は100人未満の会社でBigQueryを使っています。

BIツールは様々ありますが、どんな規模で何を使っているか、理由もあわせて聞かせていただけるとうれしいです。

私のところは100人以下の小規模な会社で、コスト面とシンプルなことからRedashです。

サイエンティストやMLEの人は圧倒的Pythonだろうなと思いつつ、この前久しぶりにRがメインですって人に会ったので興味本位です。

もういうまでもなく、LLMが話題ですが、これによってMLエンジニア、データサイエンティストの働き方はどう変わっていくと思いますか？

SNSだと仕事がなくなるみたいな、極論が目立ちますが、個人的にはAutoMLが出てきても仕事はさほど減っていないし、新しい道具が増えたので、できることが広がって、仕事の幅もひろがっていくのでは？という結構ポジティブな気持ちで遊んでいます。

スタートアップでデータサイエンティストとして働き始めたばかりです。

データサイエンティストや、データサイエンティストの知り合いがいる方に伺いたいです。

弊社内のデータサイエンティストのキャリアパスとして、今のところプロジェクトマネージャーしか用意されておらず、PjMになりたいわけではないんだよな…ともやもやしています。

エンジニアでいうテックリード的なポジションを目指していきたい思っているのですが、そういったキャリアプランに進んでいる方はいらっしゃいますか？

弊社が一次受け・二次受けでDX案件を受ける会社ということもあり、顧客と折衝しながらプロジェクトを進めていける人間を増やしたいため、社員に対しPjMポジションを強く望んでいるという背景もあります。

自社でプロダクトやサービスを持っている事業会社のデータサイエンティストだと、また違ったキャリアプランがあったりするのでしょうか。