巷ではデータエンジニアの需要が近年増えてるけど、どこにもいないから高い年収を払ってでも雇いたい状況らしいですが全く実感がないです。
自分の周りにいるデータエンジニアは2次受け、3次受けの中小SIerから派遣されたSQLコーダーみたいな人達です。彼らはいくらでも替えが効きますし、とてもこんな仕事が高年収を得られるとは思えないです。
そもそもデータエンジニアってエンジニアなんですか？ものづくりしてないし、データ加工職人では？
(編集済み)
13
巷ではデータエンジニアの需要が近年増えてるけど、どこにもいないから高い年収を払ってでも雇いたい状況らしいですが全く実感がないです。
自分の周りにいるデータエンジニアは2次受け、3次受けの中小SIerから派遣されたSQLコーダーみたいな人達です。彼らはいくらでも替えが効きますし、とてもこんな仕事が高年収を得られるとは思えないです。
そもそもデータエンジニアってエンジニアなんですか？ものづくりしてないし、データ加工職人では？
ご指摘の通りかと思います。SQLコーダーとデータエンジニアではスキルセットに大きな違いがあります。データエンジニアは、SQL以外にPython, pyspark, Airflowなどのワークフローツール、コンテナ、AWSなどのクラウドインフラも操れることが最低限になっているかと思います。
日本ではデータ利活用が進んでいるメガベンやスタートアップと、ほとんど進んでないJTCでは状況が違いすぎてると思うのですよね。JTCではデータエンジニアが活躍できる職場はほとんどない一方、メガベンなどではデータエンジニアが足りないほどの状況になっているという。
下記のイメージですかね。データサイエンティストとデータエンジニアの区別がついてない、業界外の方の発言かと推察します。
データエンジニア < データアナリスト < データサイエンティスト
データサイエンティストになりたがる人が増える一方でそのデータを準備する人材が不足している文脈で話されている話題ですね
ETL を正しく理解してデータを準備するエンジニアの需要は高いような気がします。
貴方の周りにいる方のレベルが低く感じるのは、既に整った データ基盤環境が存在しており運用のフェーズになっているからではないでしょうか
0 からデータ基盤を構築しようとなると、いくらでも替えがきく等とは言えない人材が要求されるように感じます。
IT業界だいたいそうですが、需要があるけど供給が少ないポジションというのはいくつかあって、単にその1つだなと感じています。
高給かは疑問がありますが、笑
シニアのSREとかと似てるかもです。
総合格闘技みたいなところがあるんですが、ニッチなので育成される場が少なくて市場にもさほど居ないんだろうなと感じます。
あと、どのジョブでもそうですがピンからキリまでデータエンジニアと呼ばれる状態で、あんまりこの名前に愛着はなく、単にソフトウェアエンジニアの一亜種だと自分は捉えています。なので、本質的にはただのソフトウェアエンジニアですね。
現役のデータエンジニアさんのご意見ありがとうございます！私はこれからデータエンジニアで食べていくつもりなのですが、日本でのデータエンジニアの評価に疑問を感じてました。
米国ではデータエンジニアは高給と聞いています。おっしゃる通りで求められる技術スタックの幅広さはフルスタックエンジニアと呼べるくらい幅広いのに、いまいち日本では存在価値が理解されにくいロールになっていると思います。
データエンジニアの絶対数は少ないので希少価値は高いですよね。自己学習は難しいですし、現場で経験するしかないところも数が少ない理由かと思います。とにかく日本の大手企業のデータ利活用が今よりさらに進んでデータエンジニアの裾野が広がって欲しいです。
・システムが収集する大量のデータをほぼリアルタイムで処理して別のシステムに連携したい
・SalesやBizDevの人もデータ分析できる環境を作りたい
など、やりたいことが高度化している一方でやったことある人が少ないという、他のIT職種でも共通の現象が起きていますね。SQLコーダーやエントリーポジションは生成AIに喰われてなくなりそう、というのも同じ傾向です。
データサイエンティストほど素人にも分かるような成果が出せる職種ではないので、大きなブームにはならないでしょうが、シニア層への需要は静かに増えていくでしょうし、私もこの領域でしばらく楽しんでみるつもりです。
なおNetflixのSenior Data Engineerポジションは$170,000 - $720,000だそうです。なかなか夢がありますね。
ありがとうございます。データ利活用が進んだ先進的な企業ではストリーミングデータをリアルタイム処理するニーズは当たり前のようにある一方で、私が仕事で関わっている日系大手企業ではデータ活用が始まってすらいない状況でその差は開く一方ですね。
技術の高度化により先進企業で求められるスキルを持つ人が少ないために、高給になっていく傾向がある職種かと思いました。
JTC目線では「データ加工職人」はあるのかもなぁと思います
大量のデータがあるはず！と思いきやいまだに基盤すら無い企業も然もありなんですよね(想像ですが)
営業からデータエンジニアに異動になりました。
異動してから数ヶ月経ちましたが、
・データ基盤はほぼ整っており、大規模な構築はない。
・タスクはほぼチケットで上がってくるもののみ対応
・(寝てる人も多く、暇な時間が多すぎる)
という感じで当方、めちゃくちゃ士気が下がっております。
例えば、「徹底的に学べる環境で今から技術を極めて外資系テック企業に転職が可能で、給与が1500万になる！」とかっていう未来が描けるのであれば頑張りたいですが、そんなスキルはこの環境の中では得られないと思い、営業に戻るべく、転職活動中です。(これはデータエンジニアがいけないのではなく私の職場がいけないだけですが...)
データ構築を0からやってそれを維持し、ガシガシ毎日手を動かす環境じゃないとIT業界で通用するデータエンジニアにはなれないだろうなと素人の肌感覚で感じています。
データエンジニアといえど、パッと考えただけでも下記くらい種類がありますね。
どれくらい上流の仕事までやれるかで価値は変わってきます。
巷でもてはやされている（そして代替可能である）データエンジニアは一番上の印象です。
・［作業者］指示されたデータを既存基盤から抽出するのみ
・［エンジニア］取るべきKPIを元にログ出力計画を立て、集計を実施し、KPIを事業に届けること
・［テックリード1］分析基盤の設計から構築まで
・［テックリード2］分析手法に精通しており、事業のニーズに応えてデータから考察を取り出す
・［事業責任者視点］プロダクトの重視すべき指標を策定し事業計画に活かす