インフラとバックエンドエンジニアを10年ほどやった後に、5年ほどデータエンジニアをやってました。で、今はデータ関係なくPdMをやってます。

データエンジニアという仕事はスキマ産業みたいなものだなぁと思いながらやってました。結局のところ、SREとかがケイパビリティとしては職務遂行可能ですが、選任を当てないと進まないプロジェクトなので専任化しているというか。IT業界は結構こういう仕事が多いんですよね。

好きなら続けても良いと思いますが(Hadoop時代からの10年選手も居たりするので)、飽きてるのであれば隣接する他のジャンルに移って幅を広げるのもありだと思います。

自分はインフラエンジニア時代からHadoopを仕事で少し触ったりしていて、一旦専門でやってみるかと思ってDWH周りを5年やってましたが正直飽きてしまったので別ジャンルのバックエンドエンジニア兼PdMに異動しました。

データエンジニアもどきからSREを経て私も同じような考えに行き着きました

データエンジニアて技術的な面では結局既存のツールを繋げるGlueコーダー的な部分が多く、またプロジェクト推進という面ではデータ知識のあるPdmというソフトスキルもかなり求められるので、SWEとしてもPM方面としてもどっちつかずでロールとしての器用貧乏な印象が強いです

なのでより高給を狙うなら結局SWEかSRE専任になるか、逆にソフトスキルをあげてDHW詳しいおじさんみたくデータコンサルみたいになるしかないのかなぁと思ってます

また、HadoopもSparkもデータエンジニアが作ったのではなくデータエンジニアリングに詳しい研究者やSWEが作っているので本家本丸をやりたいならSWEか研究職をお勧めします

誤解のないように、やりがいや難しさがあるのは重々承知の上での認識です

自分にとってとても興味深いトピックでコメントせずにはいられませんでした。アドバイスできる立場にはないですが良かったら私にも悩みを書かせて下さい...

営業を10年経験したタイミングで育休を取得し、復帰したらSQLという言葉すら聞いたことがなかったのにデータエンジニアになってしまった者です。

2年間全く楽しく感じませんでしたがWLBが最高なので我慢して続けたところやっと楽しくなってきました。

投稿主さんやコメントされてる方と比較してできることが極端に少なく半人前な自分ですが、3年目を迎えた今

①データサイエンティストやビジネス部門の便利屋になってる感がある。

②大企業だからか？良くも悪くもネットワークのチームと分業されており、間に入って行う申請などが多く、役所チックな仕事が多く、地味。

と感じています。昨今のデータエンジニア需要の割にキャリアの安定性や市場価値の高さを感じられておらず、危機感があります。

子どもが小学校に上がるタイミングでデータエンジニアとして過ごした経験と営業で培った経験を掛け合わせたようなポジションにピボットしたいと思っていますが果たしてうまくいくかどうか...と悩んでます。とりあえず今はデータエンジニアとして、基礎的なスキルを得られるように頑張ろうと思います。

データ基盤運用って要は社内のデータ分析のサポートなので、究極的にはビジネス職なんですよね。JTCみたいに規模が大きいと、サイロ化がひどくて調整業務だらけになるのもまあ職種上仕方ないところですね。

SWEっぽい働き方が良いっていうのであればデータプロダクト（顧客からもらったデータをいい感じに加工したり、自分で収集したデータを販売する）がコア事業な小さめの会社に行ってみるのがいいんじゃないでしょうか。

データパイプラインのエラーがそのまま顧客に影響出るインシデントになるので技術的な要求がかなり高い印象です（ストレスも高そうですけど）。