一世を風靡したオンプレHadoopですがみなさんの環境でまだ現役でしょうか?
一時期はデータ処理といえばHadoopクラスタを大変な思いをして用意するという仕事が必要でしたが、各種サービスの充実で無くても多くのことができるようになりました。
私もここ数年見なくなっていて、Hiveのクエリ流してゆっくりコーヒーを飲んでいた日々が懐かしいです(いまはすぐ結果が返ってきてしまう、笑)
クラスタを維持しているとHDD故障などがしょっちゅうあって、ノードの切り離しオペレーションをしていたのとか大変でしたね。
オンプレHadoop現役で使ってます。
別部署の方が管理してるので自身はユーザなのですが、結構な頻度でノードの取り替えとかネームノードの障害があって、管理者としては大変そうだな(ユーザとしてはもっと安定してほしい)と思います。
昔Hadoopってよく聞くなぁ、勉強しないといけないんかな、と思いながら使う機会は無く、数年後に別プロジェクトでbigqueryやredshiftを経験した後に、「今はHadoopが担っていた領域をbigqueryが担っている」いと言われて、そうだったのか!と思った事があります。信頼できる人から聞いたので多分信頼できると思うんですが、そういう感じなんですかね?
そうですね。データ分析はBigQueryなどを使うことが多くなりましたねー。
宗教的な理由でawsやgcpを使いづらい会社はオンプレHadoop使ってる所あると思います
JTC なら使っているところ結構あると思う。活用できているかは別として
この前たまたま外資のマイグレーション事例を見かけて、まだ使ってるところあるのかなーと思って聞いてみました!
某通信事業者はまだ現役で使ってますね。
システム更改の話が来て、おおお!ってなりました笑
弊社は割とまだ現役ですね…
BQに一部移管されたとはいえ分析環境としてはゴリゴリに使われてます