Microsoftの新しい統合データ分析基盤のMircosoft Fabricに搭載されたCopilot機能によりSQLやPythonが書けないビジネス側担当者がデータサイエンティストを使わずに自分で分析できるようになりました。
一般的にデータサイエンティストはビジネス側よりドメイン知識が劣るためビジネス側が自分で分析できるならその方が効率的なことも多いです。これからはドメイン知識に劣るデータサイエンティストは仕事がなくなるのでしょうか？
データ分析基盤でSQLを書いてくれるAIアシスタント機能はdatabricksも発表してますし、GoogleもDuet AIでBigQueryに必ずAIアシスタントを搭載します。
データサイエンティストはこれからどうやって生き残って行けば良いでしょうか？
https://build.microsoft.com/en-US/sessions/7744f376-a7b9-4fe6-b133-2753ba60b9b3?source=sessions
結局この手のツールを使いこなすスキルも必要になってくるので、それを誰がやるかによって変わってくるのではないでしょうか？
会社によってはデータサイエンティスト的な人がこの手のツールを導入＆運用までカバーする場合、終了しないと思います。
おっしゃる通りだと思います。
ただその使いこなすためのハードルが極端に下がったのが現実だと思います。今Power BIやTabeauを使いこなしているビジネス担当者ならMicrosoft FabricでCopilotを使いこなし分析するのは簡単にできると思います。
MicrosoftがPower BIをFabribに統合したのはPower BIを使うビジネス担当者にCopilotを使いこなして分析までやって欲しいという意図があると思います。
貴方のおっしゃるとおり一般的にビジネス側はデータサイエンティストより分析能力に劣るためデータサイエンティスト側が自分でツールを使ったほうが効率的なことも多いんじゃないでしょうか？
それとも分析結果の妥当性の評価も行わずにAIの言う事を全て信じるのですか？
直感的には、データサイエンティストだからビジネスをやらない、ビジネス側だから統計やMLを学ばない、というような姿勢の人が淘汰されていくんじゃないですかね…
結局この手のツールが出てきたところで分析をやる時間が惜しくて人に渡す結果、データサイエンティストが使ってビジネス側はビジネス側で今まで通りの業務をやってる未来しか見えないという
どんな分析・モデリングをするか？
評価性能指標をどう設定するか？
ドメイン知識を踏まえてどんなデータを利用すべきか？
分析結果をどう解釈するか？特に統計的に間違った判断をしていないか？
あたりをカバーするデータサイエンティストはずっと必要だと思いますー
単純な集計やライブラリ使ったモデリングだけやる人たちはいらなくなるかもですね
何か新しいものが出てきても、その前からある存在が直ぐに終わった試しがない。NoSQLやHadoopが出てきてもRDBは終わってないし、Javaが出てきてもCOBOLは終わってない。ノーコードツールが出てきてもプログラマは終わってないし、クラウドで自動化が進んでも、インフラエンジニアは終わってない。
メディアに踊らされたり、実態を理解してないインフルエンサーとやらの虚言に踊らされるのは滑稽ですよ。真っ当にこの業界で仕事してれば、データサイエンティストがオワコンと言われても、またか、と感じるだけのいつもの事にすぎません
ノーコードもCopilotでさらに進化しましたよね。
これからは明確なビジネス要件を持つことの価値がより一層高まると思います。
データ分析基盤にAIアシスタントが導入されたことによってデータサイエンティストの敷居は著しく下がったと思います。これからはBIしか使えなかったビジネス担当者もデータサイエンティストです。
ビジネス側が旧来のデータサイエンティストに頼らず分析できなるなら、旧来のデータサイエンティストはより高い価値を求められるのでCopilotをより一層使いこなすスキルが求められそうですね。
どんなツールが登場しても施策実行者以外の人間が分析した方がいいと考えているので、呼称の変遷はあれど分析屋的なポジションは無くならないかな、と楽観視しています。統計修士です、みたいなステークホルダー出てきたらお手上げですが……。
現状exploratory？ってツールなどでも簡単に機械学習や基礎的な分析手法は網羅できていたはずですし、最終的にはどう解釈するかとなってくるのでブラックボックスのままにしない専門的な知識を持っている人間は必要だと思います。
個人的にはスーパーつよつよAIが世界一だるいデータの前処理を完璧に行ってくれるのであれば大歓迎です。感涙に咽び泣きます。
おっしゃる通りだと思います。
CopilotはSynapse Data Engineeringを使ったデータエンジニアリングでも使えるようですが、だるい前処理を完璧にこなしてくれるかは使い手のプロント次第な気もしますね。まだプロントを試行錯誤する仕事は残ってますね。
数字だけでやれる事は限られており、何らかの手掛かりを境界条件として用いる必要が有る
その手掛かりは役に立たないだろうと思い込んでなかなか出て来ない事が多々有る
そこを引き出し、数字に落とし込む事までは幾らLLMが発達しても今しばらくは難しい
当たり前と思って表になかなか出て来ないという事は学習データにもなりにくいし
又、何を以て良い解析結果とするかといった評価指標の決め方も、その時々で異なる
例えば、車の自動ブレーキと工場の不良品検出とでは、良いとされる判断基準が大きく異なる
これまたLLMで全自動で判断させるのも今しばらくは難しい
その意味では、誰かがそれらのロジックをLLMに教え込ませる迄は、ロジックを理解して使いこなすといったデータサイエンティストのスキルは必要になるのでは