みなさま生成AIどのように仕事に使ってますか？上手く使えてますか？
現在、生成AIでwebの情報からある事柄について採点をさせ、その情報を元に示唆を出し論文を書くという仕事をしています。
生成AIで情報を集める、というところまでは良いのですが、肝心の採点について入力都度に判断基準が変わっているように見え、同じ内容でもプロンプトを入力ごとに点数が変わります。
使ってるサービスはPerplexityで何回も試行錯誤し、プロンプトは相当細かく書いています。
ChatGPTやGeminiより精度は高い気がしてますが、限界があります。。。
まだまだ安定した採点と論理的根拠が出てこず、企業の重要な意思決定をさせるには相当程度人の介入が必要だなと考えてます。
これなら全部自分で採点やった方が早かったのでは？と思ってしまいます。
愚痴失礼しました！日々生成AIと上手く付き合ってる方どのように使ってるか教えてください！！
情報収集にgensparkやfelo
情報整理や文章作成にはclaudeを使用しています。
投稿主さんと同じく、ある事柄を評価する場面に弱いと感じます。
聞き方の問題かもしれませんが、こういう見方もあるよね？と尋ねると額面通り受け取ってしまったり、、、
一時期流行った、エヴァのMAGIシステムを模した方法(「ChatGPT」「Claude」「Gemini」など異なる3つのAIを使って、議論させてみたり)を試してみたりすると単体で使うよりは結論が安定したりしますが、まだ改善の余地ありですね。。。
> 生成AIでwebの情報からある事柄について採点をさせ、その情報を元に示唆を出し論文を書くという仕事
ど、どんな仕事なんですか…
示唆を出して論文を書くところはさすがに人がやるのでしょうか？
RAG相当になると思いますが、前提となるような情報を丁寧に与えないとなかなか一般論以外は難しいなという印象ですね。
ありがとうございます、データ収集だけでなくある一定の事柄に対して正しい判断をさせるにはやっぱりRAGにしないとダメですよね。。。
GenAIに関するマーケティング論文を書いてるので、この論文もね、生成AIで爆速で書いたんすよ！ってのを打ち出したかったんですが、爆速というのは嘘になりそうです。。。（ ; ; ）
社内ツールとしてGleanとChatGPTが組み合わさったことにより、社内情報収集が格段に楽になりました。「xxx（プロダクト名）のバグ報告先を探して」とか「xxx（データテーブルのフィールド名）の定義を教えて」とか、高頻度で頼ってます。
あとは、恥ずかしながらデータ処理スキルがまだまだ未熟なため、ChatGPT先生にスプレッドシートの関数を書いてもらったり、SQLのエラーの解消方法を教えてもらったりしています。
ちょっと面倒なのですが複数の生成AIを使用し、競わせると精度が上がります。Claudeにお前の書いた文章他の生成AIに採点させたら60点やったで、と言うと頑張ってくれます。
精度の均一化とは少々違いますが、、、