10000人以上のプロフェッショナルが集まるコミュニティに参加してディスカッションに参加しませんか?
無料サインアップでコンテンツにアクセスが可能になります。

AIのファクトチェック、どこまでしてますか?

ChatGPTなど生成AIのファクトチェックはどこまでしてますか?

チェックしている方、AIが間違っているケースは体感的に何割くらいですか?


今日、企業分析を数十社したくてChatGPTに聞いたら、ものすごい早さで返事をくれたのですが、念のためファクトチェックをしたら見事に間違いだらけで、こりゃダメだ…という結果でした。


具体的には、企業の売上高、利益率、主要事業と売上割合、社長の名前・経歴、前社長の名前などの公開データで、自分でサイトを見に行けばいいけど数が多くて手間なので、これAIに聞いたらまとめてくれるんじゃない?と思って使ってみました。

しかし、あまりにも間違っているので、これ以外のことも生成AIは間違ってるのかな…と不安になりました。



無料版と有料版で違う、ChatGPTとGeminiとClaudeでも違う、などがありましたら、コメントで教えてください!

(編集済み)
86
14

コメント

コメント一覧

AIを使うシーンとしては、情報を一方的にキャッチアップする時よりも、情報を渡して要約してもらうシーンが多いです🧐

情報得たい時は自力でググった方が早い感じします

私の聞き方が悪いのかもしれませんが笑


無償、有料版の違いは気になります!

(編集済み)
投稿者

情報を与えて要約というのは私もたまにやります。情報収集は使わない方が良さそうですね…

そのようなファクトデータ収集には全く使えないなというのが今のところの結論です。平気で一桁二桁違うものを出してきますし。ネットの公開情報を集めるだけなのに、何がそこまで悪さしてそうなってしまうのか、逆に聞きたいくらいです。

データを与えて分析させると優秀なんですけどね。

投稿者

やっぱりそうなんですね…。データ収集には使わず、データを与えて分析させるようにします!

投稿者さんが調べたいものであれば、Perplexity が向いていると思います。ネットの情報をまとめるのと、ソースを一緒に出してくれます。

+1

Perplexity Proを10日前に契約したばかりですが、最新の情報を調べたい時にかなり役立っています。

調べたらdeepseek のモデルを採用しているとのことですが、

大丈夫でしょうか、、、

ネットにある企業情報を調べる程度であれば問題ないかと思います。自社情報入れちゃうとアウトかも知れませんね。

クロードを使う設定にすると至高

そんな設定が!メモメモ

投稿者

ほー、ありがとうございます!参考になります!

ファクトチェックするのが面倒くさいので(するなら元から検索する)間違っても良いような内容だけ聞くようにしてます。

そしてすぐわかるレベルで間違ってることも多々ありますね。

聞きたくなるようなことはわりとマニアックなことが多くて、そのまま使おうとするとほぼ間違いを含んではいますが、雑に聞いて鍵になるキーワードを聞き出してそこから検索する、みたいな想定でいると、そこはわりと便利ですね。


いままでは、キーワードを取り出すまでに手当たり次第の検索をするフェーズ、というのがあったんですが、そこをかなり圧縮できている気はします。副作用として、手当たり次第のついでに入ってくる周辺知識は減ったかなあ、とも思いますが。

(編集済み)

職種的にソフトウェア開発の壁打ちが多いのでコード見れば間違いは気づくし、深掘り質問でも気づきますね。

世の中で騒がれるほどには、奴ら🤖はコード書けない😅

ベースコードとか小さなメソッド書いてもらうには助かりますけどね。

なので、使い所次第かなと。

コミュニティ
企業一覧
求人
給料