GeminiはYouTubeすら読めない──ハルシネーションで7回嘘をつかれた話

とうとう始まりました、VALORANTマスターズサンティアゴ。

日本チームの出場はないけど、パシフィックからはT1・Paper Rex・Nongshim RedForceの3チームが出ている。
個人的推しのPRXが推しの試合はリアルタイムで追ってた。方正君強いよ方正君。somethingはまだ寝てるだけだもんね。

ただ、サンティアゴともなると地球の反対側。つまり深夜帯の放送をずっと見続けるのはしんどい。

「YouTube動画を要約させれば早くね」と思った

配信が終わった後でも動画は残る。

URLをGeminiに貼って「結果教えて」で済むならそれが一番楽じゃんと思った。

実際にやってみたら──7回連続で嘘をつかれた。

返ってきた内容の一部がこれ。

– 架空のVALORANTコンペティティブの試合(スコア付き)
– ストリートファイター6の配信
– ストグラ(GTAロールプレイ)の配信
– またVALORANTに戻る

「は?」と返すたびに謝罪して、また別の嘘が返ってくる。

最終的には「すみません、動画を読み取れていませんでした」と白旗を上げてきた。

原因はGeminiの実行モード

使っていたのが高速モード。

これをProモードに切り替えると、同じURLで試合内容をある程度読み取れて、どっちが勝ったかを正しく回答してくれた。

高速モードね、適当な調べものの時は早くていいんですけどね。

同じGoogleのサービスでもこうなる

GeminiとYouTubeは同じGoogleのエコシステム。

シームレスに連携できるのが強みのはずなのに、高速モードだとそのアクセスが十分に機能しない。動画の内容を読みに行かず、それっぽい内容を生成して返してくる。

しかも謝りながら7回。

AIに情報を任せるなら実行モードを意識する

速さを優先した軽量モデルはハルシネーションが起きやすい。
高精度モデルは処理が遅くコストもかかるが、正確さは段違い。

「AIが答えてくれた」だけで信用するのは危ない。
使っているモデルが何かをちゃんと把握しておく必要がある。

今回の一件で一番印象に残ったのは、謝罪しながら嘘を重ねるという動作。

「わかりません」と最初から言えた方がまだ信用できる。

まぁ、とりあえず、PRXWIN。

コメント

タイトルとURLをコピーしました