ChatGPT、サイレントナーフされて前よりアホになっていることが判明
ついにChatGPTにも「9割」が発見されたらしい pic.twitter.com/oSeoIxpz2r
— おいじご (@kusaikundade) July 15, 2023
ChatGPT が全然使えないと苦言を呈する人、使い方を間違っているか、プロンプトをチューニングするスキルが低いか、そもそも期待値が高すぎるかのどれかだと思う。適切に問いを投げればそれなりにやる子よ？
— knockout_ (@knockout_) June 4, 2023
ChatGPTに「アホを治すにはどうしたらいいですか」とし質問したら「そういった差別的な言葉は」といいかけてなぜかエラーに。
ブスとかバカとか、ネガティブな言葉は自虐として使ったとしても自他ともにコミュニケーションにストレスを与えるものだということを表現しているのかも— 樋口かおる(ねこの本) (@higshabby) July 15, 2023
AIさん、一旦アホになってるのか
そういう事もあるんだな— アクセラレータ@「AI力本願」シンギュラリティを待つ民 (@accelerator2045) July 19, 2023
「ChatGPTの性能は以前より低下しているのでは？」
かなりのユーザーが感じていたこの減少について，実際に検証した研究が公開されました．https://t.co/ZSvj3qgnDW
結論は「想像以上にものすごく下がっている」で,GPT-4はコード生成や質問解答の一部タスクで10分の１以下の性能という衝撃の結果です pic.twitter.com/xBX8Q52exw— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 19, 2023
サイレントナーフをやめろ
— Torishima@アマ驚き屋 (@izutorishima) July 19, 2023
AIが好き勝手にサイレントナーフされる現実で、AIプロダクトなんか開発できるわけが無～い。昨日できてた事が今日出来なくなるのではなあ！（まあ日付付けてモデル名指定すれば新モデル出てもしばらくは旧モデル使えるけど）
— うみゆき@AI研究 (@umiyuki_ai) July 19, 2023
もっとも，この論文で取り上げられているタスクは，いろいろと考えられるタスクの一部であり，単に性能が下がったタスクが強調されているという可能性もあります．OpenAIの公式発言では，「性能はむしろ上がっている」ということなので，論文内のようなタスク性能を犠牲にして別のものは上がっている可…
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 19, 2023
GPT-3.5に関しては，性能が上がっているタスクもあったようです．GPT-4は，非公開情報のアーキテクチャやインフラを考えると，サービス提供が追いつかなくなって，当初より小型のモデルを使っている可能性
それか，セーフティのためのチューニングをやりすぎたか— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 19, 2023
最近、ChatGPTの回答のクオリティが落ちているという評判があり、その原因は生成AIが書いたテキストがウェブに溢れ、そこから学習したせいで回答の整合性と品質が落ちるというフィードバックループ（「AIカニバリズム」）に陥っているせいではないか、という推測。https://t.co/wxLLQqq1m3
— Minao Kukita 久木田水生 (@minaokukita) July 16, 2023
AIが吐き出した文章を再学習してダメになっていくの、確かにカニバリズムからのクールー病のような感じはする
— MOSSAN MOTORS (@RomeoMike602HQ) July 19, 2023
GPT-4はコストダウンのためにアーキテクチャレベルでまるきり中身変わってるって説もあるよなあ。そんなに変えるんだったらモデルナンバー変えろや。まあサム氏が「GPT-5なんて作ってませ～ん」って言っちゃったから一生GPT-4のマイナーチェンジって言い張って乗り切るのかもしれない。GPT-4-Ⅱとかね
— うみゆき@AI研究 (@umiyuki_ai) July 19, 2023
OpenAIの立場に立って考えると、最初だけ賢いけど危険なバージョンのAIを公開して、論文でスペック紹介して、みんなから「すげー！」って注目を浴びた後は、こっそりバカだけど安全なモデルに差し替えてトラブルを封殺するってムーブはリスクの最小化とリターンの最大化の点で理に適ってる。ぜんぶ憶測…
— うみゆき@AI研究 (@umiyuki_ai) July 19, 2023
”賢いけど危険”というより、”賢いから危険”と言ってしまえるかもね。だから安全性上げようとするとバカになるじゃん。サム氏もGPT-4出したらあんだけ世界で物議をかもすとは思わなかったんじゃないの。公聴会とか呼び付けられて怒られるしよお。「だったらバカにしてやるよ！これで満足か！？」と思っ…
— うみゆき@AI研究 (@umiyuki_ai) July 19, 2023
賢ければ賢いほど危険になるのは間違いないけど、それこみで賢くすることへのベネフィットがでかいだろ
— Torishima@アマ驚き屋 (@izutorishima) July 19, 2023
