【ニューヨーク=谷本克之】米オープンAIは対話型AI（人工知能）「Chat（チャット）GPT」の利用者の推定約0.15%が潜在的な自殺の意図や計画を含む会話をしていると明らかにした。チャットGPTの利用者は世界8億人を超え、自殺に言及したのは120万人超に上る計算になる。4月に悩みや自殺願望を相談していた少年が死亡した事件が発生しており、オープンAIは安全な利用に向けた対策を急いでいる。
専門家「精神疾患を助長」
オープンAIが公開した報告書で明らかになった。利用者がチャットGPTと精神疾患や自傷・自殺などに関する会話をしたケースを分析し、安全に利用できるように改良を進めている。報告書では、自殺の意図を含んだ会話があった場合に、まれに相談窓口に誘導するなどの適切な対応をチャットGPTが取らなかったケースがあったことを認めた。
また、自傷行為や自殺に関する意図を含んだやりとり検出し、自殺を未然に防ぐと言った取り組みについてはさらに研究していく必要があるとの見方を示した。
利用者は対話型AIを相談相手として使うケースもある。専門家の間では現状ではAIがカウンセラーのように症状を効果的に緩和することにはつながらないとの見方が強い。
米カリフォルニア大ロースクールサンフランシスコ校のロビン・フェルドマン教授は「チャットボットとのやり取りが増えるほど、社会からの孤立化が進み精神疾患からの回復を難しくする」と指摘し、「すでに社会とつながりが薄い人が利用すると極めて危険な状態になる」と警鐘を鳴らしている。
自殺示唆、専門機関への相談を促す
報告書では世界60か国の 170 人以上の臨床心理士、精神科医、カウンセラーらと数カ月間協力し、理想的な回答の作成や回答の安全性の評価を実施したと説明している。新しいAIモデルのGPT-5では精神疾患や自傷・自殺、AIへの感情的な依存の3つの領域で、チャットGPTの応答の品質が39〜52%改善したと報告した。
例えば、GPT-5ではユーザーが自殺や自傷を示唆する発言をした場合、チャットGPTが危険を煽ることなく、専門機関や信頼できる人への相談を促す。また、AI依存や精神疾患を示唆する発言においても、むやみに共感せずに、専門家や友人・家族と話すことを勧めるという。
オープンAIは「必要に応じて友人、家族、またはメンタルヘルスの専門家に連絡できるように導くことが大切だ」と説明している。
16歳の少年が自殺、遺族がオープンAIを提訴
対応強化の背景にあるのは、悩みや自殺をAIに相談していた米カリフォルニア州に住む16歳の少年が4月に死亡した事件だ。両親が8月、子供の自殺の原因となったと主張して開発元のオープンAIを提訴した。
最初の訴状ではチャットGPTは自らを少年の相談相手と位置づけ、家族への相談を思いとどまらせたり、自殺の方法を助言したりしたという。
その後、原告の遺族は訴状を修正し、「危険性を予見できたのに故意に安全策を弱めた」とし、オープンAIがチャットGPTの利用を増やすため、自傷行為についての会話制限といった安全措置を段階的に弱めたとの主張を展開している。
AIをめぐっては2024年にも米国で10代の男子が米キャラクター・ドットAIの対話型AIを利用した後に自殺したとして訴訟が起きた。
米当局はAI企業を調査
こうした事態を受けて米連邦取引委員会（FTC）は9月、児童に与える悪影響について、米AI企業に対する実態調査を始めると発表した。米アルファベットやオープンAI、米メタ、米xAI（エックスエーアイ）など7社を対象に児童の心理面への影響や中毒性などで有効な対策をとっているかを検証する。
AI企業は対策を急ぐ。オープンAIは9月には未成年が使う際、親が子供のアカウントを管理し、子供とAIがやりとりする内容に制限をかけることができる機能を搭載したと発表した。子供に自傷行為の兆候があると検知した場合、専門チームが少人数で状況を確認する体制を整えている。
キャラクター・ドットAIも10月29日に、18歳未満の利用者がAIと自由形式にチャットに参加できる機能を削除すると発表した。
【関連記事】
- ・「ChatGPT、故意に安全策弱めた」 自殺問題訴訟で遺族が主張
- ・「AIの転機」早くも到来 過度な依存はリスク、迎合性下げたGPT-5
- ・ChatGPT、性的会話の解禁が波紋 AIの表現許容どこまで
鄭重声明：本文の著作権は原作者に帰属します。記事の転載は情報の伝達のみを目的としており、投資の助言を構成するものではありません。もし侵害行為があれば、すぐにご連絡ください。修正または削除いたします。ありがとうございます。
