裁判所システム、期待値を劇的に下げた後、幻覚AIシステムは展開準備完了と発表 |フランク・ランディモア、フューチャリズム 法的分野でAIの活用は、贈り物を絶えず与え続けるものです。 今回は、アラスカの裁判所システム向けにAIチャットボットを開発していたチームが実際にテストし、それが幻覚的な災害であることが判明したことで、胸が引き締まった失望感が訪れたとNBCニュースが報じています。 このチャットボットは「アラスカ・バーチャルアシスタント」と呼ばれ、遺言検認(死亡後の所持品の移転)に関する書類やその他の手続きを人々が扱うのを支援するために設計されました。 予想通りの展開として、愛する人を失った人々にすでに頭痛の種となるプロセスを効率化するどころか、AIは簡単な質問をミスし、多くのユーザーを支えているどころか苛立たしいと感じさせました。 大規模な言語モデルに共通する欠陥を示すこの名高いバーチャルアシスタントは、開発に関わった関係者によると、幻覚を見たり事実を捏造したり、誇張された情報を共有したりし続けていたという。 「どんなモデルであっても、チャットボットは知識ベース以外のものを実際に使ってはいけない幻覚に悩まされました」と、全米州裁判所センター(NCSC)のコンサルタント、オーブリー・ソウザはNBCニュースに語りました。「例えば、『どこで法的支援を得ればいいですか?』と尋ねると、『アラスカに法科大学院があります』と答えてくれました。 そして、同窓会ネットワークを見てください。』でもアラスカには法科大学院はない。」 そして、それを役に立つどころか、テストした多くの人は非常に耳障りだと感じていました。このボットは、予想通り、ほとんどのチャットボットに共通する性格の欠点を抱えていました。すなわち、あまりにもおべっかしすぎで甘ったるく、共感を装い、単に本題に入るのではなく、挨拶ばかりしてくるという点です。 「ユーザーテストでみんなが『私の周りの人たちからお悔やみを言われるのはもううんざりだ』と言われました」とソウザは語りました。「つまり、そういったお悔やみは基本的に削除したわ。AIチャットボットならもう一つ必要ないからね。」 AIの法的ツールを作る会社LawDroidを経営する弁護士トム・マーティンと共同で作られたAVA AIは、Souzaによれば「3か月のプロジェクト」のはずだったにもかかわらず、1年以上も開発地獄に陥っています。期待値を下げ、ひどい欠陥を確実に修正した後、AVAチームはついに1月下旬の一般公開に向けて準備ができたと発表しました。 「このプロジェクトでは目標を少し変えました」と、アラスカ裁判所システムの管理ディレクターでありAVAプロジェクトリーダーのステイシー・マーズはNBCニュースに語りました。「セルフヘルプセンターの人間のファシリテーターが人々と共有できるものを再現したかったのです。しかし、いくつかの不正確さや不完全さの問題があるため、ボットがその方法で動作できるかは自信がありません。」 「これをやるのは非常に労力が多かった」とマーズは付け加えた。「生成AIに関する話題や、これが自助を革命的に変え、裁判所へのアクセスを民主化すると言う人が多いにもかかわらず。」