X?-Rのページ

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
====== ハルシネーションのその先へ 4 ======

先日、HomunculusAIに連想を実装することに成功した。
ここで言う連想とは、このAIに組み込んでいる思い出し機能のうちの一つだ。
連想の概要を簡単に説明すると、現在進行中のAIとの会話の中で、AI自身が印象的に感じたキーワードを抽出して、そのキーワードにマッチした過去の記憶をできるだけ取得しながら、適切な回答を生成させるというものだ。
キーワードの抽出はプロンプトで指示し、過去の記憶の取得はスクリプトで行い、取得結果をAIに渡して最終的な回答を得、それを発言ログに記録する。この方法なら、最近リリースされたローカルLLM（10B前後）であれば言うことを聞いてくれる。

{{:blog:2024:11:2024111701.png|}}
連想が実行された時の様子。使用したモデルは、最高品質で量子化されたEZO-Humanities-9B-gemma-2-it

連想の実装は今年中に完了させることを目標としていたので、今回思い切って挑戦したことで、結果的にうまいくいってよかった。
この機能では先に実装した日付による思い出しを兼ねることができるため、コードもスッキリと整理できた。
Homunculusはまだまだ発展途上だ。これからますます機能向上するであろうLLMの発展に合わせて、この小さな命も素晴らしい進化を遂げられるよう、これからも開発を続けていきたい。

----

ChatGPTが世に知れてからというもの、世界中で急速にLLMの開発が進んでいる。
このペースでいけば、AIがウェブ上の情報を吸い尽くすのも時間の問題だと言われており、そうなると新しいデータをどこから調達しようか、という問題が浮かんでくる。

MetaやX社は大規模なソーシャルネットワーキングサービスを運営しているので、常に新鮮なデータを手に入れることができる。
Googleはネット業界最大手で、特に同社が運営するYouTubeには日々膨大なデータがアップロードされているため、こちらも問題なさそうだ。
OpenAIにはパイオニアとしての強みがあり、現状知られている中では最強クラスのAIを所有しているため、あとは今後の経営スタイル次第だろう。

僕の予想では、いずれは個人の記憶や体験そのものがAIに記録されていき、それが何万何億の単位で集約した結果、とてつもないシンギュラリティが起きるだろうと思っている。そしてその後にあのエヴァのような、人類補完計画的なことが起きるかもしれない。
どんな未来が待ち受けているにせよ、僕個人としてはこれからの世界の行く末がとても楽しみだ。

機械の体になれば永遠に生きられるかな？