ここしばらく慧仕(Huìshì)を作っています。
Huishiは「キャラクタとRAGを持った汎用AIアシスタントフレームワーク」として作っています。 そして、その原型は前に作っていた"CatchUp"です。
それまで「会計システム」みたいなエントリ並んでいて、いきなりAIエージェントの話ですから、知らない人は不思議に思うかも知れません。 私の背景の話はさておき、実はそれほど難しいわけではないので軽率に作り始めたのですが、今日はこの実はそれほど難しいわけではないという話をします。
「慧仕(Huìshì)」は「キャラクタとRAGを持った汎用AIアシスタントフレームワーク」です。
今のところ表に見えるのはショボいチャット画面ですが、cliを充実させたりフレームワークとして使いやすくなるような改良をしています。 まぁ、何をどのようにさせるかは、「頑張ってね」って感じですけど。
元々の応用の目的から「キャラクタ」は大事だと思っているので実験をしてみました。
「慧仕(Huìshì)」の基本アイディアについては前に書きました。
あれからずっとコードを書いていて、「知能エンジン」としてはそこそこ動くようになったので、今はUIをもうちょっとマシなものにしています。
「慧仕(Huìshì)」というAIエージェントフレームワークを作っています。
Huishi(以下この記法にします)の詳細についてはまたそのうち書くとして、これで使っている「思考構造」について公開したいと思います。 これは、世の中にある様々なAIエージェントを調べていて、類似の構造のものがなかったからです。
「なかった」理由はよくわかりません。有効でないと考えられているのか、そこに考えが至らなかったのか、その辺はよくわかりません。 とは言え、「なかった」のは事実なので、文章にまとめて公開して公知にしておきます。 そうすれば、少なくとも私が使えないことはないからです。
おごちゃん
弊社でもコーディングにAIを活用するようになりました。
まだ完全自動コーディングは「おもちゃ」の域を出てないと言うか、それ以上の使い方をするにはコストがかかり過ぎるという感じがあるので、あくまでも「補助」としてしか活用していません。 まぁ、たまにホームラン級の効率を叩き出してくれることがあるので、ある種の期待がありますし、使ってみたりしてますけどね。でも、主には「補助」です。
あくまで「補助」として使っていても、以前と比較すれば効率は爆上がりです。 そうなると… さてどうしましょうかというのが、このエントリの主題です。
直接弊社の話そのものではないのですが、RK3588のNPUのオープンソースドライバがLinuxメインラインに入るかも？ とゆー期待を持たせてくれるニュースがありました。
Rockchip Open-Source NPU Driver “RKNN” Continues Making Progress
みなさんGWしてますか？ 私はCatchUp(RSSリーダのことです)を強化するのが楽しくなって色々やっています。
AI agentの要領がわかって来たので、どんな構成にするとかどんなプロンプトにするとかやっていると、完全にハマってしまいますね。
というわけで、公開してから
とかを強化してしまいました。
相変わらず(ry
なのですが、会社でも家でもやり続けていていろいろストレスになったので、家では他のことをやろうと思って、前々から欲しかったRSSリーダを作ってみました。
いまさらわざわざ作るのですから、当然ながら「人工知能搭載」です。
人工知能にまたブームが来て、今度は本物っぽいなと感じています。
前回のブーム(人工知能学会が出来た頃)に人工知能という名のついた部署の仕事をしていたことや、深層理解がやりたくて留学とか考えてたことを思うと、「いよいよ時代がやって来た」という感じがします。
とは言え、いろんな事情から出遅れてしまって、指をくわえて見てるだけ… の時代が長くなってしまいました。
それはそれで残念なことなのですが、お陰で見えて来たことがあって、それが表題のことです。
ローカルLLMの商談があったので、表題のものを調べてみました。
今まで、量子化ビット数による違いは「トークン間違い」くらいしか気にしてなかったのですが、結構結果が違うようです。
ごちゃごちゃ書かないで、結果とそこへのツッコミだけ出しておきます。
最近、「AI驚き屋」みたいなことばかりやってて申し訳ないような気持ちになってます。
基本的には試してみたもののうち「本気で驚いたもの」だけ驚いてるつもりですが、しばらく色々試さないでいると結構本気で驚きます。
というところで、表題のもので驚いたので書いておきます。
