Minigpt-4

画像イメージを言語的に認識できちゃうすごいやつ。具体的には、詳細な画像説明の生成、手書きの原稿からのウェブサイト作成、与えられた画像からインスピレーションを得た物語や詩の作成、画像に示された問題の解決策の提供、料理写真に基づく料理方法の指導などが可能だけど、使い方次第では本当にいろんなことができそうな気がする。

無料

使ってみた

写真をセットして、それに対しての対話ができるって果たして何がすごいのか？と疑問もあるのですが、これって結構すごいこと！ 文字認識（英語）とかもさせてみたんだけどそれなりにできたし、写真を見せて聞いてみたらいろいろと話をしてくれた。嘘かなーって微妙なところもあったけど、無難な回答をしてくれてる。画像をGPTが食えるようになるということは、さらに学習が進むのかなーと想像を膨らませた今日でした。

ということで、弊社の商品である、grabshellを食わせてみたところです。

それっぽい回答してますが、形あるものにかんしては得意そうです。

次に試しに本の表紙を食わせて見ました。（たまたま、最近読んでいた本です）

これは何の本ですか？に対して、日本語の本です。ってのはないだろと思いつつ。こういうことも理解できるようになったらすごいのになぁと思いました。本を買って食わせたら、勝手に内容を説明してくれるみたいな。

将来性の可能性はすごく高いなと思いつつ。期待してます！

具体的なアウトプット

ビジネス利用として

• ビジネスの利用方法は少し考えたほうが良いかもしれませんが、画像認識して、それと対話する場面って何かありましたっけ？絵本を絵から作るとかそっち系しかまだ思いつかないですね。

一般利用として

• 絵からレシピとか作れたら面白いんですけどね。（そのうち味からレシピとか作れるんだろうな。。）