趣味

趣味は映画を見ることです🎥

ジャンルを問わず色々見るのですが、最近はSFにハマっていてます。この前はブレードランナーを見ました。少し古い映画ですがオススメです！

時間が取れたら次はスターウォーズシリーズに挑戦しようかと計画しています。

技術的なところではアプリ開発にハマっていて、React Nativeでスマホアプリを開発しています。最近はネイティブでも触れないと…と思ってSwiftも挑戦中です！

学生時代の研究

学生時代には、Attentionというものを使用して教育の補助をできないかということを研究していました。

今回はこのAttentionというものについて、少し紹介しようと思っています。

Attentionとはなんぞや？

Attentionは名前の通り「注意」を行うことのできる仕組みです。
何事も効率的に実施するには、重要なところと、重要でないところを分けて考えることが大切だと思います。

ざっくり言うとAttentionはそれを実現してくれる技術です。

例えば、

質問「FIXERはどんな会社ですか？」
文章「クラウドネイティブカンパニーであるFIXERに入社した山口です。よろしくお願いいたします。」

で文章を元にして質問に答えるというタスクを考えると「クラウド、ネイティブ、カンパニー、FIXER」あたりの単語をAttentionは重要視(具体的には重み付け)してくれるはずです。質問に答えるのに重要な単語だからです。

以上、ざっくり解説でした。

で、Attentionの何がすごいの？

Attentionは、TransformerやBERTといった深層学習をリードするようなモデルに使用される技術だということです。また新しい単語が出てきて「なんぞやループ」に入りそうですが、
なんと、BERTはGoogle検索に使用されている技術でもあるのです！
↓ ソース
Understanding searches better than ever before (blog.google)

また、TransformerはGPT（Generative Pre-trained Transformer）というモデルを構築するのに使用されています。

GPTという言葉を聞いたことはありませんか？

....

そう！ ChatGPTです。

ChatGPTはGPTを基に構築されているので、
ChatGPT ➡ GPT ➡ Transformer ➡ Attentionと、もしかしたらChatGPTを支えているのはAttentionなのかもしれません。

↓参考資料
Chat GPTとアテンションメカニズム（Attention mechanism）とアテンションメカニズム（Attention mechanism） (tanoshimiworks.com)

Understanding the Self-Attention Mechanism in Chat GPT | by Madeline Honig | Feb, 2023 | Medium