これまでの人生と手話の翻訳機について
2024-04-05
azblob://2024/04/04/eyecatch/2024-04-04-hand-sign-translator-000.png

ご挨拶

閲覧ありがとうございます。2024年度新入社員になりました、樋口 颯太です。

就職に伴って福岡から上京し、大きな節目を迎えました。人生これからです...!!

このTechBlogも新しく始めたことの一つであり、拙い文章ではありますが、どうか温かい目で見守っていただけると幸いです。

さて、本記事では、私の学生時代について振り返りつつ、学校で行っていた研究について軽くお話ししたいと思います。

樋口 颯太のこれまで

これまで

と書いていますが、大それた人生ではないです。残念ながら。

福岡の田舎で、のびのびと過ごしてきました。

小学生のときから私は、水泳、サッカー、和太鼓など、とにかく様々なことをやってきました。

超人でも目指していたのでしょうか。

しかし上記の習い事は、どれも長続きせず、大抵2,3年で辞めてしまいます。とんでもない飽き性です。

しかし、そんな私でも長続きしたことがあります。

それがキックボクシングです。

もちろん痛いしキツイし苦しかったのに、なぜ続いたかは私にも分かりません。

ただ、一緒にやってる人たちと切磋琢磨しながら技術を磨いていくのはとても楽しかったし、ひたむきに努力することができました。

閲覧していただいてる皆さんにも、生きていく上で大切にしている考えや経験などがあるのではないでしょうか?

私が日常で大切にしている考えや生き方は、このキックボクシングでの経験が強く影響していると常々感じます。

私の研究について

ここからは、私が高専で行っていた研究についてお話しようと思います。

私が高専で行っていたのは、『手話の自動翻訳ツールの作成』というものです。

某ウイルスやインターネット普及の影響により、リモートでの作業が増えてきた現代において、聴覚障がい者とそうでない人のコミュニケーションを円滑に行えたら素敵だなと思い、作成しようと思いました。

ここからはシステムの簡単な説明です。

まず、各単語に対応する手話の動画に姿勢推定処理をかけて、手や腕などの関節座標を抽出します。姿勢推定ソフトにはOpenPoseを用いました。各関節座標が格納されたCSVファイルが、1フレームごとに出力されます。

これらのデータに正規化処理を施し、時系列データとして処理します。

フレームワークにはTensorFlowを用いて、機械学習モデルを構築しました。具体的には、畳み込みニューラルネットワーク(CNN)を使用して、座標データを入力として受け取り、各手話単語のラベルに分類するモデルを構築しました。

これらの手順で作成された学習モデルをもとに、入力データに対して最も近いと判定されたラベルの単語が出力されるといったものです。研究時は、定量評価と学習データセットの都合上、10単語の翻訳と「無動作」の判定を行うものを作成しました。

上記の研究を通して、今までなかった物やシステムを開発し、人の役に立つことの誇らしさや達成感を得ることができました。本当にいい経験だった!

まとめ

初めてのブログ執筆でしたが、いかがでしたか?

社会人としての人生を歩み始めた私の第一歩ということで、これからも二歩、三歩と歩みを重ねてまいりたいと思います!

これからもよろしくお願いします!!