単語分散表現モデルの埋め込み空間を用いた概念間探索手法の構築と大規模言語モデルの機械論的解釈可能性への応用
Venue #
NLP若手の会 第19回シンポジウム (YANS 2024), S5-P02
Authors #
Junya G. Honda (TUT / Emosta), Shuhei Ogawa (Emosta), Kotaro Sakamoto (UTokyo)
言語モデルは人と同様に概念を獲得しているのか？ この研究では，概念同士のつながりを可視化し，モデルが内部で概念をどう解釈しているかを明らかにすることを目指す．入力を埋め込み空間に対応づけて保存し，概念間の探索空間をサンプリングしてネットワークを構築，経路探索と近傍の再サンプリングを通じて概念間の関係を可視化する手法を提案した．Word2Vec（chiVe）を用いた青空文庫3作品の構造分析と，SAE（Sparse AutoEncoder）を用いたLLM内部の特徴量による概念探索の2つのアプローチで検証を行った．