はじめに
Word2Vec の単語ベクトルを使って,単語の足し算や引き算を行う計算機を作りました. こちらから遊べます.
例えば,フランス に対して類似している単語は,ベルギー,パリ,イタリア,ドイツ,ヨーロッパ,スペイン,イギリス といった具合に国々が登場しますが,
フランス-(イギリス+ドイツ)/2.0 と入力すると,
フランス料理,シャトー,パリ,ルージュ,フランス語,メゾン,ヌーベル,シャンソン といったように,フランス語の言葉が大量に登場したりします.
仕組み
Word2Vec とは,単語をベクトル空間に埋め込む手法で,意味の近い単語が近いベクトルに配置されます. また,単語同士の関係性をベクトルの演算で表現することもできるらしい.
これまで,日本語の頻出語彙リストに難儀していましたが,前回(記事),そこそこ良い形で頻出語彙リストを作ることができたので,折角なので作ってみました.
語彙リストの都合上,「りんご」や「リンゴ」は「林檎」に正規化されています. ある単語が含まれていない場合,表記を変えるとヒットするかもしれません. また,名詞のみをフィルタリングしているため,動詞や形容詞は含まれていません.
おわりに
17224 語採用しており,メジャーな単語はある程度網羅されているはず.多分ね.