hirax.net::Keywords::「クラスター分析」のブログ

■ひとりで書いてるだけだから。　

ヘッポコ文章を直したい

　「できるかな?」は画像や科学の関連の話が多いように見える。しかし、実はそれだけではなくて文章や日記に関する話も多い。例えば、これまでに出てきた話を振り返ってみると、

• 夏目漱石は温泉がお好き? -文章構造を可視化するソフトをつくる - (1999.07.14)

• 失楽園殺人事件の犯人を探せ- 文章構造可視化ソフトのバグを取れ - (1999.07.22)
• 「こころ」の中の「どうして?」-漱石の中の謎とその終焉 - (1999.09.10)
• 「星の王子さま」の秘密 - 水が意味するもの- (1999.11.15)
• 恋の力学　三角関係編 - 恋の三体問題- (1999.12.27)
• 恋の力学　恋の相関分析編- 「明暗」の登場人物達の行方 - (2000.04.01)
• 恋の力学　恋のグラフ配置編- 「明暗」の収束を見てみよう - (2000.04.02)

• WEBページの文体を調べてみよう - 「ノリノリ文体」の秘密!?- (2000.07.23)

• WEBの世界の「力の法則」-「ReadMe!JAPAN」と「日記猿人」に見るWEBアクセス数分布 - (1999.12.04)
• WEBサイトの絆 - WEBの世界を可視化しよう- (2000.01.13)

　そういったhirax.netの特長ならぬ特徴は私が書く文章が下手なせいなわけで、そんなヘッポコ文章から脱出するべく、私の書く文章の特徴を調べて反省してみることにした。もちろん、自分のヘッポコ文章だけを眺めてみてもしょうがない。他の素晴らしい文章を書く書き手と比較しなければならないだろう。そこで、今回はいくつかの文章を品詞解析し、その結果の特徴を調べることにする。そして、書き手による文章の特徴が眺めながら、私のヘッポコ文章の欠点を調べ、さらには誰もが思わず涙がこぼしてしまうような素晴らしい文章を書けるようになりたい、と思うのである。
 

　さて、まずは目標を決めよう。私がヘッポコ文章を脱出してどんな文章を目指すかを、何より先に決めなくてはならない。となれば、あまりにも大それた目標ではあるのだが、やはり日本の文豪、夏目漱石は外せないだろう。そして、その教え子でもある寺田寅彦もやはり外すわけにはいかない。一応私も理系のはしくれ、日本の理系文章の流れを作ったこの二人を目標にしなくてなんとしよう。ヘッポコ文章を脱出していきなり、夏目漱石と寺田寅彦というところに無理があるが、そんなことを考えていては駄目なのである。「少年よ大志を抱け」とクラーク博士も言ったのである。もう少年と言うにはどう考えても年齢的に無理があるのだが、気持ちはまだまだ少年で目標は大きく持ってみたいと思うのである。

　そして、もう一人の目標は「ちゃろん日記（仮）」をマイペースに書き続ける「ななゑ」さんである。私は彼女の書く文章を読むたびにとても素晴らしい理系的センスが感じ続けているのである。しかも、理系的でありつつも笑いと涙のペーソスたっぷりの「ちゃろん文体」という独自の確固とした文体を築いているところも尊敬していたりするのである。

　というわけで、今回の文章の比較は

1. 夏目漱石
2. 寺田寅彦
3. ちゃろん日記（仮） ななゑ
4. 「できるかな?」 jun hirabayashi

• 夏目漱石
• 我が輩は猫である
• 坊ちゃん
• 寺田寅彦
• 科学について
• 自然と生物
• ちゃろん日記（仮）
• 1998（仮）１１月上旬
• 1999（仮）６月上旬
• 「できるかな?」
• 「雪だるま」がいる景色
• 新宿駅は電気羊の夢を見るか？

　ところで、形態素解析とはどのようなものだろうか。まずは、例を挙げよう。例えば、

私が好きな書き手達は、夏目漱石、寺田寅彦、ななゑさんです。

1. 私 名詞-代名詞-一般
2. が 助詞-格助詞-一般
3. 好き 名詞-形容動詞語幹
4. な 助動詞
5. 書き手 名詞-一般
6. 達 名詞-接尾-一般
7. は 助詞-係助詞
8. 、 記号-読点
9. 夏目 名詞-固有名詞-人名-姓
10. 漱石 名詞-固有名詞-人名-名
11. 、 記号-読点
12. 寺田 名詞-固有名詞-人名-姓
13. 寅彦 名詞-固有名詞-人名-名
14. 、 記号-読点
15. ななゑ 名詞-固有名詞-人名-名
16. さん 名詞-接尾-人名
17. です 助動詞
18. 。 記号-句点

1. 読点
2. 形容詞
3. フィラー
4. 感動詞

• 大学の講義における文科系の日本語と理科系の日本語-- 「フィラー」に注目して --

形容詞の出現頻度とフィラーの出現頻度を軸にとって、
各文章を二次元の世界に配置した結果

　結構、同じ書き手による文章が同じような位置に配置されることがわかると思う。ちゃろん日記（仮）などは、二つの独立した文章がほとんど同じ位置に配置されている。もう、ちゃろん文体は安定しまくっていて完成されているのである。そしてまた、「文豪」夏目漱石の場合も、「我が輩は猫である」と「坊っちゃん」がかなり近い位置に配置されていることがわかる。

　なるほど、結構書き手による特徴はこんないかにも雑な解析でも評価できるものなのかもしれない（あくまで「遊び」だけどね）。そして、形容詞の出現頻度などは、「雪だるまがいる景色」と「自然と生物」以外は大体同じようなものである。寺田寅彦の「自然と生物」は妙に形容詞の出現頻度が高いところが面白いところである。私の「雪だるまがいる景色」はあまり技術的な話ではなくて、確かに形容詞が多そうな話ではあるのだが、一体「自然と生物」はどうだっただろうか？

　ちなみに、「できるかな?」からの二つの文章は共にフィラーが一個も出てこない。その他の６つの文章にはフィラーが出てくるのであるが、何故か「できるかな?」の二つの文章にはフィラーが含まれていないのである。この差がなければ、寺田寅彦の二編と「できるかな?」はかなり似た場所に位置するのであるが、このフィラーは特に違うのである。

　さて、上の図ではフィラーと形容詞の出現頻度だけを眺めてみたが、読点、感動詞の出現頻度も加えて、クラスター分析を行ってみた。つまり、「読点・形容詞・フィラー・感動詞」の出現分布が似ているものを分類してみたわけである。クラスター分析にはExcelアドイン工房「早狩」の統計解析アドインを使用させて頂いた。ちなみに、クラスターの結合はウォード法を用い、非類似度計算法には標準化ユークリッド平方距離を使用した。その結果が下の図である。
 

クラスター分析の結果

　このクラスター分析の結果を示す図は近い文章をまとめていったものを示している。つまり、文章の「近さ」あるいは「似ている度」を示しているのである。ちゃろん日記（仮）の二編は本当によく似ていて、また夏目漱石の書いた二編も互いに似ている。そして、それより「近い度」は低いが「新宿駅は電気羊の夢を見るか？」は「科学について」に近くて、「雪だるまがいる景色」は「自然と生物」に近い。おして、さらに似ているものを探せば、ちゃろんの二編と「新宿駅は電気羊の夢を見るか？」・「科学について」は似ているといえなくもない、さらに言えばその四編と夏目漱石の二編が似ている。

　ここでは、四人の書き手がいるということが私には判っているので、あえて四つのクラスターに分解してみると、

1.

• 「雪だるま」がいる景色
• 自然と生物
2.
• 新宿駅は電気羊の夢を見るか？
• 科学について
3.
• ちゃろん日記1998（仮）１１月上旬
• ちゃろん日記1999（仮）６月上旬
4.
• 我が輩は猫である
• 坊ちゃん

　しかし、その一方で考えてみれば寺田寅彦の名随筆と「できるかな?」のヘッポコ文章が「文体が近い」と解析されてしまっているわけなので、実はこの解析の信頼性はかなり低いと言わざるを得ないところもあるのである。いや、もしかしたら「文体は同じやけど、内容が全然違いますがな」というような冷たいアドバイスを解析結果は言わんとしているのかもしれないが、もうそれは哀しすぎる事実なので考えたくないのである。

　さて、そう言えば一番最初の図で「できるかな?」と寺田寅彦の差はフィラーの出現分布だったわけであるが、「大学の講義における文科系の日本語と理科系の日本語-- 「フィラー」に注目して --」では、「聞き手への働きかけのあるフィラーが多いということは聞き手への配慮が大きいということにつながる」と書いてあった。ということは、フィラーの出現分布は聞き手への配慮に比例するというわけで、「できるかな?」の文章にフィラーが出てこない、ということは読み手に対する配慮がない、なんてことなのかなと思ってしまったりするのである。

　そんなことを考え出すと、ホラどうせひとりで書いてるだけだから読み手のことなんか考えていないのさと、思わず涙がこぼれてしまうような哀しい気持ち、になったのである。う〜む、最初は誰もが思わず涙がこぼしてしまうような素晴らしい文章を書けるようになりたいと思ったったのに、何でこんな結論になるんだろう？

　答え：　それは文才がないからです。ハイ。
 
 

■Nグラムモデルとクラスター分析を用いた漢文古典テキストの比較研究 「般若心経」の異訳の比較を例に　

　師　茂樹。あー、漱石の「文学論」をどこかの出版社に文庫本にして欲しい。

■続々・『理系サラリーマン 専門家11人に「経済学」を聞く! 』　

　『理系サラリーマン 専門家11人に「経済学」を聞く! 』を出す際に、200人の人たちに「あなたが豊か・幸せになるために必要なものは何ですか？」と尋ねてみました。右に走り書きしたような「自由」「お金」「食べもの」「時間」といった選択肢を並べ見せながら、その人が豊か・幸せになるために必要なもの、を尋ねてみたのです。

　そして、amazonで表示される「お勧め本」やはてなダイアリの「お勧めページ」を算出するのと同じように、つまりはその選択肢を選んだ人の重複度合いなどを計算し、クラスタ分析をした結果の樹形図が右のようになります。右の図ではA,B,C……などのように記号で書いたありますが、もちろん、本の中でもアルファベットが書いてあるわけではなく、「お金」「睡眠」「時間」といったものがクラスタ分析・表示されているわけです。つまりは、「クイズの答え」を知りたくなったら、本書を手にとりそのページを眺めてみて下さいね、ということになります。

　「貨幣とは鋳造された自由である」というのはドストエフスキーの言葉ですが、クラスタ分析の結果は、見事なまでに「お金」と「自由」の距離や、「愛」や「希望」の距離を算出しています。右の図のA,B,C,D,……といった記号が「一体どんな言葉」なのか予想をしてみて、そして回答編を書店で眺め・楽しんで頂けたら幸いです。

■「転職したい企業ランキング」をクラスタ分析してみる　（初出：2006年02月21日）　

「エンジニア3000人大調査！転職したい企業ランキングBEST10」という記事を読みました。「エンジニア3074人に向けて実施した転職に関する意識調査をもとに、エンジニアが転職したい企業と理由を明らかにする」というものです。そこには、アンケート結果から「転職したい企業ランキング」と「その企業を選んだ代表的な三つの理由」が挙げられています。

　そこに書かれている「理由」は、それらの企業で働いている人たちではなく、転職先としての「イメージ」です。そのイメージは、実際には、その企業の実情とは異なっているのかもしれません。

　しかし、「その企業へ行きたいと思う人たち（未来のその企業の社員）の意識・指向」がそこに示されていると考えてみれば、そういった「イメージ」も、ある程度は、それらの企業の雰囲気と遠くないものだ、という見方もできそうです。

　ところで、記事中では「転職したい企業トップ10 (とその理由)」が挙げられているのですが、そのランキングをただ眺めているだけでは、今ひとつ特徴が見えてきません。たとえば、挙げられている企業の特徴などは、眺めているだけでは、なかなかわかりません。

　 　そこで、「転職先として選んだ理由」をもとに、各企業に対してクラスタ分析をしてみました。その結果が右上の図になります。この図では、左側に各企業が(縦に)並んでいて、似ている（近い）企業どうしが線で（左から順に）結ばれていきます。

　たとえば、トヨタ自動車と日本電気は、とても似ているのようで、わりにすぐ（左の位置で）線で繋がっているのがわかるはずです。また、トヨタ自動車と日本IBMなどはかなり遠く（似ておらず）ずいぶん後になってから（つまりは、右の位置で）ようやく線で繋がっていることがわかると思います。こうして眺めてみれば、各企業の特徴や似ている企業探し、などが簡単になります。

　例を挙げると、トヨタ自動車と日本電気の「繋がり」は「長期的な安定性」繋がり、です。また、上半分のグループは「給与・待遇がよさそう」繋がりで、下半分のグループは「技術者が働きやすい環境・設備」繋がり、です。…とそんな風に眺めていくと、色々なことが見えてきます。

　ちなみに、この記事を眺めながら、「このランキング中に登場しているある企業の社員の方」に、「この中に転職したい企業はあります？」と聞いてみました。すると、その人は「このクラスタ分析で（その人の勤める企業と）隣あっていた二つの企業（本田技研工業と日本IBM）」を挙げたのです。ということは、「自分が入りたい企業」を眺めるとき、意外このクラスタ分析の結果は役に立つものかもしれません。

　あなたなら、どの企業に転職・入社してみたいと思いますか？もしも、このクラスタ分析結果に示されている会社で働いている方がいたら、この結果をを眺めたとき、どんなことを思うでしょうか？