hirax.net::Keywords::「クラスター分析」のブログ



2001-02-19[n年前へ]

ひとりで書いてるだけだから。  share on Tumblr 

ヘッポコ文章を直したい


   面白い情報を探しにと「お笑いパソコン日誌」を眺めていると、「ウエヤマの事件簿」の「他人の日記をオモチャにしよう!」が紹介されていた。「お笑いパソコン日誌」に〜『できるかな?』風ネタであります〜と紹介されてあった通り、実に私好みの話だった。ウエヤマ氏が「自分で書いてる日記の文章」を解析して、文字の出現頻度を調べてみたものである。

 「できるかな?」は画像や科学の関連の話が多いように見える。しかし、実はそれだけではなくて文章や日記に関する話も多い。例えば、これまでに出てきた話を振り返ってみると、

に始まり、と続く、「文学の世界を眺めてみよう」という話など、あるいは「WEBページで見かける文体の特徴を解析しよう」としたなど、あるいは「WEB日記の文化を眺めて見たい」というなどの話があった。「技術サイト」という分類をされることも多い本サイトではあるのだけど、非技術的な話に強引に技術的な話を持ち込みたくなったり、技術的な話なのに何故かとても私的で非技術的な話が入ってしまったりするのが、良くも悪くも「できるかな?」の特徴だろう。もちろん、良いことでは全然無いのだけれど、こうでも書かないと悲しい気分になってしまうので、「良くも悪くも」と書いているのである。

 そういったhirax.netの特長ならぬ特徴は私が書く文章が下手なせいなわけで、そんなヘッポコ文章から脱出するべく、私の書く文章の特徴を調べて反省してみることにした。もちろん、自分のヘッポコ文章だけを眺めてみてもしょうがない。他の素晴らしい文章を書く書き手と比較しなければならないだろう。そこで、今回はいくつかの文章を品詞解析し、その結果の特徴を調べることにする。そして、書き手による文章の特徴が眺めながら、私のヘッポコ文章の欠点を調べ、さらには誰もが思わず涙がこぼしてしまうような素晴らしい文章を書けるようになりたい、と思うのである。
 

 さて、まずは目標を決めよう。私がヘッポコ文章を脱出してどんな文章を目指すかを、何より先に決めなくてはならない。となれば、あまりにも大それた目標ではあるのだが、やはり日本の文豪、夏目漱石は外せないだろう。そして、その教え子でもある寺田寅彦もやはり外すわけにはいかない。一応私も理系のはしくれ、日本の理系文章の流れを作ったこの二人を目標にしなくてなんとしよう。ヘッポコ文章を脱出していきなり、夏目漱石と寺田寅彦というところに無理があるが、そんなことを考えていては駄目なのである。「少年よ大志を抱け」とクラーク博士も言ったのである。もう少年と言うにはどう考えても年齢的に無理があるのだが、気持ちはまだまだ少年で目標は大きく持ってみたいと思うのである。

 そして、もう一人の目標は「ちゃろん日記(仮)」をマイペースに書き続ける「ななゑ」さんである。私は彼女の書く文章を読むたびにとても素晴らしい理系的センスが感じ続けているのである。しかも、理系的でありつつも笑いと涙のペーソスたっぷりの「ちゃろん文体」という独自の確固とした文体を築いているところも尊敬していたりするのである。

 というわけで、今回の文章の比較は

  1. 夏目漱石
  2. 寺田寅彦
  3. ちゃろん日記(仮) ななゑ
  4. 「できるかな?」 jun hirabayashi
の四人の書き手の文章を適当に二つずつピックアップして、その文章を品詞解析して簡単に特徴を眺めてみることにした。各書き手に対して、それぞれピックアップした文章はである。なお、夏目漱石と寺田寅彦は「青空文庫」から入手した。そして、これらの文章を日本語形態素解析システム茶筌&perlで解析後、Excelでさらに解析・表示を行ってみることにしよう。

 ところで、形態素解析とはどのようなものだろうか。まずは、例を挙げよう。例えば、

私が好きな書き手達は、夏目漱石、寺田寅彦、ななゑさんです。
という文章を茶筌で分解すると、
  1. 私 名詞-代名詞-一般
  2. が 助詞-格助詞-一般
  3. 好き 名詞-形容動詞語幹
  4. な 助動詞
  5. 書き手 名詞-一般
  6. 達 名詞-接尾-一般
  7. は 助詞-係助詞
  8. 、 記号-読点
  9. 夏目 名詞-固有名詞-人名-姓
  10. 漱石 名詞-固有名詞-人名-名
  11. 、 記号-読点
  12. 寺田 名詞-固有名詞-人名-姓
  13. 寅彦 名詞-固有名詞-人名-名
  14. 、 記号-読点
  15. ななゑ 名詞-固有名詞-人名-名
  16. さん 名詞-接尾-人名
  17. です 助動詞
  18. 。 記号-句点
というようになる。このように各文章を品詞毎に分解して、その出現分布から特徴を調べてみるのである。なお、今回注目した品詞は
  1. 読点
  2. 形容詞
  3. フィラー
  4. 感動詞
の四つである。この四つを選んだ理由は、読点は明確な決まりがないだけに書き手の感覚が入りやすいと思われ、形容詞、フィラー・感動詞に関しては書き手の気持ちが素直に現れやすいと思われるからである。ちなみに、フィラーとはから引用すれば、「あのー」「えー」といった語句ということになる。まずは各文章が書き手によってどのくらい特徴づけられるかのイメージを掴むために、形容詞の出現頻度とフィラーの出現頻度を軸にとり、各文章を二次元の世界に配置してみた結果を図示してみよう。
 
形容詞の出現頻度とフィラーの出現頻度を軸にとって、
各文章を二次元の世界に配置した結果

 結構、同じ書き手による文章が同じような位置に配置されることがわかると思う。ちゃろん日記(仮)などは、二つの独立した文章がほとんど同じ位置に配置されている。もう、ちゃろん文体は安定しまくっていて完成されているのである。そしてまた、「文豪」夏目漱石の場合も、「我が輩は猫である」と「坊っちゃん」がかなり近い位置に配置されていることがわかる。

 なるほど、結構書き手による特徴はこんないかにも雑な解析でも評価できるものなのかもしれない(あくまで「遊び」だけどね)。そして、形容詞の出現頻度などは、「雪だるまがいる景色」と「自然と生物」以外は大体同じようなものである。寺田寅彦の「自然と生物」は妙に形容詞の出現頻度が高いところが面白いところである。私の「雪だるまがいる景色」はあまり技術的な話ではなくて、確かに形容詞が多そうな話ではあるのだが、一体「自然と生物」はどうだっただろうか?

 ちなみに、「できるかな?」からの二つの文章は共にフィラーが一個も出てこない。その他の6つの文章にはフィラーが出てくるのであるが、何故か「できるかな?」の二つの文章にはフィラーが含まれていないのである。この差がなければ、寺田寅彦の二編と「できるかな?」はかなり似た場所に位置するのであるが、このフィラーは特に違うのである。

 さて、上の図ではフィラーと形容詞の出現頻度だけを眺めてみたが、読点、感動詞の出現頻度も加えて、クラスター分析を行ってみた。つまり、「読点・形容詞・フィラー・感動詞」の出現分布が似ているものを分類してみたわけである。クラスター分析にはExcelアドイン工房「早狩」の統計解析アドインを使用させて頂いた。ちなみに、クラスターの結合はウォード法を用い、非類似度計算法には標準化ユークリッド平方距離を使用した。その結果が下の図である。
 

クラスター分析の結果

 このクラスター分析の結果を示す図は近い文章をまとめていったものを示している。つまり、文章の「近さ」あるいは「似ている度」を示しているのである。ちゃろん日記(仮)の二編は本当によく似ていて、また夏目漱石の書いた二編も互いに似ている。そして、それより「近い度」は低いが「新宿駅は電気羊の夢を見るか?」は「科学について」に近くて、「雪だるまがいる景色」は「自然と生物」に近い。おして、さらに似ているものを探せば、ちゃろんの二編と「新宿駅は電気羊の夢を見るか?」・「科学について」は似ているといえなくもない、さらに言えばその四編と夏目漱石の二編が似ている。

 ここでは、四人の書き手がいるということが私には判っているので、あえて四つのクラスターに分解してみると、

1.
    • 「雪だるま」がいる景色
    • 自然と生物
    2.
    • 新宿駅は電気羊の夢を見るか?
    • 科学について
    3.
    • ちゃろん日記1998(仮)11月上旬
    • ちゃろん日記1999(仮)6月上旬
    4.
    • 我が輩は猫である
    • 坊ちゃん
という風になる。やはり夏目漱石とちゃろん日記に関してはこんなチープなごく少数の品詞解析でも、「作者の文体が同じである」と解析されてしまうのである。なかなか、スゴイとは思わないだろうか?数多くの解析をしてみるのもなかなか面白いと思う。高校生のレポートくらいだったら、これで何とか書けそうである。

 しかし、その一方で考えてみれば寺田寅彦の名随筆と「できるかな?」のヘッポコ文章が「文体が近い」と解析されてしまっているわけなので、実はこの解析の信頼性はかなり低いと言わざるを得ないところもあるのである。いや、もしかしたら「文体は同じやけど、内容が全然違いますがな」というような冷たいアドバイスを解析結果は言わんとしているのかもしれないが、もうそれは哀しすぎる事実なので考えたくないのである。

 さて、そう言えば一番最初の図で「できるかな?」と寺田寅彦の差はフィラーの出現分布だったわけであるが、「大学の講義における文科系の日本語と理科系の日本語-- 「フィラー」に注目して --」では、「聞き手への働きかけのあるフィラーが多いということは聞き手への配慮が大きいということにつながる」と書いてあった。ということは、フィラーの出現分布は聞き手への配慮に比例するというわけで、「できるかな?」の文章にフィラーが出てこない、ということは読み手に対する配慮がない、なんてことなのかなと思ってしまったりするのである。

 そんなことを考え出すと、ホラどうせひとりで書いてるだけだから読み手のことなんか考えていないのさと、思わず涙がこぼれてしまうような哀しい気持ち、になったのである。う〜む、最初は誰もが思わず涙がこぼしてしまうような素晴らしい文章を書けるようになりたいと思ったったのに、何でこんな結論になるんだろう?

 答え: それは文才がないからです。ハイ。
 
 

2002-08-17[n年前へ]

Nグラムモデルとクラスター分析を用いた漢文古典テキストの比較研究 「般若心経」の異訳の比較を例に  share on Tumblr 

 師 茂樹。あー、漱石の「文学論」をどこかの出版社に文庫本にして欲しい。

2008-05-25[n年前へ]

続々・『理系サラリーマン 専門家11人に「経済学」を聞く! 』  share on Tumblr 

 『理系サラリーマン 専門家11人に「経済学」を聞く! 』を出す際に、200人の人たちに「あなたが豊か・幸せになるために必要なものは何ですか?」と尋ねてみました。右に走り書きしたような「自由」「お金」「食べもの」「時間」といった選択肢を並べ見せながら、その人が豊か・幸せになるために必要なもの、を尋ねてみたのです。

 そして、amazonで表示される「お勧め本」やはてなダイアリの「お勧めページ」を算出するのと同じように、つまりはその選択肢を選んだ人の重複度合いなどを計算し、クラスタ分析をした結果の樹形図が右のようになります。右の図ではA,B,C……などのように記号で書いたありますが、もちろん、本の中でもアルファベットが書いてあるわけではなく、「お金」「睡眠」「時間」といったものがクラスタ分析・表示されているわけです。つまりは、「クイズの答え」を知りたくなったら、本書を手にとりそのページを眺めてみて下さいね、ということになります。

 「貨幣とは鋳造された自由である」というのはドストエフスキーの言葉ですが、クラスタ分析の結果は、見事なまでに「お金」と「自由」の距離や、「愛」や「希望」の距離を算出しています。右の図のA,B,C,D,……といった記号が「一体どんな言葉」なのか予想をしてみて、そして回答編を書店で眺め・楽しんで頂けたら幸いです。

クラスタ分析結果選択肢






2010-02-12[n年前へ]

「転職したい企業ランキング」をクラスタ分析してみる (初出:2006年02月21日)  share on Tumblr 

エンジニア3000人大調査!転職したい企業ランキングBEST10」という記事を読みました。「エンジニア3074人に向けて実施した転職に関する意識調査をもとに、エンジニアが転職したい企業と理由を明らかにする」というものです。そこには、アンケート結果から「転職したい企業ランキング」と「その企業を選んだ代表的な三つの理由」が挙げられています。

 そこに書かれている「理由」は、それらの企業で働いている人たちではなく、転職先としての「イメージ」です。そのイメージは、実際には、その企業の実情とは異なっているのかもしれません。

 しかし、「その企業へ行きたいと思う人たち(未来のその企業の社員)の意識・指向」がそこに示されていると考えてみれば、そういった「イメージ」も、ある程度は、それらの企業の雰囲気と遠くないものだ、という見方もできそうです。

 ところで、記事中では「転職したい企業トップ10 (とその理由)」が挙げられているのですが、そのランキングをただ眺めているだけでは、今ひとつ特徴が見えてきません。たとえば、挙げられている企業の特徴などは、眺めているだけでは、なかなかわかりません。

Cluster    そこで、「転職先として選んだ理由」をもとに、各企業に対してクラスタ分析をしてみました。その結果が右上の図になります。この図では、左側に各企業が(縦に)並んでいて、似ている(近い)企業どうしが線で(左から順に)結ばれていきます。

 たとえば、トヨタ自動車と日本電気は、とても似ているのようで、わりにすぐ(左の位置で)線で繋がっているのがわかるはずです。また、トヨタ自動車と日本IBMなどはかなり遠く(似ておらず)ずいぶん後になってから(つまりは、右の位置で)ようやく線で繋がっていることがわかると思います。こうして眺めてみれば、各企業の特徴や似ている企業探し、などが簡単になります。

 例を挙げると、トヨタ自動車と日本電気の「繋がり」は「長期的な安定性」繋がり、です。また、上半分のグループは「給与・待遇がよさそう」繋がりで、下半分のグループは「技術者が働きやすい環境・設備」繋がり、です。…とそんな風に眺めていくと、色々なことが見えてきます。

 ちなみに、この記事を眺めながら、「このランキング中に登場しているある企業の社員の方」に、「この中に転職したい企業はあります?」と聞いてみました。すると、その人は「このクラスタ分析で(その人の勤める企業と)隣あっていた二つの企業(本田技研工業と日本IBM)」を挙げたのです。ということは、「自分が入りたい企業」を眺めるとき、意外このクラスタ分析の結果は役に立つものかもしれません。

 あなたなら、どの企業に転職・入社してみたいと思いますか?もしも、このクラスタ分析結果に示されている会社で働いている方がいたら、この結果をを眺めたとき、どんなことを思うでしょうか?



■Powered by yagm.net