hirax.net::Keywords::「日記」のブログ

■WEBの世界の「力の法則」　

「ReadMe!JAPAN」と「日記猿人」に見るWEBアクセス数分布

　以前、

• 深夜特急 '99 - HIRAX発ロンドン行きWEBの旅- (1999.09.20)

　どうも、マイナー趣味である私には、Power(累乗) Lawというのはいま一つ面白くない話ではあるが、

• InternetEcologies
• http://www.parc.xerox.com/spl/groups/dynamics/www/internetecologies.html
• Paperson small-world networks
• http://www.ncrg.aston.ac.uk/~vicenter/smallworld.html

　まずは、考えるためのデータを採取してることにした。欲しいデータは色々なWEBサイトへのアクセス数である。もちろん、自分のWEBサイトへのアクセスではないのだから、何らかの公開データを探さなければならない。

　そこで、ReadMe!Japan(http://readmej.com/)と日記猿人(http://wafu.netgate.net/ne/)という二つのランキングシステムを用いてみた。ReadMe!Japanは日本語の「読み物」を主体としたWEBランキングである。また、日記猿人は名前の通り「日記」をターゲットとしたWEBランキングである。

　一見、同じように見えるReadMe!Japanと日記猿人のランキングであるが、かなり違ったシステムである。以下に、Readme!Japanと日記猿人のランキングシステムを示してみる。

• Readme!Japan　登録したWEBページに、一日の間にアクセスしたIPアドレスの数。
• 日記猿人　「投票」ボタンを押した人(ブラウザー)の数、一日の間に一人の人(ブラウザー)が同一の日記に対して複数回の投票は行うことが出来ない。

それでは、日記猿人とReadMe!JAPANの得票ランキングの例を示してみる。横軸はランク(順位)であり、縦軸が得票数である。ここでは縦軸・横軸共に線形軸を用いている。

日記猿人とReadMe!JAPANの得票ランキングの例 (線形軸)

　なお、 Readme!Japanは11/30日のものであり、日記猿人は(ほぼ)11月分の得票数分である。
このグラフを眺めてみると、日記猿人とReadMe!JAPAN共によく似ている。なるほど、少しランクが下がっただけで、急激に得票数が少なくなっている。もう、縦軸で言うならば下に張りついてしまっている。「ごく少数のWEBサイトへのアクセス、あるいはリンクが他を圧倒する程の割合を示す。」という「WEBの世界の力(累乗)の法則」は日記猿人とReadMe!JAPANでも当てはまるようである。

　さて、ここまでランクに対して得票数が変化するとなると、グラフの軸は線形軸でなくて対数軸の方が良いだろう。そこで、グラフの軸を対数軸に変えたものを以下に示す。

日記猿人とReadMe!JAPANの得票ランキングの例 (対数軸)

　こうすると、日記猿人とReadMe!JAPANのどちらも、

• 上位のランク(例えば、1位から1000位程度まで)では傾きがほぼ1である。すなわち、ランクが一桁下がると、アクセス数も一桁下がる。

　また、ReadMe!JAPANでは、ランクが極めて大きい所では得票数が0に近い。おそらく、その影響と考えられるが、ランクと得票数の関係が直線でなくなっている。

　それと同じことは日記猿人でも言えるだろう、ただし、「ランクとポイントの関係が直線でなくなる」のがReadMe!JAPANよりも早いような気がする。しかし、それは誤差かもしれない。参加数もかなり異なっているので、誤差の可能性が高いと思われる。

　さて、これまでは日記猿人とReadMe!JAPANのランキングの数字を直接用いてきたわけである。しかし、得票数の全く違うものをそのまま比較してもしょうがない。ある程度条件をそろえた上で比較をすべきであろう。そこで、縦軸を正規化して比較をしてみることにした。得票数の合計が1であるような単位に変換してみるのである。

　ここで、横軸はランクのLog_10を用いている。本来、ランク(順位)も何らかの正規化の変換をすべきであろうが、今回はやり忘れた。きっと、頭が疲れているせいである。

　また、グラフを見ればわかると思うが、それぞれについて近似曲線を計算している。

日記猿人とReadMe!JAPANの得票ランキングの例
(得票数の合計が1であるような単位に変換したもの)

　次に、ここで得られた「ランクとポイントの関係」を示す近似関数

• ReadMe!JAPAN 　y = -0.001x^5 + 0.0119x^4 - 0.0534x^3 + 0.1186x^2 - 0.1355x+ 0.0683
• 日記猿人　y = -0.0005x^5 + 0.0054x^4 - 0.0222x^3 + 0.0472x^2 - 0.0589x+ 0.0391

ReadMe!JAPANと日記猿人の「ランクとポイントの関係」近似関数の比較

R　eadMe!JAPANでも日記猿人でも横軸が2以上(すなわち100位以下)の場所などでは、ほとんどポイントはゼロみたいなものである。すなわち、100位より下のWEBのアクセス(本WEBへのアクセスも含めて)は誤差みたいなものなのだ。何しろ、一位(トップ)のポイントが0.07とか0.04とかなのだ。それは「一位のWEBサイトへのアクセスが全部のサイトへのアクセスの1割弱を占める」ということなのである。20位までのサイトへのアクセスを合計すると全アクセスの50%以上を占めてしまう。これが、恐るべきWEBの世界の"PowerLaw"、すなわち、「力(累乗)の法則」である。

　ところで、日記猿人では上位サイト(すなわち、横軸で0に近いところ)での関係式の傾きがReadMe!JAPANよりも小さい。すなわち、上位サイトの得票数が拮抗している。これは一体何故だろうか?
私はこの理由を、

• 日記猿人の読者が割と似ている趣味を持っている
• 日記猿人の参加WEBサイトが似たような内容を持っている

　日記猿人の参加WEBサイトが似ており、読者同士が割と似ている趣味を持っていれば(私も含めて)、得票数というのは当然横並びになるだろう。上位サイトにはほとんどの人が見に行き、そしてほとんどの人が「投票」ボタンを押せば、上位サイトはみな同じような得票数を示すことになる、と思うのである。
　それは、違う傾向を示すReadMe!JAPANの中でも、読者層も作者も似ている「Fast&First」と「今日の必ずトクする一言」はとても近い得票数を示している、ということがその根拠の一つである。

　それに対して、ReadMe!JAPANが比較的広いジャンルの「読み物」が集まっているのでそういう現象が見られないのだろう、と考えるのである。しかも、実際には「読み物」ですらないものも集まっているので、なおさらジャンルとしてはバラけている。だから、「WEBの世界の力(累乗)の法則」を素直に反映していると考えるのである。

　私としては、ごく一部のWEBサイトへの集中が生じるのはツマラナイと感じてしまうのであり、「WEBの世界の力(累乗)の法則」はキライである。だからといって、趣味が似た人ばかりというのもツマラナイように思う。うーん、どういうのがツマラナクナイのだろうか?
それはきっと、「色々な趣味の人が色々なWEBへアクセスする」というのが私の好みだ。実現は難しいのだろうけど...いや、そんなことはないか。

■WEBサイトの絆　

WEBの世界を可視化しよう

　目に見えないものを実感できるものにしようと思うことは多い。「直接感じることが出来ないものを感じられる形にする」という作業とその結果には非常にわくわくさせられる。それは、きっと私だけではないと思う。

　目に見えないものは色々ある。可視化して見てみたいものは多々あるのだが、以前、

• 深夜特急 '99- HIRAX発ロンドン行きWEBの旅 - (1999.09.20)

　ネットワークという目に見えない世界でWEBサイト同士がどう繋がっているか、それは企業のWEBサイト同士であれば企業間の繋がりを示すかもしれないし、公的機関のWEBであれば公的機関内部の繋がりが見えてくるかもしれない。そして、個人WEBであれば、個人どうしの繋がりが見えてくるだろう。そして、さらに考えを進めるならば、それが「WEBの繋がりだ」と端的に言い切ってしまっても良いと思う。

　そういう色々なWEBサイト同士が互いに結びつき合う、つまりWEBそのものを今回は可視化してみたい。その結果はきっと「WEBサイトの絆」を私に見せてくれるはずだ。

　例えば、ファイルシステムを可視化するものであれば、

• xcruise( http://tanaka-www.cs.titech.ac.jp/~euske/index-j.html )

　そして、今回の本題のWEBサイトのHyperlink構造を可視化するソフトウェアも、少し探しただけでも結構ある。例えば、

• Site Manager
• ( http://www.sgi.com/software/sitemgr.html )
• HyperLINKWWW Visualization/Navigation
• ( http://www.acl.lanl.gov/%7Ekeahey/c3/navigate/navigate.html )

　そこで、もう少し探してみる。すると、今回の目的にかなり近い情報が

• Web構造の把握　宮久地博臣　都立科学技術大学大学院　平成9年度修士論文
• ( http://home2.highway.ne.jp/miyakuji/shuron.html )

　やり方はどうしたら良いだろうか？宮久地氏と同じようにWeb Robotを作成して、データを集めるのが理想的だろう。しかし、「perl入門」を昨日やっと買ったばかりの私にはとても難しそうである。いや、もしそんなことをしたらとんでもないことになるに違いない。

　そこで、perlのlwp-rgetを用いて各WEBの内容をローカルのPC内にダウンロードした上で、勉強がてらperlで解析を行うことにした。と、思ったのだが、lwp-rgetが上手く動いてくれない。まだドキュメントをちゃんと読んでいないせいだろうか？何故か、ダウンロードの途中で終了してしまう。仕方がないので、急遽作戦を変更し、ダウンロード作業はlwp-rgetではなくてwgetを用いることにした。

　行った手順は以下のようになる。

1. 5つのWEBサイトを広いWEB内から適当に選択する
2. 選んだ各WEBサイト内のファイルについて、相互のハイパーリンクを抽出し、その数を解析する
3. その結果を可視化する

以下に、解析を行った結果、すなわちサイトA,B,C,D,Eの相互に対するリンク数を示す。

　サイトE「日記猿人」へのリンクがムチャクチャ多いのは投票ボタンという形で、他のサイトからリンクがなされているからである。

　さて、上の表からではWEBの絆を実感できないので、「WEBの絆」を3次元空間に可視化するJavaアプレットを以下に張り付けておく。WEBサイトが5つあるので、それぞれのサイトをピラミッド構造(四角柱状)に配置した。
　各WEBサイトの表示色は、

• A = 赤
• B = 緑
• C = 青
• D = 黄
• E = 灰

　それぞれのサイトから伸びる直線の長さは、そのサイトから他のサイトへ向かうリンク数に比例したものにしている。また、直線の太さもリンク数に比例させている。また、それぞれのWEBサイトを示す立方体の大きさは自分へ向かうリンク数に比例させている。ただし、サイトEの大きさはあまりにも巨大なため、リンク数に比例したものにはなっていない。また、サイトE、すなわち「日記猿人」、へのリンクは省略し、全てサイトEからの直線リンクを表示するだけにした。

　さぁ、WEBサイトの構造を自分の目でみて、そしてグリグリ動かして見てもらいたい。このグラフの操作方法は

• 操作 = 作用
• マウス左ボタンドラッグ = 回転
• シフトキー + 垂直ドラッグ = ズームイン・アウト
• シフトキー + 水平ドラッグ = 垂直軸についての回転
• コントロールキー + 垂直ドラッグ = 焦点距離の変更
• マウス右ボタン垂直ドラッグ = 部品除去
• "s"キー = ステレオ画像作成

　Java表示が上手く動かない人のために、静止画も一応張り込んでおく。

WEB構造を可視化したもの

　どうだろう？この5つのWEB間のWEB構造から何が見えるだろうか？こういう解析を数多くのサイトに行うと非常に面白い結果が得られそうである。特に「日記猿人」のようなコミュニティーに対して行うと興味深い結果が得られるはずだ。
　私のような「日記猿人」の日記はほとんど読まない(サイトAに関しては大ファンであるが)人間にとっても興味深いのであるから、関係者にとってはきっと...の筈だ。

　さて、今回はテストのためにごく少数(5つ)のWEBの解析を行ってみた。いつか、こういった解析を広い範囲で行い、そして、時系列的な変化をも調べようと思う。銀河のvoid構造が観測され、可視化されたものを見たときもとてもわくわくしたものだが、WEBの構造・変化ならばどうだろうか？

　不思議なことに、そういうことを考えていると、「新宿都庁」と「思い出横町」が頭の中に浮かんできてしまうのは何故だろうか？押井守の影響だろうか。謎である。

　そして、こうも思う。WEBネットワークの中でWEBサイトは何を感じているのだろうか？これらのWEBサイトはもしかしたら孤独を感じているのだろうか、それとも繋がりを感じているのだろうか？あの時のページの中の一フレーズがその答えの一つなのかもしれない。

■「私の心」の円グラフ　

私と好みが似てる人　その4

　これまで、「できるかな?」では

• 「私と好みが似てる人」　その3- ドメイン一覧とreferer log - (1999.08.29)
• 「私と好みが似てる人」 その2- ログ解析の6ヶ月点検 - (1999.05.03)
• 「私と好みが同じ人」 - analogWindows版用のサブドメイン解析ソフトを作る - (1999.01.24)

　前回から半年以上の時間が経ったので、今回も、「私と好みが似てる人」の解析を行ってみたい。今回の着目点は次のようなことである。

　HIRAX.NETで記録されるreffer_logはHIRAX.NETへリンクが貼られているサイトのアドレスが記録されている。例えば、

http://umz.pos.to/Link/info.html -> /index.html

http://www.hirax.net/index.html -> /dekirukana/moire2/index.html

bookmarks -> /index.html

　このようにして、「私と好みが似てる人」達がどんなサイトを読んでいるかがわかるのである。最後に書いたように、reffer_logに記録されるのは、HIRAX.NETへリンクを貼っているサイトだけではないので、訪れる前に読んでいたサイトが(ある程度だであるが)わかるのである。

　前回の、

• 「私と好みが似てる人」　その3- ドメイン一覧とreferer log - (1999.08.29)

　話が変わるように思えるかもしれないが、私は「結果が全て」であると考えている(少なくとも、今の瞬間は)。「心の中で思っていて」も、口に出さなければ「思っていない」のと同じである。「掌の中の答え」は掌を開いてみなければわからない。
　だから、他の人が自分に対して抱くイメージとは違う「ホントのオレ」があると主張してもしょうがない、と思うのである。「他の人が自分に対して抱くイメージ」=「ホントのオレ」であると思うのである。もちろん、「他の人が自分に対して抱くイメージ」をどう変えるかは自分次第だ。「掌の中の答え」は自分が決めるのだが、「掌の中の答え」を他の人に見せて、やっと「答え」になるのである。

　話が長くなったが、「自分の好みはこうだ」と自分で言うのもなんなので、第三者的に「自分の好み」を探ってみることにしたのである。その材料はHIRAX.NETを読んでいる方(つまり、あなた)の読んでいるサイトである。これを読んでいるあなた自身がリトマス紙なのである。「私の好み」は「あなた自身の好み」でもあるのだ。

　というわけで、今月前半のreffer_logよりHIRAX.NET外からリンクされた(あるいは移動してきた)、3276アクセスに対して解析を行った。reffer元を私が読んで、大雑把な分類をしてみた。用いた分類は、

• 読み物
• 検索
• コンピュータ
• 日記
• 雑情報
• エロ
• ニュース
• 画像
• 色
• 音楽
• ランキング
• 科学
• 深津絵里
• 製品情報
• イントラ内サイト
• 自然
• 文学
• ゲーム

• 読み物　今日の必ずトクする一言 etc.　　
• コンピュータ　お笑いパソコン日誌 etc.
• 雑情報 Fast & First etc.

私の心の円グラフ

reffer_logのreffer元がHIRAX.NETでない3276アクセスを分類したもの

　なるほど、「読み物(あぁ、なんて大雑把なくくりだ)」が三分の一を占め、以下「情報検索サイト(infoseekなど)」が1/5程を閉めている。そして、コンピュータ情報等だ。なるほど、それが「私の心の中の興味」と言われれば納得するものである。「科学」や「自然」がずいぶんと下位であるのが不思議なところであるが、まぁしょうがない。まぁ、こんなところだろう。

　が、問題は次である。何故か、「エロ」サイトが6位にいるのである。これは、「IO= アイオー」ではない。「エロ = えろ=すけべぇ」である。
 

何故か、「エロサイト」が6位に？

reffer_logのreffer元がHIRAX.NETでない3276アクセスを分類したもの

　これは、困った事態である。私としては、「オレはエロサイトよりニュースサイトの方をよく見るぞ！」と主張したいところである。いや、ホントに。しかし、先ほど

他の人が自分に対して抱くイメージとは違う「ホントのオレ」があると主張してもしょうがない

　それとも、エロサイトを読んだ後に、心の清涼剤として「できるかな？」を読んでいるのだろうか？なるほど、それならわかる。納得だ。　　うん、そういうことで納得しておきたい。

　というわけで、先のグラフがが「私=これを読んでいるあなたの心の円グラフ」である。私の悩み=あなたの悩みでもあるはずだ。あなたの心の中には「エロ」が堂々６位に登場しているハズである。あなたの心はニュースより「すけべぇ」が好きなのだ。がんばれ、「私と好みが似てる人」。せめて、「ニュース」の方が上位に来るようにしてくれ…
 

■hnfのインストール　

　ハイパー日記システム（リンク）mail2nikki.pl 、Namazu v2 for hns は持ち越し。

■うむむ。　

　ちゃろん日記（仮）はお休みに入ってもう三ヶ月…