hirax.net::Keywords::「分散処理」のブログ



2010-01-25[n年前へ]

Ruby Rindaとdrubyで(エンコード・サーバを)作ってみた

 「Ruby Rindaとdrubyで作ってみた

 (分散処理システムLindaのRubyによる実装である)Rindaをさわってみたので(中略)エンコードのリクエストを入れると順番にエンコードしてくれるサーバみたいなものを作ってみました。FFmpegでEncodeをするリクエストを受け付けるServerみたいなもの(後略)
 FFEFile::SRC_DIR 以下にエンコードするファイルを突っ込んでその後drubyで公開されているffe_serverのrequestメソッドをエンコードしたい種類とファイル名を引数にして呼べば後は勝手にエンコードしてくれる。
 ファイル自体もdrubyで送ろうとおもったけど、パイプが壊れたり、接続が切れたりする(Fileオブジェクトの参照渡しのせい)ので断念。

2010-01-27[n年前へ]

RubyとHadoopで分散処理 Hadoop Streamingの仕組み

 「RubyとHadoopで分散処理 Hadoop Streamingの仕組み

Hadoopとは,Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので,分散処理のフレームワークです。Hadoopを使うと,1台のサーバでは時間の掛かるような処理を,複数のサーバで分散処理させることができます。
swatch (スウォッチ) 腕時計 RUBY TOUCH SUJK701 [正規輸入品]
 さて,実際にHadoopを使うには2つの方法があります。1つは,もともとHadoopはJavaで作られたものなのでJavaで記述する方法,もう1つはHadoop Streamingという仕組みを使って,Java以外の(標準入出力に対応している)言語で記述する方法です。
 今回はRubyを使いたかったため,Hadoop Streamingを利用しました。



■Powered by yagm.net