pho@自習室

2010-04-29

疑似分散モードでのテスト

| 13:38

3つのファイルを書き換え。

  • conf/core-site.xml:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

  • conf/mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

それからフォーマット。

$ bin/hadoop namenode -format

で、スタート。

$ bin/start-all.sh

ブラウザで確認できるっぽいけど、なんかつながらなかった。

本日も参考にしたのはQuick Start

http://hadoop.apache.org/common/docs/current/quickstart.html

2010-04-28

スタンドアロンモードでのテスト

| 02:15

まずhadoopユーザーを追加した。システム環境設定→アカウント

http://docs.info.apple.com/article.html?path=Mac/10.4/jp/mh168.html

hadoopのホームの下にhadoopディレクトリがないのでコピーすることにした。

http://www.atmarkit.co.jp/flinux/rensai/linuxtips/064dircopy.html

それからsshlocalhostにノーパスでログインできるようにする。

「システム環境設定」->「共有」->「リモートログイン」にチェック

http://orukanmo.blogspot.com/2008/11/hadoop-quick-start-on-mac.html

それから、ノーパスでログインできるように設定。

$ su - hadoop

$ ssh-keygen -t rsa -P ""

$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

http://d.hatena.ne.jp/ta_maru/20100406/1270548280

そしてスタンドアロンモードで確認。

$ mkdir input

$ cp conf/*.xml input

$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

$ cat output/*

http://hadoop.apache.org/common/docs/current/quickstart.html

それらしいのが出てきた。

2010-04-27

hadoopインストール

| 23:47

プログラミングなんて大学の授業でC言語をやって以来だけど、Mahoutが面白そうなのでhadoopを入れようと思う。根本的なところでハードルが多いなあと思いながら。

ダウンロードはここから。

http://www.apache.org/dyn/closer.cgi/hadoop/core/

正直どこで展開したらいいかわからない。しばし悩む。

$ tar xvzf hadoop-0.20.2.tar.gz

さすがにdownloadsで展開したのはアレだろうということで、

$ mv downloads/hadooop-0.20.2 hadoop

ってことでホームに持ってきた。

$ java -version

$ ssh -V

$ rsync --version

とやって、3つとも問題ないことを確認。

hadoop/conf/hadoop-env.shを開いて、

# export JAVA_HOME=/usr/lib/j2sdk1.6-sun となってる部分を

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/ とする。

なんか元がj2sdk1.5-sunになってたけど気にしない。

hadoop/bin/hadoopを開いて、

JAVA=$JAVA_HOME/bin/javaとなってる部分を

JAVA=$JAVA_HOME/Commands/java とした。

それから./bin/hadoop/で動作確認。一応動いた。

参考:

全般的なとこ

http://orukanmo.blogspot.com/2008/11/hadoop-quick-start-on-mac.html

設定書き換え

http://www.infosci.cornell.edu/hadoop/mac.html

Javaの確認

http://wiki.apache.org/hadoop/Running_Hadoop_On_OS_X_10.5_64-bit_%28Single-Node_Cluster%29

emacsの使い方

http://www.cs.shinshu-u.ac.jp/Lecture/SEMI1/intro-emacs/

本家quick start

http://hadoop.apache.org/common/docs/current/quickstart.html