最近在玩qPlurk遇到的一個問題
UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-44: ordinal not in range(128)
好像是因為再拿html的時候出的問題
解決的辦法就是利用
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
reference:
從這個站看來的
2009年7月15日 星期三
2009年7月12日 星期日
校園漫遊 with hinet wlan
最近需要在外面上網，然後又知道hinet有個專案是讓大專院校可以有機會在外面無線上網，
不過一開始不知道怎麼弄，後來查了一下，以下是相關步驟
step1:
先看看自己的學校有沒有在上面
http://wlanrc.nchc.org.tw/
step2:
以清大為例子要上這個網站申請
http://www.wlan.nthu.edu.tw/
step3:
以在自己學校申請的帳號為漫遊帳號
然後到這裡在申請啟動，如此才能在外面上網
http://wsp.twroam.org.tw/
台北地區都有wlan或是wifly真的很方便，很多地方都可以讓你無線上網
真的是很不錯，什麼國中國小，seven都有訊號，再加上可以免費上網，真是太便利了
2009年7月10日 星期五
unmet dependencies
今天要裝PyQT來玩玩看
沒想到一直遇到unmet dependencies的問題，查了超久也不知道所以然..
而且好像很多人遇到，也試過打apt-get -f install
不過我的訊息好像是broken package，所以最後猜測要換sourcelist
去找ubuntu 9.04的站點，最後從這個站點， 找到下列這些
deb ftp://os.nchc.org.tw/ubuntu jaunty-updates main restricted universe multiverse deb ftp://os.nchc.org.tw/ubuntu jaunty main universe multiverse restricted deb ftp://os.nchc.org.tw/ubuntu jaunty-backports main universe multiverse restricted deb ftp://os.nchc.org.tw/ubuntu jaunty-proposed main universe multiverse restricted deb ftp://os.nchc.org.tw/ubuntu jaunty-security main restricted universe multiverse #deb-src ftp://os.nchc.org.tw/ubuntu jaunty-updates main restricted universe multiverse #deb-src ftp://os.nchc.org.tw/ubuntu jaunty main universe multiverse restricted #deb-src ftp://os.nchc.org.tw/ubuntu jaunty-backports main universe multiverse restricted #deb-src ftp://os.nchc.org.tw/ubuntu jaunty-proposed main universe multiverse restricted #deb-src ftp://os.nchc.org.tw/ubuntu jaunty-security main restricted universe multiverse
Ubuntu Linux GPG Key 匯入
這篇是我一直有的問題
再用過Lazyscripts後,
sudo apt-get update會出現
W: GPG error的問題
參考Tsung's Blog
原來是要這樣解
- sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com key_value
- sudo apt-get update ps. 如果多個 PUBKEY, 可以空格隔開,
2009年7月9日 星期四
Hadoop 安裝
前陣子參加了趨勢的雲端設計比賽，雖然沒寫出什麼東西，不過卻學了這套軟體，說穿了就是把自己寫好的程式，將他分散化到不同的server上運行，不過小弟是窮人，沒有那麼多的server，所以就只能先裝在自己的筆電上面，以下就是紀錄我的安裝過程：
Environment: Ubuntu 9.04 Hadoop (現在最新的版本是0.20)
需要安裝:
Java1.6
sudo apt-get install sun-java6-jdk
JDK會被放在/usr/lib/jvm/java-6-sun
這個時候可以去check一下/etc/jvm 應該會像
# /etc/jvm # # This file defines the default system JVM search order. Each # JVM should list their JAVA_HOME compatible directory in this file. # The default system JVM is the first one available from top to # bottom. /usr/lib/jvm/java-6-sun /usr/lib/jvm/java-gcj /usr/lib/jvm/ia32-java-1.5.0-sun /usr/lib/jvm/java-1.5.0-sun /usrssh rsync sudo apt-get install ssh rsync
因為Hadoop之間要用SSH溝通
Adding Hadoop User
sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop
設定SSH
su - hadoop ssh-keygen -t rsa -P "" cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys這樣是建立使用SSH連線不用密碼 接著可以用ssh localhost看看是否正常
Install Hadoop
cd /opt sudo tar zxvf hadoop-0.20.0.tar.gz sudo mv hadoop-0.20.0 hadoop sudo chown -R hadoop:hadoop hadoop
也可以使用人家包好的deb http://www.cloudera.com/hadoop-deb
Configuration
/opt/hadoop/conf/hadoop-env
修改路徑
export JAVA_HOME=/usr/lib/jvm/java-6-sun
/opt/hadoop/conf/hadoop-site.xml
修改內容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/your/path/to/hadoop/tmp/dir/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a FileSystem.</description>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>Formatting the name node
建立namenode
/opt/hadoop/bin/hadoop namenode -format
啟動Hadoop
/opt/hadoop/bin/start-all.sh
Hadoop Web Interfaces
Hadoop 提供了Web 介面 (conf/hadoop-default.xml):
http://localhost:50030/ - web UI for MapReduce job tracker(s)
http://localhost:50060/ - web UI for task tracker(s)
http://localhost:50070/ - web UI for HDFS name node(s)
