webhdfs mkdirs api call creates path with 777 permission, we should default it to 755 webHDFSのAPIで新しくディレクトリを作った場合の権限が777がデフォルトであるが、デフォルトは755であるべきである。という話。 パッチでは以下の多数のパラメータ…

security audit logger is not on by default, fix the log4j properties to enable the logger security audit loggerではなくlog4jを使おうという話。 パッチではhadoop起動コマンド、hadoop-env.sh、log4j.propertiesなどの記述を変更している。以下、had…

ベンチマーク試験って色々ありますね。 性能?スループット?果たして何が良ければいいのか。 単位もたくさんありますね...。 そもそも何向け?CPU?ディスクI/O? スループット(Throughput)：単位時間当たりの処理能力 MB/s(Mega Byte Per Second)：バイト。ネッ…

CDH3u0-> CDH3u1の機能追加の差分まとめ ・Snappy 圧縮の導入 ・Debian Lenny やSqueezeをサポート ・DNのディスク障害をうまく(?)扱う ・NNの安定性が増した ・Fair SchedulerのACLを追加 ・Fuse-DFSの安定性と性能が改善した ・HBaseのパッケージのアップ…

DB初心者がNoSQLとRDBMSの違いを調べてみた。 NoSQL=Not only SQL RDBMS=Relational DataBase Managiment System NoSQLのメリットは「性能」、「拡張性」、「非構造化データを扱えること」、「大規模データを扱える」だという。 ・性能 RDBMSは更新時などに…