windowsでscala開発環境を作る(IntelliJ)

環境情報 OS: Windows7 Home Premium Java開発環境: Oracle JDK 1.8u92 64bit Scala: 2.11.8 ビルドツール: sbt (IntelliJが自動ダウンロード) IDE: IntelliJ IDEA Java開発環境のインストール下記より該当のJDKをダウンロード＆インストール。193MBと重め…

2014-03-03

hadoopのビルド

hadoopというものがはやってきているらしく、ソースコードも読みだしたので自分でビルドぐらいできるようにならねばと思い、こころみた。環境概要 ======================Macbook Air 11インチ最小構成 java 1.7u51 git 1.7.12 (ソースコードのダウンロー…

2014-03-02

webコンテナ経由でjenkins起動

jenkinsというビルドを補助してくれるものに興味を持ったので作ってみた。一部はまったのでメモ。構成 =====================ホスト - MacbookAir + VMware Fusion(CentOS 6.4)コンテナ： - tomcat8.0.3jenkins： - jenkins 1.552java： - java 1.7.0_51別…

2013-07-28

vmware へのCentOS6.4の導入

今回はvmwareへCentOS 6.4を入れてみます。バージョンは以下。 - VMホスト: Windows 7 - 仮想化ソフト: VMWare Player 5.0.2 - ゲストOS: CentOS 6.4 以前に書籍の「CentOS 6 で作るネットワークサーバ構築ガイド」に同梱されていたＣＤを使ってインストー…

2013-05-12

trac on Ubuntu 10.04

tracの構築自宅のubuntu10.04にtracを構築した時のメモ導入サーバのバージョンなど apache 2.2.14 trac 0.11 subversion 1.6.6 sqlite 手順 1.インストール適当... # sudo apt-get install apache2 # sudo apt-get install libapache2-mod-python # sudo …

2013-04-25

HDFS-2427

webhdfs mkdirs api call creates path with 777 permission, we should default it to 755 webHDFSのAPIで新しくディレクトリを作った場合の権限が777がデフォルトであるが、デフォルトは755であるべきである。という話。パッチでは以下の多数のパラメータ…

2013-04-21

hadoop-7740

security audit logger is not on by default, fix the log4j properties to enable the logger security audit loggerではなくlog4jを使おうという話。パッチではhadoop起動コマンド、hadoop-env.sh、log4j.propertiesなどの記述を変更している。以下、had…

2013-04-04

ベンチマークの単位

ベンチマーク試験って色々ありますね。性能?スループット?果たして何が良ければいいのか。単位もたくさんありますね...。そもそも何向け?CPU?ディスクI/O? スループット(Throughput)：単位時間当たりの処理能力 MB/s(Mega Byte Per Second)：バイト。ネッ…

2013-04-03

CDH3u0からCDH3u1のバージョンによる機能の追加

CDH3u0-> CDH3u1の機能追加の差分まとめ・Snappy 圧縮の導入・Debian Lenny やSqueezeをサポート・DNのディスク障害をうまく(?)扱う・NNの安定性が増した・Fair SchedulerのACLを追加・Fuse-DFSの安定性と性能が改善した・HBaseのパッケージのアップ…

2013-04-02

NoSQLとRDBMSはどう違うのか

DB初心者がNoSQLとRDBMSの違いを調べてみた。 NoSQL=Not only SQL RDBMS=Relational DataBase Managiment System NoSQLのメリットは「性能」、「拡張性」、「非構造化データを扱えること」、「大規模データを扱える」だという。・性能 RDBMSは更新時などに…