ホームページ履歴解析

The Webalizer is a fast, free web server log file analysis program. 
It produces highly detailed, easily configurable usage reports in HTML format, 
for viewing with a standard web browser. 

It was written to solve several problems that I had with currently 
available analysis packages. A vast majority of them were written 
in Perl or some other scripting language, and took forever to run. 
Some were not free. Some even produced wrong results, 
or results that were not in a format I found very useful. 

(上の英文の私なりの解釈)

俺は、高速で動く、スゲーWeb解析のプログラムを作ったぜ！ 無料だぜ！
これだとメッチャ見やすくて、しかも詳細な結果が出るんだ。
そうそう、解析結果はHTML型式だから、大抵のブラウザーで見れるぜ！

今までにある解析ソフトが抱える、いくつかの問題も解決したぜ！
他のソフトはスクリプト言語で書いているから、おせぇーんだよ。
だから俺は「long time」じゃなく「forever」(永久)を使ったんだよ。
なかなか解析結果が出てこねー時は、イライラするぜ！

それに大した事ねぇのに、金とるソフトもあるし、
解析結果が悪い奴もあるんだよ。
俺が「これはええ！」と思う解析結果を出してくれるソフトって
案外なかったんだよ！

(私の言い訳)

上の英文を正確な訳をしろと言われると、
英語力も国語力もない非文系人間の私には非常に困る。
さて、この英文の場合、「It」が何を指しているかを
キチンと把握できるかどうかで、正しい訳にやっているのか
それとも誤訳になっているのかの別れ道になる。

というわけで、私が感じた雰囲気を伝える事にしました (^^;;

[suga@server]$ rpm -iq libpng
Name        : libpng                       Relocations: (not relocateable)
Version     : 1.0.12                            Vendor: Red Hat, Inc.
Release     : 2                             Build Date: 2001年07月17日 06時45分14秒
Install date: 2005年07月03日 19時53分35秒      Build Host: stripples.devel.redhat.com
Group       : System Environment/Libraries   Source RPM: libpng-1.0.12-2.src.rpm
Size        : 354504                           License: distributable
Packager    : Red Hat, Inc. 
URL         : http://www.libpng.org/pub/png/
Summary     : A library of functions for manipulating PNG image format files.
Description :
The libpng package contains a library of functions for creating and
manipulating PNG (Portable Network Graphics) image format files.  PNG
is a bit-mapped graphics format similar to the GIF format.  PNG was
created to replace the GIF format, since GIF uses a patented data
compression algorithm.

Libpng should be installed if you need to manipulate PNG format image files.

[suga@server]$ ./configure --with-language=japanese --enable-dns
(途中、省略)
checking for language file... yes - japanese
updating cache ./config.cache
creating ./config.status
creating Makefile
linking ./lang/webalizer_lang.japanese to webalizer_lang.h
[suga@server]$ 

「 --with-language=japanese」は使う言語の選択。もちろん日本語にした。

「--enable-dns」は、Apacheのログで、接続元がIPアドレスの場合、
ホスト名に変換するのに必要な、DNS機能を働かせるためのオプション

[suga@server]$ make
gcc -Wall -O2 -DETCDIR=\"/etc\"  -DHAVE_ERRNO_H=1 -DHAVE_SOCKET=1 -DHAVE_SYS_SOCKET_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MATH_H=1  -DUSE_DNS  -c webalizer.c
gcc -Wall -O2 -DETCDIR=\"/etc\"  -DHAVE_ERRNO_H=1 -DHAVE_SOCKET=1 -DHAVE_SYS_SOCKET_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MATH_H=1  -DUSE_DNS  -c hashtab.c
gcc -Wall -O2 -DETCDIR=\"/etc\"  -DHAVE_ERRNO_H=1 -DHAVE_SOCKET=1 -DHAVE_SYS_SOCKET_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MATH_H=1  -DUSE_DNS  -c linklist.c
gcc -Wall -O2 -DETCDIR=\"/etc\"  -DHAVE_ERRNO_H=1 -DHAVE_SOCKET=1 -DHAVE_SYS_SOCKET_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MATH_H=1  -DUSE_DNS  -c preserve.c
gcc -Wall -O2 -DETCDIR=\"/etc\"  -DHAVE_ERRNO_H=1 -DHAVE_SOCKET=1 -DHAVE_SYS_SOCKET_H=1 -DHAVE_GETOPT_H=1 -DHAVE_MATH_H=1  -DUSE_DNS  -c dns_resolv.c
dns_resolv.c: In function `resolve_dns':
dns_resolv.c:149: warning: passing arg 2 of pointer to function from incompatible pointer type
dns_resolv.c:149: too few arguments to function
dns_resolv.c: In function `dns_resolver':
dns_resolv.c:218: warning: implicit declaration of function `dbopen'
dns_resolv.c:218: warning: assignment makes pointer from integer without a cast
dns_resolv.c:228: too few arguments to function
dns_resolv.c:235: too few arguments to function
dns_resolv.c:275: warning: passing arg 2 of pointer to function from incompatible pointer type
dns_resolv.c:275: too few arguments to function
dns_resolv.c:329: too few arguments to function
dns_resolv.c:359: too few arguments to function
dns_resolv.c: In function `db_put':
dns_resolv.c:745: warning: passing arg 2 of pointer to function from incompatible pointer type
dns_resolv.c:745: too few arguments to function
dns_resolv.c: In function `open_cache':
dns_resolv.c:793: warning: assignment makes pointer from integer without a cast
dns_resolv.c:801: too few arguments to function
dns_resolv.c:807: too few arguments to function
dns_resolv.c: In function `close_cache':
dns_resolv.c:829: too few arguments to function
make: *** [dns_resolv.o] エラー 1
[suga@server]$ 

--enable-dns

DNS lookup features are added.  This simply adds the -DUSE_DNS compiler
switch.  Several dependencies are present when using the DNS code,
which is why it must be enabled manually.  If you system supports the
DNS functionality, great.. if not, don't enable it.

文章がわかりにくい！！
もしかして、本当は「わかりやすい文章」かもしれないが
私の英語力不足か、それともシステムの知識の不足のため
書かれている内容が理解できていないのかも  (--;;

Apacheのログを、接続元の記録をIPアドレスで記録している場合、
ログの集計時に、そのIPアドレスを読み込んで、DNSの逆引きの機能を使い
ホスト名に変換するためのオプションのようだ。

#
# HostnameLookups: Log the names of clients or just their IP addresses
# e.g., www.apache.org (on) or 204.62.129.132 (off).
# The default is off because it'd be overall better for the net if people
# had to knowingly turn this feature on, since enabling it means that
# each client request will result in AT LEAST one lookup request to the
# nameserver.
#
HostnameLookups On

赤い部分で「On」にすれば、Apacheのログの採取の際、
接続元のホストを、逆引きが可能な場合は、ドメイン名で
記録してくれる。

ただし、この機能を使うと、Apacheの負荷が高くなるため、
接続数が多いサイトでは、この機能を使わないのが
無難という記述も見かける。

もちろん、うちの会社では突風が吹いたりするような事はないため
この機能をつけていても全く問題ない。

LogFile        /usr/local/apache/logs/access_log

LogType        clf

OutputDir       /usr/local/apache/XXXX

PageType        htm*
#PageType        cgi
#PageType       phtml
PageType        php
#PageType       pl

最初の「LogFile」だが、集計に使うログファイルの場所を指定する。
Apacheのログのファイルを、そのまま使う場合には、上のような設定になる。

2番目の「LogType」だが、webalizerは、Apacheのログだけでなく
プロキシーのsquidと、ftpのソフト(何のftpかは調べていません)の
ログの集計も可能なため、どのソフトのログを使うのかを
指定する必要がある。「clf」と指定すれば、Apacheのログという意味になる。
この部分を設定しない場合、Apacheのログを集計という意味になる。

3番目は、集計した後に出力されるHTMLファイルや、グラフの画像を置く
ディレクトリーの指定になる。

4番目の「PageType」だが、Apacheの履歴にある閲覧したファイルで
どのファイルの拡張子の集計を取るかの指定を行う。
「htm*」とすれば、「htm」や「html」のファイルが集計される。
うちの会社はPukiwikiでホームページを運用しているため、
「php」を指定した。

/bin/awk ' $1 !~ /XXXXXX/ ' /usr/local/apache/logs/access_log > /usr/local/apache/logs/access_log-log

青い部分は、うちの会社のドメイン。
これを省かないと正確なデータはとれない。

これを、cronに埋め込んで、毎晩、集計すれば良いのだ。

# The Ignore* keywords allow you to completely ignore log records based
# on hostname, URL, user agent, referrer or username.  I hessitated in
# adding these, since the Webalizer was designed to generate _accurate_
# statistics about a web servers performance.  By choosing to ignore
# records, the accuracy of reports become skewed, negating why I wrote
# this program in the first place.  However, due to popular demand, here
# they are.  Use the same as the Hide* keywords, where the value can have
# a leading or trailing wildcard '*'.  Use at your own risk ;)

IgnoreSite     XXXXXX.co.jp

/usr/local/bin/webalizer -c /etc/webalizer.conf

「jp」ドメインが断トツだ。
「Unknown」は、IPアドレスがドメイン名に変換できなかった
つまりDNSの逆引きができなかった場所からの接続だ。

「com」はアメリカなのだが、日本のサイトでも「com」は多いので
アメリカの検索サイトなどの小数を除いて、日本からの接続と考えて良い。

アメリカだけでなく、中国、イタリア、ツバル、モーリシャス、
ベトナム、ドイツ、フランス、マレーシア、台湾、ブラジルがある。

取り引きのない国からの接続は何を意味しているのだろうか。
もしかして、うちの製品との取り引きを考えているために、
接続してきた可能性も少ないながらも考えられるかもしれないし、
海外の検索エンジンが自動的に接続してきたかもしれないし、
単なるホームページを狙った攻撃の記録かもしれない。

/bin/awk ' $1 ~ /co.jp/ && $1 !~ /XXXXXX/ ' /usr/local/apache/logs/access_log > /usr/local/apache/logs/access_log-co

青い部分は、うちの会社のドメイン。
これを省かないと正確なデータはとれない。

これを、cronに埋め込んで、毎晩、集計すれば良いのだ。

さすがに、この中身は公表できないので、黒く塗りつぶしました (^^;;

異業種の家電メーカ、精密機器会社などの接続もあり、
もしかしたら、異業種間の提携のために、情報収集の痕跡かなぁと
思ったりもする。

このグラフの凄いのは、日にちの部分の色で平日は黒だが、
土日は緑色なっている。

「co.jp」は基本的には企業からの接続になる。
土日が休みの所が大半のせいか、土日の接続が、ほとんどない。

さすがに昔のリゲインのCMのように「24時間戦えますか！」
という企業はなさそうで、真夜中の接続はなかった。

でも、晩の9時、10時の接続がある事から、遅くまで残業されておられる方が
おられるのは明確なので、「お疲れさま」と声をかけたくなる。

# Your own site should be hidden
#HideSite       *mrunix.net
#HideSite       localhost

# Your own site should be hidden
HideSite       XXXX.co.jp
#HideSite       localhost

# Your own site should be hidden
HideSite        .jp
#HideSite       localhost

見事に「jp」ドメインの集計が隠れている。

黒塗の部分だが、IPアドレス(DNSで逆引きできなかった所)は
隠しておきました。

IgnoreSite     .jp
#IgnoreURL      /test*
#IgnoreReferrer file:/*
#IgnoreAgent    RealPlayer
#IgnoreUser     root

# The Hide*, Group* and Ignore* and Include* keywords allow you to
# change the way Sites, URL's, Referrers, User Agents and Usernames
# are manipulated.  The Ignore* keywords will cause The Webalizer to
# completely ignore records as if they didn't exist (and thus not
# counted in the main site totals).  The Hide* keywords will prevent
# things from being displayed in the 'Top' tables, but will still be
# counted in the main totals.  The Group* keywords allow grouping
# similar objects as if they were one.  Grouped records are displayed
# in the 'Top' tables and can optionally be displayed in BOLD and/or
# shaded. Groups cannot be hidden, and are not counted in the main
# totals. The Group* options do not, by default, hide all the items
# that it matches.  If you want to hide the records that match (so just
# the grouping record is displayed), follow with an identical Hide*
# keyword with the same value.  (see example below)  In addition,
# Group* keywords may have an optional label which will be displayed
# instead of the keywords value.  The label should be seperated from
# the value by at least one 'white-space' character, such as a space
# or tab.

ピンクの部分が「Ignore」の説明だ。
完全にデータの集計から無視すると書いている。

青い部分が「Hide」の部分だ。
順位表からは外されるが、集計される事を書いている。
そのため「jp」ドメインを「Hide」を使って隠しても
グラフでは表示されるわけだ。

GroupSite      *.ne.jp
#GroupSite      *.compuserve.com

「ne.jp」ドメインという一括した形で集計されるのがわかる。
一括して集計している所だけ、背景の色も違う。

ただ、「ne.jp」ドメインが一括された形なのだが、
個々の「ne.jp」ドメインを持った「ocn.ne.jp」なども
集計に載ってくる。

一括集計だからと行って、それを構成している個々の物が
順位表から消えるわけではない。
この事から「jp」ドメインが集計対象から外されている事がわかる。

GroupDomains   1

「1」をした場合、左から2番目までのドメインを1つの単位にして
集計を行うというのだ。
初期設定では「0」になっている。初期設定ではグループ化を
行わないという設定だ。

GroupDomains   2

GroupShading   no

GroupHighlight no

# The Hide*, Group* and Ignore* and Include* keywords allow you to
# change the way Sites, URL's, Referrers, User Agents and Usernames
# are manipulated. The Ignore* keywords will cause The Webalizer to
# completely ignore records as if they didn't exist (and thus not
# counted in the main site totals). The Hide* keywords will prevent
# things from being displayed in the 'Top' tables, but will still be
# counted in the main totals. The Group* keywords allow grouping
# similar objects as if they were one.  Grouped records are displayed
# in the 'Top' tables and can optionally be displayed in BOLD and/or
# shaded. Groups cannot be hidden, and are not counted in the main
# totals. The Group* options do not, by default, hide all the items
# that it matches.  If you want to hide the records that match (so just
# the grouping record is displayed), follow with an identical Hide*
# keyword with the same value.  (see example below)  In addition,
# Group* keywords may have an optional label which will be displayed
# instead of the keywords value.  The label should be seperated from
# the value by at least one 'white-space' character, such as a space
# or tab.

TopSites        7

AllSites       yes

# The "Top" options below define the number of entries for each table.
# Defaults are Sites=30, URL's=30, Referrers=30 and Agents=15, and
# Countries=30. TopKSites and TopKURLs (by KByte tables) both default
# to 10, as do the top entry/exit tables (TopEntry/TopExit).  The top
# search strings and usernames default to 20.  Tables may be disabled
# by using zero (0) for the value.

#TopSites        30
#TopKSites       10
#TopURLs         30
#TopKURLs        10
#TopReferrers    30
#TopAgents       15
#TopCountries    30
#TopEntry        10
#TopExit         10
#TopSearch       20
#TopUsers        20

int     ntop_sites   = 30;                    /* top n sites to display   */
int     ntop_sitesK  = 10;                    /* top n sites (by kbytes)  */
int     ntop_urls    = 30;                    /* top n url's to display   */
int     ntop_urlsK   = 10;                    /* top n url's (by kbytes)  */
int     ntop_entry   = 10;                    /* top n entry url's        */
int     ntop_exit    = 10;                    /* top n exit url's         */
int     ntop_refs    = 30;                    /* top n referrers ""       */
int     ntop_agents  = 15;                    /* top n user agents ""     */
int     ntop_ctrys   = 30;                    /* top n countries   ""     */
int     ntop_search  = 20;                    /* top n search strings     */
int     ntop_users   = 20;                    /* top n users to display   */

ソースコードに初期値が埋め込まれているため、
設定ファイルの部分は「#」で読み飛ばしになっていても
キチンと表示されるのだ。

しかし、設定ファイルを触らずに、コンパイル前に、
こんな所を触って設定する人はいないだろうと思う (^^;;

HostName       Test

HostName       Web Access Data

HostName       うちの会社のサーバーへの接続統計

# HostName defines the hostname for the report.  This is used in
# the title, and is prepended to the URL table items.  This allows
# clicking on URL's in the report to go to the proper location in
# the event you are running the report on a 'virtual' web server,
# or for a server different than the one the report resides on.
# If not specified here, or on the command line, webalizer will
# try to get the hostname via a uname system call.  If that fails,
# it will default to "localhost".

「HostName」でホスト名を定義する。
でも、実際のホスト名を書く必要はなく、ピンクの部分にあるように
単なる題名にしかすぎないのだ。だから何を指定しても良い事になる。

青い部分は、もし、この部分の設定を行わなかった場合の事が書かれている。
何も指定されていない場合は、unameのシステムコールを使って
ホスト名を呼び出して表示させ、もし、ホスト名の呼び出しに失敗すれば、
「localhost」を表示させるようだ。

# Country Graph allows the usage by country graph to be disabled.
# Values can be 'yes' or 'no', default is 'yes'.

#CountryGraph   yes

# DailyGraph and DailyStats allows the daily statistics graph
# and statistics table to be disabled (not displayed).  Values
# may be "yes" or "no". Default is "yes".

#DailyGraph     yes
#DailyStats     yes

# HourlyGraph and HourlyStats allows the hourly statistics graph
# and statistics table to be disabled (not displayed).  Values
# may be "yes" or "no". Default is "yes".

#HourlyGraph    yes
#HourlyStats    yes

赤い部分は国別ドメインのグラフの有無の設定。
初期設定では表示になっている。

青い部分は日にち別のグラフと順位表の表示の有無の設定。
初期設定では表示になっている。

ピンクの部分は月ごとの順位表の表示の有無の設定。
初期設定では表示になっている。

# HTMLExtension allows you to specify the filename extension to use
# for generated HTML pages.  Normally, this defaults to "html", but
# can be changed for sites who need it (like for PHP embeded pages).

#HTMLExtension  html

# HTMLExtension allows you to specify the filename extension to use
# for generated HTML pages.  Normally, this defaults to "html", but
# can be changed for sites who need it (like for PHP embeded pages).

HTMLExtension  acho

[suga@server]$ ls
ctry_usage_200701.png   daily_usage_200703.png   site_200701.acho   usage_200702.acho
ctry_usage_200702.png   hourly_usage_200701.png  site_200702.acho   usage_200703.acho
ctry_usage_200703.png   hourly_usage_200702.png  site_200703.acho   webalizer.current
daily_usage_200701.png  hourly_usage_200703.png  usage.png          webalizer.hist
daily_usage_200702.png  index.acho               usage_200701.acho

<TR><TD NOWRAP><A HREF="usage_200702.acho"><FONT SIZE="-1">Feb 2007</FONT></A></TD>
<TD ALIGN=right><FONT SIZE="-1">1430</FONT></TD>
<TD ALIGN=right><FONT SIZE="-1">1378</FONT></TD>

#GroupUser      root            Admin users
#GroupUser      admin           Admin users
#GroupUser      wheel           Admin users