Мы — долго запрягаем, быстро ездим, и сильно тормозим.

FreeBSD
  настройка
  подсчёт трафика
  программы
  frox
  SARG
  samba & ClamAV
  named
  proftpd
  cacti
  SAMBA+AD+NT ACL
  MySQL
  hylafax
  DDNS+DHCP
  cvsupd
  Samba как PDC
  Основы LDAP
  LDAP+SSL
  LDAP auth
  knockd
  rsync
  MRTG
  Rejik
  Jabber - OpenFire
  Samba(PDC) + Ldap
  squid+AD
  ATSlog
  vsftpd
  LDAP: samba, dns, dhcp
  Free-SA
  cups-samba на samba+AD
  irc + services
  Nagios - мониторинг сети
  TeamSpeak
  icecast2
  verlihub (p2p)
  Icecast2 + Darkice
  OOPS
  vsftpd + mysql
  Amanda
  HAVP
  Рыбалка на FreeBSD
  DNS сервер NSD
  DNS сервер Unbound
  mpd5, msmtp, dynamic ip
  ProFTPd + LDAP
  OpenVPN + LDAP
  Samba (PDC+BDC)
  BIND & AD
  POWERDNS
  3proxy
  eGroupWare
  GLPI
  SugarForge CRM
  Bacula
  Mysql - базовое описание
  Asterisk IP PBX
  Samba & CUPS & AD & ACL
  SMSTools 3
  Samba+ NT ACL
  phpmyadmin
  1С:Предприятие 8.1
  PurefFTPd
  qemu network
  AimSniff
  comms/scmxx
  Zoneminder
  Openfire Jabber Server
  Zoneminder 2
  Принт-Сервер Samba+LPD & AD
  Кластер OpenLDAP 2.4
  Lightsquid
  Установка Zabbix-1.6
  Установка net2ftp
  VSFTPD + AD && MySQL
  Network UPS Tools
  mpd5 L2TP client
  Apache 2.2 as a proxy
  ejabberd+mysql+icq
  HotSpot
  Установка и использование Zenoss на FreeBSD 7.2
  mysql-proxy
  DNS zones
  squid+sams+sqstat
  transmission-daemon
  Squid+AD (group access)
  SysAid Server
  MySQL Master+Master
  proftpd file auth&quota
  usb_modeswitch
  NSDadmin
  iperf Тест скорости между хостами
  Простой факс-сервер mgetty+sendfax
  SQUID-MultiCpuSystem
  vsftpd + system users
  Syslog server
  Температура в серверной
  Nagios+Digitemp
  Avast! FreeBSD
  Настройка git+gitosis
  Firefox SyncServer
  Scan+Print server FreeBSD 9
  proftpd,pgsql,web
  почтовые системы
  Шелезяки
  Мелочи
  Файловая система
  WWW
  Security
  system
  Games Servers
  X11
  Programming
Очумелые Ручки
OpenBSD
Cisco


www.lissyara.su —> статьи —> FreeBSD —> программы —> Free-SA

Анализатор статистики Free-SA

Автор: Andy.


Про анализаторы журналов прокси сервера Squid, на этом сайте, было сказано
достаточно много. В основном, рассматривались две программы: Sarg и Lightsquid.
Мне на глаза попалась еще одна программа, выполняющая функции, аналогичные
вышеперечисленным программам - Free-SA.
Привлек тот факт, что программа отечественная. "Отечественное - значит лучшее",
однажды изрек lissyara. Тезис, конечно, спорный, но в данном случае, он оказался прав.

Сначала обновим порты, процедура стандартна и уже не раз описана на этом сайте,
поэтому повторяться не буду. Итак, идем в директорию с портами и устанавливаем
программу:
cd /usr/ports/www/free-sa/ && make install clean

Опции конфигурирования при сборке во FreeBSD отсутствуют, да и сама программа
довольно маленькая.

После установки перечитаем пути:
rehash

Либо, если у вас sh или bash
hash -r

По адресу /usr/local/etc/free-sa/free-sa.conf.sample находится образец
файла конфигурации Free-SA. Его необходимо скопировать по тому же пути,
только с именем free-sa.conf. Небольшое пояснение по формату
конфигурационного файла Free-SA: его булевы опции могут принимать значения:
true/false,yes/no,
enable/disable, 1/0. Конфигурационный файл
должен обязательно заканчиваться пустой строкой.

Ниже приведено краткое описание опций конфигурационного файла free-sa.conf,
более подробную информацию можно посмотреть в руководстве
на данный файл (man free-sa.conf).

#
# Sample configuration file for free-sa(1)
#
# copy to /usr/local/etc/free-sa/free-sa.conf
#


#########
# FILES #
#########

#Полный путь к журналу. В нашем примере рассматриваем журнал Squid.
log="/var/log/squid/logs/access.log"

#Полный путь к файлу-таблице преобразования имен пользователей. В этом файле 
#назначаются соответствия отображаемых в отчетах имен пользователей указанным в
#журнале именам пользователей или ip адресам.
usertab="/usr/local/etc/free-sa/usertab"

#Полный путь к файлу, содержащему расширения для отчета "Закачки".
#В комплекте идет несколько образцов таких файлов, включая образцы с 
#расширениями аудио, видео, исполняемых файлов и файлов CD/DVD-образов.
downloads="/usr/local/etc/free-sa/downloads.sample"

#Полный путь к файлу локального фильтра. Локальный фильтр позволяет с 
#использованием специальных выражений добавить еще один отчет, причем 
#пользователь может сам определять, что должно отображаться в этом отчете.
local_filter=""

#Полный путь к файлу глобального фильтра. Глобальный фильтр имеет синтаксис 
#подобный локальному (некоторые опции локального не доступны для глобального). 
#Он позволяет пользователю указать критерии, при помощи которых фильтруется 
#содержимое почти всех отчетов.
global_filter=""


###############
# DIRECTORIES #
###############

#Полный путь к директории, в которую Free-SA должен разместить директорию и 
#файлы отчета за определенный период.
targetdir="/usr/local/www/data/free-sa"

#Полный путь к директории, в которой Free-SA хранит рабочие файлы во время 
#генерации очередного отчета. Этому параметру лучше не присваивать значения 
#/tmp, так как при старте Free-SA его полностью очищает, к тому же небезопасно 
#хранить в общедоступной директории вполне читаемые файлы со статистикой всех 
#пользователей.
tmpdir="/var/cache/free-sa"


#####################
# REPORTS SELECTION #
#####################

#Формировать отчет "Популярные сайты".
ts="true"

#Формировать отчет "Ошибки аутентификации на прокси" (код 407).
paf="true"

#Формировать отчет "Ошибки аутентификации на сайтах" (код 401).
saf="true"

#Формировать отчет "Запрет на прокси" (код 403). Сюда попадут только URL 
#блокированные прокси при помощи списков контроля доступа (ACL).
pdn="true"

#Формировать отчет "Запрет на сайтах" (код 403).
sdn="true"

#Формировать отчет "Метод прямого соединения CONNECT".
cct="true"

#Формировать отчет "Метод отправки данных PUT/POST".
pst="true"

#Формировать отчет "Закачки". Закачки определяются согласно файла расширений, 
#указываемого через опцию downloads.
dld="false"

#Создавать подробный отчет на каждого пользователя, в котором будут отображаться 
#только URL посещенных пользователем сайтов.
users="true"

#Создавать расширенный отчет на каждого пользователя, в котором будут 
#отображаться полные URL посещенных пользователем ссылок. При включении этой 
#опции общее время генерации отчета за период увеличивается.
fullurl="true"

#Создавать отчет "Пользователи" в текстовом формате и отправлять его
#на e-mail адрес указанный в строке. При указании '-' в качестве e-mail адреса, 
#отчет будет выведен на stdout.
#email=""


##################
# REPORTS LIMITS #
##################

#Ограничить количество отображаемых URL на одного пользователя в соответствующих 
#отчетах. См. секцию REPORTS SELECETION с описанием отчетов.
#0 - отсутствие лимита. По умолчанию: 50.
#paf_limit="50"
#saf_limit="50"
#pdn_limit="50"
#sdn_limit="50"
#cct_limit="50"
#pst_limit="50"
#dld_limit="50"
#lcf_limit="50"

#Ограничить количество символов в видимой части URL для всех отчетов. Это 
#полезно, чтобы таблицы отчетов не расползались в ширину из-за присутствия 
#слишком длинных URL. При клике по такой укороченной URL ссылке или наведении на 
#нее курсора мышки вы соответственно или перейдете на полную URL или увидите ее 
#в строке статуса браузера.
#0 - отсутствие лимита. По умолчанию: 50.
#url_limit="50"

#Ограничить количество сайтов в отчете "Популярные сайты".
#0 - отсутствие лимита. По умолчанию: 0.
#ts_limit="0"

#Отображать справа индикаторы соответствующие присутствие ссылок в 
#paf/saf/и.т.п. отчетах к пользователям, URL сайтов и полным URL.

#Минимальный размер файла по URL, который необходимо отображать в отчете  
#"Закачки".
#0 - отсутствие лимита. По умолчанию: 0.
#dld_min="0"

#Интервал обновления страницы для отчета реального времени (free-sa.cgi),
#указывается в миллисекундах. По умолчанию: 5000, т.е. 5 секунд.
#rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################

#Имя отчета за период, которое будет отображено в списке всех отчетов за период.
#По умолчанию: полный путь к файлу конфигурации.
name="My report"

#Формат журнала. 0 соответствует родному формату журнала Squid.
logformat="0"

#Пропускать ошибочные записи в журнале и продолжать его анализ со следующей 
#записи. По умолчанию, при обнаружении ошибочной записи, Free-SA остановит 
#анализ журнала и начнет генерировать отчеты.
#skip_errors="false"

#Создать отчет за период с полной информацией, то есть в отчет будут
#включены и попадания в кэш и локальный трафик и реальный трафик, который 
#ушел/пришел в/из сети Internet.
fulltraffic="true"

#Отображать в отчетах имена пользователей, когда в журнале есть и имена 
#пользователей и IP адреса.
inameuser="true"

#Экранировать имена пользователей в локали UTF-8. Это полезно при
#использовании Squid с NTLM аутентификацией, когда имена пользователей содержат 
#не ASCII символы.
#user_unescape="false"

#Отображать справа индикаторы соответствующие присутствие ссылок в 
#paf/saf/и.т.п. отчетах к пользователям, URL сайтов и полным URL.
indicators="true"

#При создании нового файла отчетов, удалять старые файлы, согласно следующего 
#правила:
#2 - означает удалять все старые отчеты, диапазон дат которых лежит внутри 
#диапазона нового отчета с точностью в 1 секунду.
#1 - означает удалять все старые отчеты, диапазон дат которых соответствует 
#диапазону нового отчета с точностью в 1 день.
#Удаление происходит после создания нового отчета или при запуске Free-SA с 
#опцией -F.
overwrite="2"

#Пытаться преобразовывать IP адрес из журнала в имя, и использовать это имя в 
#качестве имени пользователя в отчетах. Данная опция может сильно замедлить 
#создание отчета.
#resolveip="false"

#Отображение информации о Free-SA внизу страницы каждого отчета "a la" Squid.
showinfo="true"

#Для определенных журналов строка ниже будет использоваться как префикс для 
#адреса сайта.
#site=""

#Картинка или логотип, отображаемая наверху страницы каждого отчета.
#Можно использовать как относительные, так и абсолютные URL.
#logo=""

#Переключать локаль на указанную ниже после разбора опций командной строки. 
#Это полезно, когда необходимо запускать Free-SA через crond. При этом в самом 
#crontab опции командной строки следует указывать в формате локали, в которой 
#произойдет запуск Free-SA (это замечание критично для дат в опции -d).
#locale=""

#Удалять отчеты, старше указанного времени в секундах. Можно также использовать 
#ключевые слова: year, quarter, month, week, day.
#Удаление происходит после создания нового отчета или при запуске Free-SA с 
#опцией -F.
#rotate=""

#Единицы измерения, используемые в файле отчета (байты, килобайты, магабайты и 
#т. д.). При указании единицы измерения "v" будет использован адаптивный 
#механизм: 1 байт отобразится как "1", а 1024 байт уже как "1к".
#По-умолчанию: байты.
divisor="b"

А теперь, небольшое сравнение скорости журналов при помощи Sarg'а и Free-SA.

Использовался следующий лог файл:

powercharge# free-sa -s

Log file information:
File name:		/home/andy/squid.log
File size:		9 606 098 556
Start date and time:	01.01.2009 00:01:25
End date and time:	01.02.2009 00:01:07

Переходим в обычный POSIX shell, ибо csh отказывается принимать
ключ -h у команды time:
sh

Запускаем Free-SA:
# time -h free-sa -l /home/andy/squid.log -o /home/andy/reports/
1h14m23,19s real                37m21,60s user          2m34,73s sys

Теперь попробуем Sarg:
# time -h sarg -l /home/andy/squid.log -o /home/andy/reports/

/usr: create/symlink failed, no inodes free
SARG: (report) Не могу открыть файл: /home/andy/reports//01Jan2009-01Feb2009/mni
kolaev/ttmnikolaev-qip_ru_images_bg_left__gif.html
4h57m42,64s real                1h37m34,65s user                1h36m51,98s sys

К сожалению, тест не удалось провести до конца, потому, что закончились
свободные иноды. Использовался следующий конфиг Sarg'а:
cat /usr/local/etc/sarg/sarg.conf
language Russian_koi8
access_log /DOWNLOADS/logsamples/squid.log.hmb
graphs yes
title "My test report"
temporary_dir /home/andy/sarg/
output_dir /home/andy/reports/
date_format e
use_comma yes

topsites_num 100000
topsites_sort_order BYTES D
max_elapsed 0
report_type topusers topsites sites_users \ 
users_sites date_time denied auth_failures \
site_user_time_date downloads
long_url yes
date_time_by bytes
charset Koi8-r
user_invalid_char ""
show_successful_message no
show_read_statistics no
topuser_fields NUM DATE_TIME USERID CONNECT BYTES %BYTES\
TOTAL AVERAGE 
user_report_fields CONNECT BYTES %BYTES TOTAL AVERAGE
bytes_in_sites_users_report yes
topuser_num 0
show_sarg_info yes
show_sarg_logo no
displayed_values bytes
authfail_report_limit 50
denied_report_limit 50
siteusers_report_limit 500000
user_report_limit 500000
external_css_file /usr/local/etc/sarg/css.tpl
download_suffix "000,3gp,7z,aac,ace,amr,ape,arj,asf,avi,\
b5i,bat,bin,bwi,bwt,bz2,bzip,c2d, сab,ccd,cdi,cgz,cif,cmd,\
com,cpio,cue,daa,dao,dll,dmg,exe,flac,flv,gcd,gi,gz,gz,ha,\
ha,img,iso,lcd,lha,lnk,lz,lzh,m2v,mdf,mds,mkv,mod,mov,\
movie,mp3,mp4,mpe,mpeg,mpg,mxu,ncd,nrg,ogg,pdi,pif,psx,\
ra,rar,raw,scr,sh,shs,src,sys,tao,tar,tgz,tta,vc4,vcd,vdi,\
vob,wav,wma,wmv,wv,xbx,Z,zip"

Небольшое отступление. Free-SA версий с 1.4.5 до 1.5.1 некорректно
работали во FreeBSD 7.0, вылетая с ошибкой sh environment corrupt.
Эта ошибка устранена в версии 1.5.1.

Картинка с внешним видом Free-SA по умолчанию:


Детальный отчет выглядит так:



P.S: Порт можно изменить для повышения производительности.
Для этого необходимо заменить имеющийся патч в
/usr/ports/www/free-sa/files/patch-global.mk на такой:
файл скачан размер размещён примечание
patch-global.mk
745 1.9kb 2009-02-18 измененный патч файл

p.S: Патч повесил в pr: http://www.freebsd.org/cgi/query-pr.cgi?pr=ports/131709
P.P.S: Дополнительная оптимизация не будет работать во FreeBSD 6 ветки,
потому, что в имеющимся там gcc, нет опции native.



Ссылка на обсуждение: http://forum.lissyara.su/viewtopic.php?f=14&t=15537.

размещено: 2009-02-18,
последнее обновление: 2009-02-18,
автор: Andy

оценить статью:

FireStorm, 2009-02-19 в 3:14:50

"Отечественное - значит лучшее"
Нет, не так.
"Советсткое - значит отличное"

Smartpol, 2009-02-19 в 9:16:43

У меня изначально стояла free-sa, но как-то по внешнему виду отчеты Lightsquid'a понравились больше, хотя Free-SA удалять не стал - есть там одна особенность, которой нет в Lightsquid'e - лог отказов в авторизации - то есть можно посмотреть, кто пытался залезть туда, куда низзя - иногда очень удобно. Главное, при параллельном использовании отключить опцию Free-SA очистки логов после обработки.

saper, 2009-02-19 в 22:30:58

2Smartpol: А с каких пор Free-SA по-умолчанию что то очищает в логах?

drurus, 2009-04-17 в 11:44:19

From:    Pav Lucistnik <pav@FreeBSD.org>
Date:    Sun, 22 Mar 2009 21:40:36 +0100
I suggest dropping this whole patch. The flags goes against our policy
that ports should respect global system cflags.

PS -O4 more rice, ooh yeah. Highest opt.level recognized by gcc is 3.
Authors have no clue, obviously.
==
Видимо стоило через "диалог" дать возможность пользователю включать/отключать оптимизацию. А так..наверное не примут его.

saper, 2009-04-25 в 0:20:53

> Authors have no clue, obviously.
That's not correct. There were multiple reasons.


Оставьте свой комментарий:
Ваше имя:   *
e-mail:  
жирный
наклонный
подчёркнутый
ссылка
цвет
Нынешний год:   *
 


Хостинг HOST-FOOD

2014-07-27, lissyara
gmirror

Удалённое создание софтверного зеркала средствами gmirror, на диске разбитом с использованием gpart. Использование меток дисков для монтирования разделов.
2013-08-20, zentarim
Scan+Print server FreeBSD 9

Настройка сервера печати и сервера сканирования под управлением операционной системы FreebSD 9 для МФУ Canon PIXMA MP540
2011-11-20, BlackCat
Разъём на WiFi-карту

Делаем съёмной несъёмную антену на WiFi-карте путём установки ВЧ-разъёма
2011-09-14, manefesto
Настройка git+gitosis

Настройка системы контроля версия исходного кода в связке git+gitosis+ssh
2011-08-14, zentarim
Wi-FI роутер + DHCP + DNS

Настройка Wi-Fi роутера на Freebsd 8 + DNS сервер + DHCP сервер: чтобы Wi-Fi клиенты были в одной подсети с проводными, проводные и беспроводные клиенты получали адреса автоматически по DHCP, кэширующ
2011-06-15, -ZG-
Охранная система на FreeBSD+LPT

В этой статье описана попытка реализации простой охранной системы на базе FreeBSD с подключением к ней охранных устройтсв на LPT порт и видеорегистрацией.
2011-03-13, terminus
ng_nat

Описание работы ng_nat, практическое использование, достоинства и недостатки в сравнении с ipfw nat
2011-02-20, Капитан
Nagios+Digitemp

Статья описывает создание системы оповещения о превышении температуры в специальных помещениях на основе Nagios с использованием программы Digitemp.
2011-02-17, Le1
Zyxel Configuration

Скрипт для массового изменения конфига свичей Zyxel. Берет из файла iplist список ip-шек, заходит последовательно на каждый и выполняет комманды из файла commands, записывая происходящее в лог файл.
2011-02-16, fox
hast carp zfs ucarp cluster

HAST (Highly Available Storage), CARP, UCARP, ZFS, Cluster настройка и одаптация плюс личные размышления…
2011-02-04, BlackCat
Восстановление ZFS

История о том, как был восстановлен развалившийся RAIDZ ZFS-пул (перешедший в FAULTED) с помощью скотча и подручных средств. Или о том, какие приключения ожидают тех, кто не делает резервных копий.
2011-02-03, Капитан
1-Wire

Статья описывает самостоятельное изготовление контроллера DS9097 для съёма показаний с датчиков температуры DS1820 с помощью программы Digitemp.
2011-01-28, Капитан
Температура в серверной

Статья описывает построение системы наблюдения за температурой в помещении серверной с использованием программы Digitemp и выводом графиков в MRTG
2011-01-21, m4rkell
Syslog server

Как то буквально на днях, у нас завалилось, что то в еве) или не в еве не суть. Суть в том, что когда захотели снять логи с хостов esx обнаружили, что хранят эти негодяи логии только за последнии сутк
2011-01-07, lissyara
Canon/gphotofs

Монтирование цифровых фотоаппаратов Canon (PTP) как файловой системы, автоматизация этого процесса через события devd и внешние скрипты.
2010-12-13, Al
IPSec

Описание принципов работы IPSEC и способов аутентификации.
2010-12-07, manefesto
FreeBSD on flash

Было принято решении переехать на USB Flash и установить минимальный джентельменский набор для работы своего роутера. Делаем =)
2010-12-05, Fomalhaut
root ZFS, GPT

Инструкция по установке FreeBSD с использованием в качестве таблицы разделов GPT и в качестве основной файловой системы - ZFS
2010-09-05, Cancer
Настройка аудиоплеера на ximp3

Цели: Простенький аудиоплеер, для того что бы тетя продавец в магазине утром пришла нажала на кнопку Power и заиграла в зале музыка, так же был доступ по сети, общая шара куда можно заливать музыку, к
2010-08-31, Cancer
Установка и настройка OpenVPN

На днях появилась задача - объединить головной офис и 3 филиала в одну сеть через интернет посредством OpenVPN, чтобы люди могли подключаться через RDP к базам 1С на серверах.
2010-08-25, manefesto
freebsd lvm

Использование linux_lvm для работы с LVM разделами из-под FreeBSD. Проблемы которые возники при монтирование lvm раздела
2010-04-30, gonzo111
proftpd file auth&quota

Proftpd - квоты и авторизация из файлов, без использования базы данных и/или системных пользователей
2010-04-22, lissyara
tw_cli

Пошаговая инструкция по восстановлению RAID на контроллере 3ware, из которого выпал один диск. Настройка мониторинга состояния рейда и отчётов о его состоянии на email.
2010-04-14, fox
MySQL Master+Master

MySQL (Master Master) and (Master Slave) Как настроить репликацию…
2010-03-09, terminus
DNS zones

Краткий ликбез про управление DNS зонами. Примеры проведения делегирования прямых и обратных DNS зон.
2010-03-09, aspera
Squid+AD (group access)

Настройка прокси сервера SQUID с автроризацией пользователей в AD. Разделение пользователей на группы
2010-03-02, BlackCat
Шлюз: Часть 4

Настройка дополнительных сервисов: синхронизация времени (OpenNTPD), клиент DynDNS.org.
2010-03-01, BlackCat
Шлюз: Часть 3

Настройка DHCP и DNS серверов для работы внутри частной сети, c поддержкой внутренних (частных зон) DNS, а так же интеграция DHCP и DNS сервисов.
2010-03-01, BlackCat
Шлюз: Часть 2

Конфигурация МСЭ pf для проброса портов с изменением порта назначения и без, а так же поддержки активного режима FTP и ограничения максимального размера сегмента
2010-03-01, BlackCat
Шлюз: Часть 1

Быстрая настройка шлюза/маршрутизатора с установлением PPPoE-соединения, поддержкой NAT и DNS-forwarding.
2010-02-23, Morty
darkstat

Простая считалка траффика, со встроенным веб-сервером. Очень маленькая, может делать отчеты трафика по хостам, портам, протоколам, а также строить графики
2010-01-23, gonzo111
squid+sams+sqstat

Пилим squid и sams - примеры конфигов с объяснениями. Установка SqStat.
подписка

    вверх      
Статистика сайта
Сейчас на сайте находится: 18 чел.
За последние 30 мин было: 71 человек
За сегодня было
19971 показов,
643 уникальных IP
 

  Этот информационный блок появился по той простой причине, что многие считают нормальным, брать чужую информацию не уведомляя автора (что не так страшно), и не оставляя линк на оригинал и автора — что более существенно. Я не против распространения информации — только за. Только условие простое — извольте подписывать автора, и оставлять линк на оригинальную страницу в виде прямой, активной, нескриптовой, незакрытой от индексирования, и не запрещенной для следования роботов ссылки.
  Если соизволите поставить автора в известность — то вообще почёт вам и уважение.

© lissyara 2006-10-24 08:47 MSK

Время генерации страницы 0.0488 секунд
Из них PHP: 41%; SQL: 59%; Число SQL-запросов: 80 шт.
У Вас отключено GZIP-сжатие в браузере. Размер страницы 193621