Мы — долго запрягаем, быстро ездим, и сильно тормозим.

FreeBSD
  настройка
  подсчёт трафика
  программы
  frox
  SARG
  samba & ClamAV
  named
  proftpd
  cacti
  SAMBA+AD+NT ACL
  MySQL
  hylafax
  DDNS+DHCP
  cvsupd
  Samba как PDC
  Основы LDAP
  LDAP+SSL
  LDAP auth
  knockd
  rsync
  MRTG
  Rejik
  Jabber - OpenFire
  Samba(PDC) + Ldap
  squid+AD
  ATSlog
  vsftpd
  LDAP: samba, dns, dhcp
  Free-SA
  cups-samba на samba+AD
  irc + services
  Nagios - мониторинг сети
  TeamSpeak
  icecast2
  verlihub (p2p)
  Icecast2 + Darkice
  OOPS
  vsftpd + mysql
  Amanda
  HAVP
  Рыбалка на FreeBSD
  DNS сервер NSD
  DNS сервер Unbound
  mpd5, msmtp, dynamic ip
  ProFTPd + LDAP
  OpenVPN + LDAP
  Samba (PDC+BDC)
  BIND & AD
  POWERDNS
  3proxy
  eGroupWare
  GLPI
  SugarForge CRM
  Bacula
  Mysql - базовое описание
  Asterisk IP PBX
  Samba & CUPS & AD & ACL
  SMSTools 3
  Samba+ NT ACL
  phpmyadmin
  1С:Предприятие 8.1
  PurefFTPd
  qemu network
  AimSniff
  comms/scmxx
  Zoneminder
  Openfire Jabber Server
  Zoneminder 2
  Принт-Сервер Samba+LPD & AD
  Кластер OpenLDAP 2.4
  Lightsquid
  Установка Zabbix-1.6
  Установка net2ftp
  VSFTPD + AD && MySQL
  Network UPS Tools
  mpd5 L2TP client
  Apache 2.2 as a proxy
  ejabberd+mysql+icq
  HotSpot
  Установка и использование Zenoss на FreeBSD 7.2
  mysql-proxy
  DNS zones
  squid+sams+sqstat
  transmission-daemon
  Squid+AD (group access)
  SysAid Server
  MySQL Master+Master
  proftpd file auth&quota
  usb_modeswitch
  NSDadmin
  iperf Тест скорости между хостами
  Простой факс-сервер mgetty+sendfax
  SQUID-MultiCpuSystem
  vsftpd + system users
  Syslog server
  Температура в серверной
  Nagios+Digitemp
  Avast! FreeBSD
  Настройка git+gitosis
  Firefox SyncServer
  Scan+Print server FreeBSD 9
  proftpd,pgsql,web
  почтовые системы
  Шелезяки
  Мелочи
  Файловая система
  WWW
  Security
  system
  Games Servers
  X11
  Programming
Очумелые Ручки
OpenBSD
Cisco


www.lissyara.su —> статьи —> FreeBSD —> программы —> Syslog server

Сервер логов на rsyslog+loganalyzer+mysql

Автор: m4rkell.


Как-то буквально на днях, у нас завалилось, что то в еве) или не в еве не суть. Суть в том, что когда захотели снять логи с хостов esx обнаружили, что хранят эти негодяи логии только за последнии сутки, остальные просто бьют…после чего принято было решение поднять свой syslog сервер. Хотелось что бы, логи со всех серверов хранились в одном месте, удобно представлялись парсились в бразуере, а так же при появлении ошибок или других нехороших вещей отправляли на мыло месадж. После недолгого гугления изобретать велосипед не стали. И так будем пользоваться следующими вещами:
Rsyslog+loganalyzer+mysql

Поехали. Ставим для начала сам rsyslog он будет принемать логии на 514 порту, и складывать их в базу данных mysql

cd /usr/ports/sysutils/rsyslog4
make install clean

Заменяем стандартный syslogd

/etc/rc.d/syslogd stop

Рихтуем /etc/rc.conf:
syslogd_enable="NO"
rsyslogd_enable="YES"
rsyslogd_pidfile="/var/run/syslog.pid"
rsyslogd_flags="-c4"
mysql_enable=”YES”
apache_enable=”YES”

Редактируем /usr/local/etc/rsyslog.conf и смотрим листинг моего файла.




#### Модули ####
$ModLoad imuxsock 
$ModLoad imklog  
#$ModLoad immark  
$ModLoad ommysql 
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$ModLoad ommail

#### Чего посылаем в БД  ####
#Правим под свою БД
*.*  :ommysql:127.0.0.1,Имя_БД,ПользовательБД,ПарольБД

# Чмодим файлы

$FileOwner root
$FileGroup wheel

######УВЕДОМЛЯЛКА#####

$ActionMailSMTPServer АДРЕС СЕРВЕРА
$ActionMailSMTPPort 25
$ActionMailFrom АДРЕС ОТПРАВИТЕЛЯ
$ActionMailTo КОМУ СЛАТЬ МЫЛО
$template mySubject1,"On host %hostname%, Error-level by serverity"
$template myBody1,"Facility.Serverity: %syslogfacility%.%syslogpriority% 
#тут надо убрать перенос!!!!!!!!!!!1
at %timegenerated% on host:
%HOSTNAME%\r\n %msg%"
$ActionMailSubject mySubject1
#seconds interval for mailing
$ActionExecOnlyOnceEveryInterval 10
#expression based filter
if not ($msg contains 'TopLevelSystem'\
or $msg contains 'getConnectorInfo'\
or $msg contains 'failed - Data stale'\
or $msg contains 'DatadiscoveryfailedforConnector' )\
and ($syslogseverity-text =='err'\
or $syslogseverity-text =='crit'\
or $syslogseverity-text =='alert'\
or $syslogseverity-text =='emerg' )\
then :ommail:;myBody1

Далее ставим для поддержки mysql:

cd /usr/ports/sysutils/sysutils/rsyslog4-mysql
make install clean

потом ставим сам мускул если еще не стоит.
Cd /usr/ports/databases/mysql50-server
make install clean

лезем в

cd /usr/ports/sysutils/loganalyzer
make install clean 

потянет за собой апач, пыху и пр. приблуды.

Далее лезем в /usr/local/www/ находим папку анализатора и из папки src копируем все /usr/local/www/data

Ну или в конфиге апача правьте , как кому нравится.
Создаем пустой файл
touch config.php
chmod 666 config.php

После установки можно будет изменить права. На 644.

Далее создаем БД Syslog и даем на него полные права пользователю Syslog

Потом закидываем дамп для rsyslog’a лежит он тут:
/usr/local/share/examples/rsyslog/mysql_createDB.sql

Стартуем апач
/usr/local/etc/rc.d/apache start

Лезем на ip тачки

Должна начатся установка loganalyzer. Тут все понятно думаю. Как и что.
Можно создать новую базу для пользователей лог анализа, можно хранить их в файле, это уже на ваш вкус. Создались, добавляем базу Syslog в сурсы….:) Ну вот и все красота вам обеспечена.


Так как это писалось все под ESX\ESXi
То на esx делается следующее под рутом в консоли:

Отредактируйте файл командой:  
nano /etc/syslog.conf

Внизу добавляем строку:
*.*    @ip адерс сервера

сохраняем

далее добавляем правило в файрвол
esxcfg-firewall -o 514,udp,out,syslog

сохраняем и применяем правила
esxcfg-firewall -l

рестарт серивса логов
service syslog restart

А в ESXi настройка делается в конфиге хоста, в дополнительных настройках Syslog>remote тупо пишите айпишник и все.


Для юнихов в конфиги rsyslog

*.info;mail.none;authpriv.none;cron.none @@АЙПИ_СЕРВЕРА:514

P.S. При отображении деталей, записей в веб морде, будет выдаваться ошибка (How to resolve the error „No syslog records found (code 8 )?
) необходимо сделать следущее: выполнить запрос к БД через, что угодно, я делал через PhpMyAdmin

ALTER TABLE `systemevents` ADD `Checksum` int(11) NOT NULL 
DEFAULT `0`; AFTER `SystemID`;

При подключении 20 хостов, с отсылкой всех логов *.* БД раздувалась на 100кб миниту...
Расчитывайте свои объемы...

Демка того, что Вы получите в итоге.

Удачи!



Ссылка на обсуждение: http://forum.lissyara.su/viewtopic.php?f=8&t=29948.

размещено: 2011-01-21,
последнее обновление: 2011-01-21,
автор: m4rkell


m0ps, 2011-01-22 в 10:47:50

скриншотик бы вебморды выложил для красоты.

Vlad, 2011-02-02 в 10:57:42

Использование rsyslog4, а не rsyslog5 чем-то обусловленно?

m4rkell, 2011-02-11 в 11:46:16

Собственно ничем, не захотел ставить 5 ветку и всё.

LPS, 2011-02-20 в 0:05:41

А VMware vCenter не судьба поставить?

N/A, 2011-03-05 в 19:52:14

Орфографию бы в Ворде не мешало проверить...

fghsfgh, 2011-03-09 в 9:42:40

Товарищи! Это поля для ввода комментариев к статье, а не для вопросов. Сюда пишите найденные баги, или какие-то фичи :)
Для вопросов есть форум!

Why, 2011-03-14 в 12:36:20

Зачем такие грабли?

ХУЙ, 2011-04-24 в 21:07:25

Товарищи! Это поля для ввода комментариев к статье, а не для вопросов. Сюда пишите найденные баги, или какие-то фичи :)
Для вопросов есть форум!

ХУЙ, 2011-04-24 в 21:07:47

Товарищи! Это поля для ввода комментариев к статье, а не для вопросов. Сюда пишите найденные баги, или какие-то фичи :)
Для вопросов есть форум!

Dmytro Burianov, 2011-06-24 в 17:53:52

cd /usr/ports/sysutils/sysutils/rsyslog4-mysql
поменяйте на
cd /usr/ports/sysutils/rsyslog4-mysql

niman, 2011-09-19 в 12:18:04

Как показала практика не всё так гладко. Площадка: 2xXeon 2.66Gz, RAM 4Gb, аппаратный RAID, на HD место хватает. Собираю логи с почтовых севреров. Причем facility только mail. как показывает статистика. Более 80% логов даёт только один почтовик.
Другие базы ловят сообщения с ftp и cisco.
В итоге, начиная с 3М записей в базе MySQL начинаются заметные тормоза ( в среднем уходит более 1,5 мин! на отображение результата поиска либо на листание).
Что касается с ftp и cisco, то если в msg появляются кириллические символы, то Loganalyzer не отображает строки в таблицах.
Решение первой проблемы: установка PostgreSQL. Эффект: более 13M записей - полёт нормальный.
Решение второй проблемы: пришлось порыться в сырцах и править php (прописывать кодировку CP1251), сделал патч. Строки с кириллицей отображаются нормально.

skeletor, 2011-10-14 в 17:05:49

Поделитесь патчем для исправления кодировки CP1251

setevoy, 2012-08-16 в 22:24:02

Ошибки, опечатки:

>будет принемать логии

ПринИмать и логИ

Abdus, 2012-10-04 в 16:33:42

Беда с русской кодировкой... niman, если зайдете - скиньте патч =)

KaMa-CyTpA, 2016-09-22 в 23:03:50

В очередной раз спасибо тебе, Лисяра!
Искал инфу в инете
Вроде настроил - не идут логи
Почитал у тебя и сделал по твоему ману - вуаля!
Респект дружище


Оставьте свой комментарий:
Ваше имя:   *
e-mail:  
жирный
наклонный
подчёркнутый
ссылка
цвет
Нынешний год:   *
 


Хостинг HOST-FOOD

2014-07-27, lissyara
gmirror

Удалённое создание софтверного зеркала средствами gmirror, на диске разбитом с использованием gpart. Использование меток дисков для монтирования разделов.
2013-08-20, zentarim
Scan+Print server FreeBSD 9

Настройка сервера печати и сервера сканирования под управлением операционной системы FreebSD 9 для МФУ Canon PIXMA MP540
2011-11-20, BlackCat
Разъём на WiFi-карту

Делаем съёмной несъёмную антену на WiFi-карте путём установки ВЧ-разъёма
2011-09-14, manefesto
Настройка git+gitosis

Настройка системы контроля версия исходного кода в связке git+gitosis+ssh
2011-08-14, zentarim
Wi-FI роутер + DHCP + DNS

Настройка Wi-Fi роутера на Freebsd 8 + DNS сервер + DHCP сервер: чтобы Wi-Fi клиенты были в одной подсети с проводными, проводные и беспроводные клиенты получали адреса автоматически по DHCP, кэширующ
2011-06-15, -ZG-
Охранная система на FreeBSD+LPT

В этой статье описана попытка реализации простой охранной системы на базе FreeBSD с подключением к ней охранных устройтсв на LPT порт и видеорегистрацией.
2011-03-13, terminus
ng_nat

Описание работы ng_nat, практическое использование, достоинства и недостатки в сравнении с ipfw nat
2011-02-20, Капитан
Nagios+Digitemp

Статья описывает создание системы оповещения о превышении температуры в специальных помещениях на основе Nagios с использованием программы Digitemp.
2011-02-17, Le1
Zyxel Configuration

Скрипт для массового изменения конфига свичей Zyxel. Берет из файла iplist список ip-шек, заходит последовательно на каждый и выполняет комманды из файла commands, записывая происходящее в лог файл.
2011-02-16, fox
hast carp zfs ucarp cluster

HAST (Highly Available Storage), CARP, UCARP, ZFS, Cluster настройка и одаптация плюс личные размышления…
2011-02-04, BlackCat
Восстановление ZFS

История о том, как был восстановлен развалившийся RAIDZ ZFS-пул (перешедший в FAULTED) с помощью скотча и подручных средств. Или о том, какие приключения ожидают тех, кто не делает резервных копий.
2011-02-03, Капитан
1-Wire

Статья описывает самостоятельное изготовление контроллера DS9097 для съёма показаний с датчиков температуры DS1820 с помощью программы Digitemp.
2011-01-28, Капитан
Температура в серверной

Статья описывает построение системы наблюдения за температурой в помещении серверной с использованием программы Digitemp и выводом графиков в MRTG
2011-01-21, m4rkell
Syslog server

Как то буквально на днях, у нас завалилось, что то в еве) или не в еве не суть. Суть в том, что когда захотели снять логи с хостов esx обнаружили, что хранят эти негодяи логии только за последнии сутк
2011-01-07, lissyara
Canon/gphotofs

Монтирование цифровых фотоаппаратов Canon (PTP) как файловой системы, автоматизация этого процесса через события devd и внешние скрипты.
2010-12-13, Al
IPSec

Описание принципов работы IPSEC и способов аутентификации.
2010-12-07, manefesto
FreeBSD on flash

Было принято решении переехать на USB Flash и установить минимальный джентельменский набор для работы своего роутера. Делаем =)
2010-12-05, Fomalhaut
root ZFS, GPT

Инструкция по установке FreeBSD с использованием в качестве таблицы разделов GPT и в качестве основной файловой системы - ZFS
подписка

    вверх      
Статистика сайта
Сейчас на сайте находится: 12 чел.
За последние 30 мин было: 27 человек
За сегодня было
325 показов,
62 уникальных IP
 

  Этот информационный блок появился по той простой причине, что многие считают нормальным, брать чужую информацию не уведомляя автора (что не так страшно), и не оставляя линк на оригинал и автора — что более существенно. Я не против распространения информации — только за. Только условие простое — извольте подписывать автора, и оставлять линк на оригинальную страницу в виде прямой, активной, нескриптовой, незакрытой от индексирования, и не запрещенной для следования роботов ссылки.
  Если соизволите поставить автора в известность — то вообще почёт вам и уважение.

© lissyara 2006-10-24 08:47 MSK

Время генерации страницы 0.0457 секунд
Из них PHP: 29%; SQL: 71%; Число SQL-запросов: 77 шт.
Исходный размер: 166121; Сжатая: 25674