Быстрое обновление и восстановление портов

  email: q7u5@ukr.net



Еще одна статья про обновление портов, может пригодиться!





Содержание:



   Введение.

1. Скачивание и установка дерева портов.

2. Обновление и исправление базы данных портов.

3. Редактирование /etc/make.conf (оптимизация, etc).

4. Простое обновление.

5. Полезные опции portupgrade.

6. Простой скрипт обновления.

7. Скрипт обновления, усовершенствованный (Рекомендуемый).

8. Скрипт автоматического обновления (экспериментально).

9. Исправление некоторых проблем.



Введение



если нужно обновить (и(или)восстановить) порты, может быть запутанная ситуация (например, если не обновлять год), portupgrade очень часто с первого раза не исправляет ошибки



OS: FreeBSD 7.0, FreeBSD 7.1, FreeBSD 8.0  



1. Скачивание и установка дерева портов.



для начало перейти в:

cd /usr

скачаем архив дерева портов, это будет быстрее чем обновлять через cvsup, ищем ближайщый ftp провайдера/города/страны



качаем:

wget 'ftp://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz'

перед скачиваем нужно обратить внимание чтобы архив был создан не позже чем 1-2 дня назад (желательно), некоторые ftp редко синхронизируются!

rm -rf /usr/ports

можно не большой скрипт который быстрее разархивирует:

#!/usr/bin/perl

open (OPEN, "tar -tf ports.tar.gz |");

while (my $p = <OPEN>) {
system("tar -xvzf ports.tar.gz $p > /dev/null &");
}

close OPEN;

(если perl не стоит, то скорее всего он будет из мира, по-моему путь #!/usr/local/bin/perl )



PS вообще-то, portsnap лучше, чем архив качать и еще есть rsyns



2. Обновление и исправление базы данных портов.



бэкап базы пакетов:

cp /var/log/dpkgdb.db /home/dpkgdb.db

можно заархивировать каталоги /etc/ /usr/local/etc программа может затереть конфиг (осторожно с символическими ссылками чтобы не удалить случайно важную информацию)

pkgdb -aF

-a all, -F исправлять не спрашивая, считается безопасный метод

если база сбита, то на крайняк можно pkgdb -fu



3. Редактирование /etc/make.conf (оптимизация, etc).



по-моему: в FreeBSD 7.2, FreeBSD 8.0 CURRENT) в CFLAGS присутствует скрытый дефект: -ffast-math, который оборачиваектся для нас -funsafe-math-optimizations -fno-math-errno http://www.freebsd.org/cgi/query-pr.cgi?pr=137869 

будьте внимательны



ee /etc/make.conf

WITCH=BATCH=yes # не выдавать окно в котором спрашивать с чем компилировать
BATCH=yes

# параллельная сборка портов, появилась с FreeBSD 7.2 лучше  не включать
#
# MAKE_JOBS_SAFE=yes 
# MAKE_JOBS_NUMBER=8
# FORCE_MAKE_JOBS=yes
# DISABLE_MAKE_JOBS=yes
# MAKE_JOBS_UNSAFE=yes

# FORCE_MAKE_JOBS=
#MAKE_JOBS_NUMBER!= let $$(sysctl -n kern.smp.cpus) \* 4
#
#.for port in \
#        emacs-devel cross-binutils libgpg-error perl5.8 libthai \
#        libiconv m17n-lib nasm tightvnc db47 subversion* \
#        ghostscript8 pth cdrtools* w3m* xmp libslang2 ezm3 dcget libxml2 \
#        vim gperf ffcall ORBit2 py-gtk2 xkeyboard-config ruby18 clisp \
#        jdk16 p7zip zsh libsndfile openjdk6 gettext stumpwm
#
#. if ${.CURDIR:M*/${port}}
#    MAKE_JOBS_UNSAFE=
#. endif
#.endfor
#



# оптимизация 
# CPUTYPE=pentium4 # архитектура
# CFLAGS+=-g 
# CFLAGS=-O2 -pipe -ffast-math -funit-at-a-time -fpeel-loops -ftracer 
# -funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
# COPTFLAGS=-O2 -pipe  -ffast-math -funit-at-a-time -fpeel-loops -ftracer
# -funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
# CXXFLAGS+=-fconserve-space
# NO_PROFILE=true
# LOCALIZED_LANG=ru

CPUTYPE=pentium4 # архитектура
CFLAGS=-O2 -pipe -funit-at-a-time -fpeel-loops -ftracer 
-funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
COPTFLAGS=-O2 -pipe -funit-at-a-time -fpeel-loops -ftracer
 -funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
CXXFLAGS+=-fconserve-space
NO_PROFILE=true
LOCALIZED_LANG=ru

# зеркало (указать свои)

MASTER_SITE_OVERRIDE?= \
ftp://ftp5.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp7.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.gentoo.org.ua/distfiles/${DIST_SUBDIR}/ \
ftp://ftp2.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp6.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp8.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.linux.kiev.ua/pub/Linux/Gentoo/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.lucky.net/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp3.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp4.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ntu-kpi.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/OS/FreeBSD/distfile/${DIST_SUBDIR} \

4. Простое обновление.



если portupgrade не стоит, то поставить:

(потянет ruby)

cd /usr/ports/sysutils/portupgrade && make && make install && make clean

в других источниках сразу, рекомендуют:

portupgrade -arR

чтобы пройтись вдоль всех зависимостей



5. Полезные опции portupgrade.



полезные опции в portupgrade: 

 -W не чистить порт после обновления;

 -w не чистить порт перед обновлением;  

 -F для того что скачать все исходники сразу, если проблемы с интернетом: portupgrade -aFrR

 опции -f устанавливает дальше все зависимости, если даже где-то ошибка, то пытается продолжить дальше...;

 -l /var/log/pport.log - записывает последнюю ошибку;

 -L %s::%s создает файл в текущем каталоге, в котором записывает весь вывод установленных портов.



2 полезные команды make:

1) cd /usr/ports/deve/icu && make run-depends-list покажет зависимости данного порта, 

2) make all-depends-list - все зависимости и зависимости тех портов которые зависят от порта



есть один важный недостаток, бывает версия порта называется не совсем корректно, например cairo-1.8.6_1,1 и portupgrade может всегда писать что порт устаревший



6. Простой скрипт.



portupgrade -arR часто тоже может выдаст ошибку!!

есть вариант написать скрипт, который обновит те порты который устаревшие в месте с зависимостями:

#!/usr/bin/perl

$nn = 0;

while (1) {

    $nn++;

    open( OPERN, "portversion |" );

    @all = <OPERN>;

    if ( $nn > 6 ) {
    print "while 6 exit";
    exit;
    }

    foreach (@all) {

        my ( $pp, $st ) = split( / /, $_, 2 );

        if ( $st =~ '<' ) {

            print "UPDATE: $pp\n";

            system("portupgrade -f $pp");  


        } else {
            print "ok UPDATE";
            exit;
        }
    }

}

при этом может быть очень часто что что-то пропустит из-за подзависимоти каких-то скорее всего, цикл идет в 2 этапов if ( !$nn > 2 )



если порты запутанные, можно написать чтобы обновляло и новую версия как не корректную if ( $st =~ '<' || $st =~ '>') {



Важное примечание: при обновлении Desktop лучше сначала попробовать portupgrade -aRr, так как опция -R (portupgrade -Rf $all[0] для скрипта ниже) (ее lissyara рекламировал) будет устанавливать все зависимости по новому, если нужно обновить, к примеру, 4 программы evince/firefox3/xfce4, то они потянут около 20-60 зависимостей каждая (не считал), и одно и тоже portupgrade будет собирать (но имейте ввиду что эта опция -R надежная), более "мягче" есть вариант в данном случае поставить portupgrade -rf ports_old, при этом будут собираться только "ближайшие" зависимости, самый жесткий вариант portupgrade -Rrf ports_old скорее всего лучше использовать в редких случаях, например, если не хочет компилироваться /devel/icu, так же можно просто -f.



перед кажой установленной программой желательно пересмотреть еще раз список устаревших портов, чтобы не компилировать одно и тоже лишный раз, так как с опциями -R или -r многое уже может быть обновленно, portversion быстро смотрит какие версии установлены...



7. Скрипт обновления, усовершенствованный (Рекомендуемый).



вот маленький скрипт для этого + еще реализовал запись в лог файл, чтобы было видно какой порт обновляется и сколько время прошло:

#!/usr/bin/perl

$nn = 0;

while (1) {

    $nn++;

    open( OPERN, "portversion |" );

    my @all2 = <OPERN>;

    close OPERN;

    my @all;

    for ( $i = 0 ; $i < @all2 ; $i++ ) {

        my ( $pp, $st ) = split( / /, $all2[$i], 2 );
        if ( $st =~ '<' ) {

            push @all, $pp;    # $all[$i] = $pp;

        }

    }

    exit if ( !$all[0] || $nn > 2 );

    while (1) {

        last if !$all[0];

        print "$all[0]\n";

        logsave( get_time(), $all[0] );

        system("portupgrade -rf $all[0]");  
      # system("portupgrade -Rf $all[0]");

      # первый порт попробовать обновить вдоль и поперек
      # (выше system нужно закомментировать)
      # if ($nn == 1) {
      #  system("portupgrade -rRf $all[0]");
      #  } else {
      #  system("portupgrade -rf $all[0]");
      #  }

   #  экспериментально: 
   #  можно добавить чтобы скрипт автоматически нажимал на энтер
   #    use IO::Select;  
   #     my $select = IO::Select->new;
   #    for(@array) 
   #     open my $pipe, "|$_";
   #     $select->add($pipe);
   #    }
   #    my @waiters = $select->can_write($timeout);
   #    print $_ "\x0a" for @waiters; 


        logsave( get_time(), $all[0] );

        shift @all;

        my @all = old(@all);

    }

}

sub old {

    my @all = @_;

    open( OPEN2, "portversion |" );

    my @all_all = <OPEN2>;

    close OPEN2;

    my @old;
    my @no_old;

    foreach my $p (@all_all) {

        my ( $pname, $status ) = split( / /, $p, 2 );

        if ( $status =~ '<' ) {

            push @old, $pname;

        }
        else {
            push @no_old, $pname;
        }
    }

    my %seen;
    @seen{@all} = ();
    delete @seen{@no_old};
    return keys %seen;

}

sub get_time {
    my ( $sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst ) =
      localtime(time);
    $mon++;
    $year += 1900;
    if ( $mday < 10 ) { $mday = "0$mday"; }
    if ( $mon < 10 )  { $mon  = "0$mon"; }
    if ( $min < 10 )  { $min  = "0$min"; }
    my $date        = "$mday $mon $year";
    my $time        = "$hour:$min:$sec";
    my $cur_all_day = $mday + $mon * 30 + $year * 365;
    my $radate      = "$year-$mon-$mday $hour:$min:$sec";
    return $radate;
}


sub logsave {
    my ( $time, $ports ) = @_;
    my $logfile;
    $logfile = "\n time:  $time \n  ports: $ports \n\n";
    system("touch /var/log/portupgrade.log");
    open( DB2, "/var/log/portupgrade.log" ) || die "Cannot open file: $!";
    my @base = <DB2>;
    close(DB2);
    open( DB, ">/var/log/portupgrade.log" ) || die "Cannot open file : $!";
    print DB @base;
    print DB $logfile;
    close(DB);
}

8. Скрипт автоматического обновления (экспериментально).



дальше я написал простейший скрипт для автоматического обновления, который обновит дерево портов и порты через cron, отправит на email какие порты он обновил, и какие были устаревшие, можно поставить раз в неделю в cron



нужно заменить email адрес на тот который будет отсылаться Вам, и проверить работоспособность ftp с которого архив порта скачать

#!/usr/bin/perl

system("rm -rf /usr/ports.tar.gz");

system(
"cd /usr && 
wget ftp://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz");

system("rm -rf /usr/ports");

open( OPEN, "tar -tf /usr/ports.tar.gz |" );

while ( my $p = <OPEN> ) {
    system("tar -xvzf /usr/ports.tar.gz /usr/$p > /dev/null &");
}

close OPEN;

my $db = '/home/pkgdb.db' . time;

system("cp /var/db/pkg/pkgdb.db  $db");

system("pkgdb -aF");

my $etc       = '/home/etc' . time;
my $etc_local = '/home/etc_local' . time;

system("tar -cf $etc /etc");
system("tar -cf $etc_local /usr/local/etc");

open( OLD, "portversion -F|" );
my @all_old = <OLD>;
close OLD;

foreach (@all_old) {
    my ( $pname, $status ) = split( / /, $_, 2 );
    push @old, $pname if ( $status =~ '<' );
}


$nn = 0;

while (1) {

    $nn++;

    open( OPERN, "portversion |" );

    my @all2 = <OPERN>;

    my @all;

    for ( $i = 0 ; $i < @all2 ; $i++ ) {

        my ( $pp, $st ) = split( / /, $all2[$i], 2 );
        if ( $st =~ '<' ) {

            push @all, $pp;    # $all[$i] = $pp;

        }

    }

    exit if ( !$all[0] || $nn > 2 );

    while (1) {

        last if !$all[0];

        print "$all[0]\n";

        system("portupgrade -rf $all[0]");

        shift @all;

        my @all = old(@all);

    }

}

sub old {

    my @all = @_;

    open( OPEN2, "portversion |" );

    my @all_all = <OPEN2>;

    my @old;
    my @no_old;

    foreach my $p (@all_all) {

        my ( $pname, $status ) = split( / /, $p, 2 );

        if ( $status =~ '<' ) {
            push @old, $pname;
        }
        else {
            push @no_old, $pname;
        }
    }

    my %seen;
    @seen{@all} = ();
    delete @seen{@no_old};
    return keys %seen;

}


open( NEW, "portversion -F|" );
my @all_new = <NEW>;
close NEW;

foreach (@all_new) {
    my ( $pname, $status ) = split( / /, $_, 2 );
    push @new, $pname if ( $status =~ '<' );
}

open( SENDMAIL, "|/usr/local/sbin/sendmail -t" )
  or die "sendmail not ready";
print SENDMAIL "From: FreeBSD <di\@th.org.ua\n";
print SENDMAIL "To: Admin <rtyug\@ukr.net>\n";
print SENDMAIL "Reply-To: FreeBSD  <th\@ukr.net>\n";
print SENDMAIL "Subject: UPDATE from portupgrade\n\n";
print SENDMAIL "list old\n\n";    #
print SENDMAIL "@old\n\n";
print SENDMAIL "list new\n\n";
print SENDMAIL "@new\n\n";
print SENDMAIL "#################\n";
print SENDMAIL "list ALL old\n\n";    #
print SENDMAIL "@all_old\n\n";
print SENDMAIL "list ALL new\n\n";
print SENDMAIL "@all_new\n\n";
close(SENDMAIL) or warn "sendmail didn`t close nicely";

пример как можно написать что-то подобное portupgrade:


#!/usr/bin/perl

open( OPEN2, "portversion -o  |" );

@all_all = <OPEN2>;

my @all;

foreach (@all_all) {
    my ( $pname, $status ) = split( / /, $_, 2 );
    $pname = '/usr/ports/' . $pname;
    $pname =~ s/^\s+//;
    $pname =~ s/\s+$//;
    push @all, $pname;
}

my $port;

my @old;
my @no_old;

foreach my $p (@all_all) {

    my ( $pname, $status ) = split( / /, $p, 2 );

    if ( $status =~ '>' || $status =~ '<' ) {

        $pname = '/usr/ports/' . $pname;
        $pname =~ s/^\s+//;
        $pname =~ s/\s+$//;
        push @old, $pname;

    }
    else {
        $pname = '/usr/ports/' . $pname;
        $pname =~ s/^\s+//;
        $pname =~ s/\s+$//;
        push @no_old, $pname;
    }

}

@to_port = `cd $old[0] && make all-depends-list`;

foreach (@to_port) {
    $_ =~ s/^\s+//;
    $_ =~ s/\s+$//;
}

my %seen;
@seen{@to_port} = ();
delete @seen{@no_old};
@dep2 = keys %seen;

print "@dep2\n";

9. Исправление некоторых проблем.

 

если обновилось php, то нужно обновить его библиотеки:

pkg_info  | grep '^php5*' | awk '{print $1}' | xargs portupgrade -f 
|| pkgdb -fFu && portsclean -CLPP

для perl часто тоже может понадобиться:

pkg_info  | grep '^p5-*' | awk '{print $1}' | xargs portupgrade -f 
|| pkgdb -fFu && portsclean -CLPP

так же есть скрипт perl-after-upgrade



Java (jdk*) прийдеться руками ставить



очистить порты и каталог distfile:

portsclean -CDD

DoMeN, 2009-09-02 в 23:27:56

Интересный подход.

ooZe, 2009-10-01 в 10:38:52

Насчет скрипта для распаковки тарбола портов, думаю лучше подойдет тот, что идет на диске с фряхой: if [ "`id -u`" != "0" ]; then echo "Sorry, this must be done as root." exit 1 fi echo "Extracting ports tarball into ${DESTDIR}/usr" cat ports.tar.gz | tar --unlink -xpzf - -C ${DESTDIR}/usr exit 0

ooZe, 2009-10-01 в 10:47:06

fixed: #!/bin/sh if [ "`id -u`" != "0" ]; then echo "Sorry, this must be done as root." exit 1 fi echo "Extracting ports tarball into /usr" cat ports.tar.gz | tar --unlink -xpzf - -C /usr exit 0

Raxxell, 2010-12-22 в 16:47:34

Вы уж меня извените, но у меня выходит вот это. # wget 'ftp://ftp2.ru.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz' wget: Command not found. #

Somnambual, 2011-05-07 в 16:16:14

portupgrade у меня нет в - /usr/ports/sysutils/portupgrade а есть в - /usr/ports/ports-mgmt/portupgrade Raxxell напишите fetch вместо wget ну или поставьте wget, хотя смысла особого нет

Nadz Goldman, 2013-03-01 в 15:27:39

Вся статья - баг и плагиат. Автора сжечь. В статье очень много фатальных ошибок. Оригинал лежит на опеннете.

_Pro_FTPd, 2013-03-02 в 13:12:00

посмотрите дату создания, я фрибсд давно не обновлял с той даты тогда обновлял все работа супер! Обратите внимание: 7. Скрипт обновления, усовершенствованный (Рекомендуемый). п.7 не дописанный эксперементальный, чтобы вы сами дописали :) это то как идеально... все остальное работало!

_Pro_FTPd, 2013-03-02 в 18:14:08

т.е. наоборот 8. Скрипт автоматического обновления (экспериментально).

_Pro_FTPd, 2013-03-02 в 18:14:09

т.е. наоборот 8. Скрипт автоматического обновления (экспериментально).

`Оставьте свой комментарий:`
`Ваше имя: *`
`e-mail:`
`жирный` `наклонный` `подчёркнутый` `ссылка` `цвет`	Товарищщи! Это поля для ввода комментариев к статье, а не для вопросов. Сюда пишите найденные баги, или какие-то фичи :) Для вопросов есть форум!
`Нынешний год: *`