Архивы по Категориям: Сайт и Форум - Page 2

добавляем бэкапов на amazon S3

раз все так хорошо тьфу тьфу тьфу до добавим всего побольше на амазонку и посмотрим сколько это будет стоить. в прошлые месяцы бэкапы мне обошлись по 2 бакса в месяц ….

порождаем файл exclude и вперед

[cce]
/usr/local/bin/s3cmd —acl-private —bucket-location=EU —delete-removed —exclude-from=$HOME/.s3dup.exclude sync /usr/local/www/data/forum.xxxxxxxxx.com/ s3://sxxxxxxxxx80413/
[/cce]

погнали наши городских ….
[cce]
Done. Uploaded 2075600228 bytes in 5561.0 seconds, 364.50 kB/s
[/cce]

мда, exclude-from должен быть такого вида:
[cce]
vvs@mx1~> cat .s3dup.exclude
*banners/*
*downloads/*
*filez/*
*vbseo_sitemap/data/*
vvs@mx1~>
[/cce]

Как восстановить данные?

Чтобы восстановить все данные из S3, в команде синхронизации меняем местами источник и цель, не забывая убрать удаление отсутсвующих файлов:
[cce]
s3cmd sync s3://mybucketname/backupfolder /local/backup/dir/
[/cce]
Происходит синхронизация в обратную сторону и voila, все данные снова на локальном диске.

Либо, для восстановления одного файла, воспользуемся командой get:
[cce]
s3cmd get s3://mybucketname/backupfolder/backup.tar.gz /local/backup/dir/
[/cce]

hetzner выставил счет за добавочные айпишники

AMAZON S3 списал с меня деньги за бэкап баз

Начало истории

за 20 Гиг баз с меня взяли аж 1.34 USD !
Вывод — начинаем перемещать бэкапы на AMAZON.

Подключил форум к CDN сервису от HOSTPRO.UA

использовал для этого недельный шаровой аккаунт. посмотрим что оно и как накеширует. процесс подключения опишу чуть позже. он простой и доступный.

Перегрев сервера

Вчера в очередной раз получил в лог

[cc]
Feb  4 10:19:17 mx1 kernel: coretemp5: critical temperature detected, suggest system shutdown
Feb  4 10:19:20 mx1 kernel: coretemp3: critical temperature detected, suggest system shutdown
Feb  4 10:19:22 mx1 kernel: coretemp0: critical temperature detected, suggest system shutdown
Feb  4 10:19:23 mx1 kernel: coretemp1: critical temperature detected, suggest system shutdown
Feb  4 10:19:26 mx1 kernel: coretemp2: critical temperature detected, suggest system shutdown
Feb  4 10:19:28 mx1 kernel: coretemp4: critical temperature detected, suggest system shutdown
[/cc]

температура
[cc]
root@mx1/var/log> sysctl -a |egrep -E «cpu\.[0-9]+\.temp»
dev.cpu.0.temperature: 66,0C
dev.cpu.1.temperature: 66,0C
dev.cpu.2.temperature: 70,0C
dev.cpu.3.temperature: 70,0C
dev.cpu.4.temperature: 68,0C
dev.cpu.5.temperature: 68,0C
dev.cpu.6.temperature: 63,0C
dev.cpu.7.temperature: 63,0C
[/cc]

не такая и критичная но она держалась и после остановки всех процессов.
побэкапив  все что можно написал письмо в саппорт с описание проблемы.

Ответ получил довольно быстро. Мол как будете готовы пишите нам. Мы будем вынуждены остановить  ваш сервер на 20-40 минут и т.д.

Что ж делать, давайте 🙂

К чести спецов hetzner-a время простоя было около 10 минут.

Сервер завелся с пол пинка. Единственное что заметил  правда уже на следующий день — время слетело. Причем они наверное его поставили но на 2 часа меньше нашего, по германии 🙂 поэтому ntp не справился с такой погрешностью 🙂

с температурой теперь все ок. правда на мое письмо — расскажите какие работы проводились не получил ни ответа ни привета.

сейчас под нагрузкой
[cc]

root@mx1/usr/ports> sysctl -a | grep temper
dev.cpu.0.temperature: 52,0C
dev.cpu.1.temperature: 52,0C
dev.cpu.2.temperature: 53,0C
dev.cpu.3.temperature: 53,0C
dev.cpu.4.temperature: 59,0C
dev.cpu.5.temperature: 59,0C
dev.cpu.6.temperature: 51,0C
dev.cpu.7.temperature: 51,0C
root@mx1/usr/ports>
[/cc]

Делам backup на amazon s3

Ну о пользе делать бэкапы мы дискутировать не будем. Что то ночью мне приснилось что бэкапы на домашнем нас-е (который по совместительству еще и медиа плеер) держать как то не совсем правильно, а если правильно то этого не достаточно.

Посему было принято решение разместить для начала бэкапы баз форума сайта и блога на сервисах Amazon S3. Для архивирования данных в последствии будет использован Amazon Glacier.

Эта статья — поиск правильного решения. Попробую несколько.

Стоимость своего бэкапа я пытался честно расчитать используя калькулятор амазона,

плюнул и решил посмотреть по результата.

Зарешестрировал аккаунт на Amazon S3 и прицепил к нему виртуальную карту QIWI.

для начала пробуем s3cmd
[cc]
oot@mx1/usr/ports> make search name=s3cmd
Port: py27-s3cmd-1.0.1_1
Path: /usr/ports/net/py-s3cmd
Info: Unix-like tools to manipulate stored files from the command line
Maint: clsung@FreeBSD.org
B-deps: gettext-0.18.1.1 libiconv-1.14 python27-2.7.3_6
R-deps: gettext-0.18.1.1 libiconv-1.14 python27-2.7.3_6
WWW: http://s3tools.logix.cz/s3cmd
[/cc]

gnupg для шифрования у меня уже стоит

[cc]
root@mx1/usr/ports> pkg_info | grep gnupg
gnupg-2.0.19_3 The GNU Privacy Guard
root@mx1/usr/ports>
[/cc]

[cc]
root@mx1/usr/ports/net/py-s3cmd> make install clean
[/cc]

процесс конфигурирования s3cmd интерактивный. запускаем:

[cc]
/usr/local/bin/s3cmd —configure
[/cc]

Свои Amazon secret key и access key смотрим тут

получаем

a href=»https://console.aws.amazon.com/s3/home?region=us-east-1″>создаем новый бакет на амазоне или из консоли.

[cc]
s3cmd mb s3://vslip1970
[/cc]

надо заметить что имя бакета должно быть уникально.

и бэкапим.

[cc]

root@mx1/usr/local> s3cmd sync /usr/local/backup/ s3://vslip1970/

WARNING: Redirected to: vslip1970.s3-external-3.amazonaws.com
/usr/local/backup/backup-hdtvzone -> s3://vslip1970/backup-hdtvzone [1 of 1943]
19826 of 19826 100% in 0s 93.51 kB/s done
/usr/local/backup/backup-satexpert -> s3://vslip1970/backup-satexpert [2 of 1943]
19841 of 19841 100% in 0s 103.93 kB/s done
/usr/local/backup/backup-sysb -> s3://vslip1970/backup-sysb [3 of 1943]
19899 of 19899 100% in 0s 96.16 kB/s done
/usr/local/backup/backup-vskiev -> s3://vslip1970/backup-vskiev [4 of 1943]

[/cc]

в итоге

[cc]
/usr/local/backup/vs-kiev/weekly/vs-wordp/vs-wordp_week.52.2012-12-29.sql.gz -> s3://vslip1970/vs-kiev/weekly/vs-wordp/vs-wordp_week.52.2012-12-29.sql.gz [1943 of 1943]
687940 of 687940 100% in 0s 1476.63 kB/s done
Done. Uploaded 40280736969 bytes in 6510.5 seconds, 5.90 MB/s

[/cc]

далее эта задача ставится в cron

PS если почистил локальную директорию с бэкапами то

[cc]
s3cmd sync —skip-existing —delete-remove /usr/local/backup/ s3://vslip1970/
[/cc]

Как восстановить данные?

Чтобы восстановить все данные из S3, в команде синхронизации меняем местами источник и цель, не забывая убрать удаление отсутсвующих файлов:

s3cmd sync s3://mybucketname/backupfolder /local/backup/dir/
Происходит синхронизация в обратную сторону.

Либо, для восстановления одного файла, воспользуемся командой get:
s3cmd get s3://mybucketname/backupfolder/backup.tar.gz /local/backup/dir/

Платеж из QIWI QWC в Hetzner прошел успешно !

для меня это очень удобно. сразу вывожу в рублях из сапы в qiwi кошелек. из него могу пополнять мобилки, платить за телефон, hetzner и т.д.

 

Поставил для пробы на форум VBOptimise 2.5

с дефолтными настройками. заодно удалил старые и не использованные хаки.

в субботу на даче подключали котел

все удалось благополучно. осталось только сделать к нему систему стабилизации напряжения.

сегодня за счет уязвимости в VBSEO были с проблемы с форумом!

утром при заходе на форум получил вот такую картинку!

 

методом гугления очень быстро выяснилось что это дырка в VBSEO. ВОТ ОПИСАНИЕ.  Но у меня все произошло чуть по другому. Плагин на мой форум не установился. Не знаю с чем это связано, наверное потому что я не ходил в админку VBSEO. Полностью переустановил VBSEO.