Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay ihanick на gmail.com
Вс Дек 27 21:21:59 MSK 2009


2009/12/27 Andriy Tovstik <andriy.tovstik at gmail.com>:
> а какого рода нагрузка?
> и это. вы про Solaris речь ведете? :)
да, Solaris 10, на одной из машин mysql/innodb, на другой nginx и zfs
страйп из мирроров 14 sata дисков 3U
> 27 декабря 2009 г. 14:47 пользователь Ihalainen Nickolay <ihanick at gmail.com>
> написал:
>>
>> 2009/12/27 Andriy Tovstik <andriy.tovstik at gmail.com>:
>> > пробовал использовать на сервере куда сливались бэкапы rsync'ом. ZFS
>> > стал
>> > узким местом - 4 диска в RAIDZ тормозили просто безбожно при 10
>> > запущеных
>> > rsync с разных серверов. RAID10 на gmirror+gstripe работает на порядок
>> > быстрее :(
>> хм. у меня zfs работает быстрее чем ufs на блоках 16к
>>        data        ONLINE       0     0     0
>>          mirror    ONLINE       0     0     0
>>            c1t1d0  ONLINE       0     0     0
>>            c1t2d0  ONLINE       0     0     0
>>          mirror    ONLINE       0     0     0
>>            c1t3d0  ONLINE       0     0     0
>>            c1t4d0  ONLINE       0     0     0
>>          mirror    ONLINE       0     0     0
>>            c1t5d0  ONLINE       0     0     0
>>            c1t6d0  ONLINE       0     0     0
>>
>> >
>> >
>> > 27 декабря 2009 г. 11:53 пользователь Igor V. Fatkulin
>> > <ingvar at westsib.ru>
>> > написал:
>> >>
>> >> Давно смотрю на zfs, но уж очень неоднозначно ее оценивают. Думаете
>> >> стоит использовать в боевых серверах?
>> >>
>> >> К> Рекомендую связку freebsd+zfs.
>> >> К> Подробнее: http://forums.freebsd.org/showthread.php?t=3689
>> >>
>> >> К> 27 декабря 2009 г. 10:52 пользователь Pavel V. <pavel2000 at ngs.ru>
>> >> написал:
>> >> >> Здравствуйте, Ihalainen.
>> >> >>
>> >> >> Вы писали 27 декабря 2009 г., 5:20:13:
>> >> >>
>> >> >>> 2009/12/27 Руслан Шарипов <ufaweb at gmail.com>:
>> >> >>>> 27 декабря 2009 г. 2:55 пользователь Ihalainen Nickolay
>> >> >>>> <ihanick at gmail.com> написал:
>> >> >>>>> для бекапов картинок/музыки и другой статики великолепно
>> >> >>>>> подоходит
>> >> >>>>> rsync с его инкрементальными бекапами, могу поделиться хорошим
>> >> >>>>> скриптом.
>> >> >>>>
>> >> >>>> многие были бы Вам благодарны -)
>> >> >>
>> >> >>> P.P.S. возможно из этого скрипта стоит сделать более универсальное
>> >> >>> решение и выложить где-нибудь отдельным проектом. если, конешно это
>> >> >>> нужно кому-то кроме меня.
>> >> >>
>> >> >>
>> >> >> Есть скрипт бэкапа, называется bontmia. Точный адрес офсайта не
>> >> >> знаю,
>> >> >> в гугле найдется.
>> >> >>
>> >> >> Идея скрипта легко и непринужденно передается следующим образом:
>> >> >>
>> >> >> --- кусок кронтаба ---
>> >> >>
>> >> >> 15 6    * * *   root    /data/project/run_main
>> >> >> 15 9    * * 6   root    /data/project/make_hardlinks
>> >> >>
>> >> >> --- файл make_hardlinks ---
>> >> >> #!/bin/bash
>> >> >> this_backup=$(date +%Y-%m-%d-%H:%M)
>> >> >> mkdir -p "/data/project/$this_backup"
>> >> >> cp -lR /data/project/last/* "/data/project/$this_backup"
>> >> >>
>> >> >> --- файл run_main ---
>> >> >> #!/bin/bash
>> >> >> rsync -e "ssh -i /data/project/host_key" -a --delete --force --quiet
>> >> >> root at my.host.tld:/web/project/htdocs/music_new /data/project/last
>> >> >>
>> >> >>
>> >> >> Т.е. раз в сутки приезжает копия с основного сервера (1.8 честных
>> >> >> Тб,
>> >> >> mp3/avi/flv/файлообменник), благодаря могучим возможностям nginx эта
>> >> >> бэкапная копия используется для зеркальной раздачи, а в случае 404
>> >> >> делается редирект на основной сервер.
>> >> >>
>> >> >> Раз в неделю запускается второй скрипт, который делает еженедельный
>> >> >> срез-копию текущего состояния. Конечно, лучше всего добавить в файл
>> >> >> run_main перед вызовом rsync создание "копии предыдущего дня", чтобы
>> >> >> в
>> >> >> случае сбоя получить максимально актуальные данные.
>> >> >> Срез-копия создается путем создания хардлинков, так что это дело
>> >> >> практически занимает только нужное количество дискового
>> >> >> пространства.
>> >> >>
>> >> >> Наличие копий помогает выжить в той ситуации, если в результате сбоя
>> >> >> дискового контроллера директория /web/project/htdocs/music_new, куда
>> >> >> подмонтирован раздел, "становится пустой" (а такое было), и
>> >> >> соответственно rsync повинуясь, делает идентичную "копию" в бэкапах.
>> >> >>
>> >> >> Bontmia делает все те же операции, но с чуть большим комфортом -
>> >> >> позволяет задать количество минутных/часовых/дневных/недельных/
>> >> >> месячных/годовых? бэкапов, автоматически удалить ненужные срезы и т
>> >> >> д
>> >> >> Для личного удобства я в неё добавил парочку опций, типа возможности
>> >> >> задать ssh-ключ для авторизации, и опцию quiet чтобы скрипт меньше
>> >> >> выводил информации при его нормальной работе.
>> >> >>
>> >> >>
>> >> >> --
>> >> >> С уважением,
>> >> >>  Pavel                          mailto:pavel2000 at ngs.ru
>> >> >>
>> >> >>
>> >> >> _______________________________________________
>> >> >> nginx-ru mailing list
>> >> >> nginx-ru at nginx.org
>> >> >> http://nginx.org/mailman/listinfo/nginx-ru
>> >> >>
>> >> К> _______________________________________________
>> >> К> nginx-ru mailing list
>> >> К> nginx-ru at nginx.org
>> >> К> http://nginx.org/mailman/listinfo/nginx-ru
>> >>
>> >>
>> >>
>> >> --
>> >> С уважением,
>> >> Игорь Фаткулин, директор по технологиям ООО "Группа Вестсиб"
>> >>
>> >> mailto:ingvar at westsib.ru
>> >>
>> >>
>> >> _______________________________________________
>> >> nginx-ru mailing list
>> >> nginx-ru at nginx.org
>> >> http://nginx.org/mailman/listinfo/nginx-ru
>> >
>> >
>> >
>> > --
>> > WBR, Andriy Tovstik
>> > UNIX System Administrator
>> > JID: squirl at jabber.kiev.ua
>> > nick-handle: SQ22-UANIC
>> >
>> > _______________________________________________
>> > nginx-ru mailing list
>> > nginx-ru at nginx.org
>> > http://nginx.org/mailman/listinfo/nginx-ru
>> >
>> >
>> _______________________________________________
>> nginx-ru mailing list
>> nginx-ru at nginx.org
>> http://nginx.org/mailman/listinfo/nginx-ru
>
>
>
> --
> WBR, Andriy Tovstik
> UNIX System Administrator
> JID: squirl at jabber.kiev.ua
> nick-handle: SQ22-UANIC
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru at nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
>


Подробная информация о списке рассылки nginx-ru