Кластеры в Линуксе

By fresco Date 23.07.07 11:27

В самаге, в номерах 11 и 12 за 2006 год, есть неплохие статьи на эту тему. Описывается использование Linux HA. Качнуть номера можно с www.natahaus.ru

By G0thic Date 23.07.07 11:44

А что нужно получить в итоге? Резервирование, отказоустойчивость, балансировку, считалку?

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By BSN Date 24.07.07 11:33

отказоустойчивость

By Bercut Date 25.07.07 06:28

видимо не понял вопроса ? (хотя и вопрос не совсем...)
какую задачу надо реализовать с помощью кластеров ?

потому как универсального совета несуществует

ничего подобного кластер сервису виндавсов в никсах нет и быть не могет

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By G0thic Date 25.07.07 12:11

ты про нативное или аддоны типа doubletake?

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 26.07.07 05:50

это ты про господи прости винавсы спрашиваеш?
дык я ими стараюсь не запариваться ибо неху№";

своя кластеризация там неочень магко говоря но работает
если её железом поддержать типа SAN сетей

про сторонних не пробовал не знаю

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By G0thic Date 26.07.07 16:23

а что. для винды уже много чего написано. и с грехом попалам работает. а что делать, когда нужно кластеризовать exchange.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 27.07.07 05:31

ну вот тогда и пользовать родные кластеры винавозные
само для себя то оно должно работать без палева

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By Bercut Date 24.07.07 05:33

существует весьма много кластерных систем основанных на конкретном серверном по
как то mysql oracle если бд
или модули к апачу если вебсервер

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By G0thic Date 25.07.07 12:15

Да, пожалуй, если есть возможность использовать кластеризацию для конкретного ПО, лучше использовать её.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 26.07.07 05:52

дык а по другому то вобщем и ни как
так или иначе будеш затачивать под конкретный круг задачь

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By LOE (Site/forum admin) Date 26.07.07 06:19

Не совсем так, можно "заточить" более-менее универсально.
Сходу не помню ссылку, но есть проект, в котором:
2 серверные машины, полностью идентичные, данные меж ними реплицируются
1 "разруливающая" машина, на которой работает программа проверки доступности первых двух

Одна из серверных - в работе, реальный IP назначен ей. Вторая в неактивном режиме (только приватный IP).
Когда первая подвисает, рулящая машина это обнаруживает и перекидывает реальный IP на вторую машину
Т.о. обеспечивается 100% резервирование всего сервера.

"No! Try not! Do. Or do not. There is no try." -- Yoda

By Bercut Date 26.07.07 07:56

проектик этот видел не помню как называется

это полный пээээээ
не вижу тут кластера вообще
распределения нагрузки нет

отказоустоичивость под сомнением
если рухнет тн рулящая машина то пинцет

это уж лучче на резервной скрипт зациклить который на себя айпишник перетянет при обломе боевой тачки

и идентичность ни кчему тогда

а вот внешние хранилова и тут будут в самый разззз

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By LOE (Site/forum admin) Date 26.07.07 13:00

Я бы поспорил.
Автор топика не расписал поподробнее суть задачи, а мы сидим и гадаем ;-)

В данной схеме отказоустойчивость как раз на высоте:
1. управляющая система не имеет никаких особых настроек, кроме самого контролирующего скрипта. А значит, в случае падения, восстановить можно в считанные минуты (не говоря о том, что система вообще может быть на liveCD)
Падение этой системы не приводит к остановке сервисов. Т.к. её задача - скомандовать основным серверам принять на себя реальный IP
В случае падения, просто нарушится автоматическое управление.
2. самостоятельная разработка "резервного скриптика" потребует дни и недели на написание и отладку. Зачем? если есть готовая рабочая схема.
3. распределения нагрузки тут нет. Но автором ставилась задача - "отказоустойчивость", что предполагает наличие какого-то сервиса, который, в случае выхода железок из строя, подхватился бы другой машиной, стоящей "на боевом взводе"
А значит, нужна полная идентичность данных.

Внешние хранилища не спасут. Например, храним данные на супер надежном массиве. Но службы то работают на обычной машине...
В случае выхода машины из строя, да, данные сохранены. Но сами службы (да тот-же веб сайт) отвечать перестанут.

А кластер, имхо, подразумевает именно распределение нагрузки. Когда запросы отрабатываются на разных машинах. Здесь тоже есть элемент отказоустойчивости, но другой.

К примеру, проект openMosix (который благополучно сдыхает) или его прародитель Mosix (который живет).
Совершенно прозрачная система для приложений. Но эффективна она на программах, работающих сравнительно длительное время (начиная от десятков секунд).
Пробовал на openMosix кластере запускать компиляцию ядра. Так процессы просто не успевали мигрировать на другую ноду.
А значит, для тех-же веб сайтов она неприменима (когда время запуска-отработки скриптов меньше секунды).

Так что, нужно более подробное описание задачи, чтобы можно было рассуждать детальнее.

"No! Try not! Do. Or do not. There is no try." -- Yoda

By G0thic Date 26.07.07 16:19

Внешние хранилища спасают, когда факт подыхания одной из машин определяет другая и берёт на себя роль сдохнувшей.
Это используется в VMWare ESX начиная с 3-ки. Несколько мощных физических серверов держат все виртуалки на внешнем сэне, отслеживая друг друга и координируя свою работу. Виртуалки можно мигрировать по этим физическим серверам, засыпая на одной и просыпаясь на другой.
Без внешнего хранилища тоже можно, если работает зеркало по сети. Через какой нибудь iSCSI и софтовый рэйд. Но это надо настраивать и знать как, что и почему. Вариантов много - надо тюнинговать. И не факт что заработает именно ваша задача.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By G0thic Date 26.07.07 16:30

Кстати сказать, это одно из часто используемых решений. Дешево и универсально. Собирается на коленке. Попробовать можно на вируалках - все прекрасно работает.
Где-то полгода назад скачивал готовую виртуалку (ноду), чтобы из них можно было строить кластер с небольшим тюнингом. А на живую машину все это дело перевести - раз плюнуть.. линукс.. :-)

Запускать можно соотвественно в любой вируальной среде, хоть хен, хоть vmware, хоть виртуозо или kvm какой нибудь.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 27.07.07 05:38

со многим согласен
про мосих тоже вспомнил

а нащет внешнего хранилова дык оно свою задачю выполнит полюбому если не топор в спину ему
а сами сервисы кластеризовать
причем тут как раз и поможет сервер типа блейд да еще и с ro носителем для загрузки
но их много
а если он веб сервер то как я и отмечал в апаче есть собственные средства кластеризации

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By Bercut Date 27.07.07 05:39

а ваще нравются мне не конкретные топики флейм можно разводить или не разбавленым юзать

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By G0thic Date 27.07.07 13:02

Ещё перед апачем можно ставить nginx в качестве балансировщика и прекешировщика.
Про модули апача тоже читал, но не пробовал. Не напомнишь, как оно зовется?

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By G0thic Date 26.07.07 16:22

В идеале рулящая машина - одна из тех двух, мастер. Если она дохнет - поднимаетс слэйв.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By BSN Date 30.07.07 10:47

да.да. согласен. так как три тачки тут перебор. Как я вижу: Две тачки с одинаковым железом ставится туда какой то софт. Один IP. Несколько сервисов. Задача отказоустойчивость. Даже раиды не нужны. на одной тачке жмешь ресет и другая все берет на себе а клиенты как работают так и продолжают. в идеале. :-)

я думаю это реально :-)

))

By LOE (Site/forum admin) Date 30.07.07 12:42

Если сервис настолько востребован - три тачки - это фигня
железо составляет минимальную часть бизнеса, при чем, платится один раз

"No! Try not! Do. Or do not. There is no try." -- Yoda

By G0thic Date 30.07.07 13:25

другая нода сможет всё взять на себя в том случае, если у неё прежде всего доступно актуальное хранилище. и ресет тут не стршен. такие fs есть.
http://www.opennet.ru/prog/sml/150.shtml
Взять хотябы Drbd. Как раз чтобы зеркало томов по сети работало - для двух-нодовой конфигурации лучше не придумаешь.
Сервисы уже могут быть запущены. Останется только отловить факт подыхания главной машины и запустить процесс захвата власти.
прежде всего ip адреса :-)

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By BSN Date 31.07.07 04:52

если кто занимался этим вопросом подскажите как мне это изучить попробовать и понять ( т.е. хочу подсказку куда копать, т.к. линукс знаю поверхностно ). еще интересно посмотреть Win2003 если может есть у кого Win2003 с кластерами, у меня только стандарт едишен. сравнить надо будет все и когда нибудь прийти к выводу.....

By Bercut Date 31.07.07 06:06

поднимал на 2k advnced ser
както работало
путью не понял и как но типа кластер все дела
тачки были разные кстати, принципиально разные (одна на 2 ксеонах а др на пне)
с 2k3 не пробовал

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By cutter Date 03.08.07 04:06

Задолбало! Пиши по-русски!

By Bercut Date 03.08.07 05:57

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By BSN Date 07.08.07 11:26

кстати да! может и разные можно. ладно скоро попробуем на W2003 там расскажу а по линухе не силен не знаю как там это реализуется

By G0thic Date 26.07.07 16:00

Общие решения есть и они как раз удобны своей универсальностью. Взять хотябы кластеры в солярке или аиксе. Благодаря тому, что процесс упаковывается и унифицируется вместе с данными и окружением, он может мигрировать с ноды на ноду налету. Но всегда надо подходить к делу взвешенно, исходя из задач. Может получиться так, что необходимость кластеризации и резервирования данных может привести к выбору дорогого решения на базе оракла, когда вообще можно обойтись БД аля sqllite, а кластеризацию делать на базе ОС.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 27.07.07 05:41

ну по солярке ты унас запрвляеш тебе и карты в ноги
там должно быть все супег гуд она ведь за немеряное бабло торгуется

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...

By G0thic Date 27.07.07 13:07

Их политика - постепенная передача сообществу всех своих наработок. Кластеры, кстати сказать, уже отдали. IBM тоже отдает - это у них соревнование такое. Кто мягче постелит, кто круче выпендрится - нам от этого только лучше.

Когда кругозор человека сужается к минимуму, он называет это своей точкой зрения.

By Bercut Date 30.07.07 08:09

это да
тока вот исходлники жавы пока жмут передали только часть
а сами при этом популяризируют средства разработки
хитрюги
мать их

русский язык подобен искуству кун-фу, и великий мастер никогда не применит его без необходимости...