Linux — Системы очередей расчётных заданий
- В этой теме 19 ответов, 6 участников, последнее обновление 14 лет, 3 месяца назад сделано
КВГ.
Посоветуйте, пожалуйста, как лучше наладить систему очередей задач для выполнения расчётов на Gaussian, инсталлированном на Linux openSuse 10.3, если предполагается удалённый доступ с PC, на котором OS Windows?
Если речь идет об организации удаленного доступа к Linux-машине, то лучшим решением (имхо) является связка NX Server/NX Client + PuTTY + Xming.
http://ru.opensuse.org/FreeNX_Server_HOWTO (настройка NX сервера в Linux)
http://www.nomachine.com/ (NX Client)
http://sourceforge.net/projects/xming (Xming)
Очередь расчетов можно организовать в виде shell-скрипта.
Для удалённого управления нужно использовать протокол SSH (ПО со стороны Linux уже установлено),
в Windows SSH-клиент PuTTY.
Если компьютер находится в одной локальной сети с Windows-машиной, то ещё SAMBA (предоставление
доступа к файлам по windows-протоколу SMB). В данном случае при обновлении файлов это сразу будет на windows-машине отображатся (например, при открытом файле в визуализаторе).
Очередь заданий — это просто скрипт (shell script) вида:
#!/bin/sh
g03 /path_to_in/in_file1.gjf
g03 /path_to_in/in_file2.gjf
g03 /path_to_in/in_file3.gjf
Файл должен иметь права на исполнение.
PS: По заголовку не сразу понял о чём речь. Т.к. в Linux существуют различные планировщики — процессорного времени, дисковой записи и т.п. И там есть очереди всяких заданий. И между прочим, их тоже можно по всякому переключать, но IMHO, это тюнинг из области самоделкиных (чтобы дополнительные пол-процента производительности выжать, но существенно обезобразить пользовательскую работу).
Я так понимаю, речь идет о queueing system, типа PBS/Torque, SGE, etc., которые созданы для запуска и распределения задач на кластере, но даже и на одной машине наверое будет удобно ставить задачи в очередь. Насколько помню, в SuSE 10.x в репозиториях был OpenPBS, немного примитивный, но когда одна машина/пользователь вполне пойдет. На большинстве кластеров на которых приходилось работать/настраивать как правило ставили PBS-derivatives, Torque наиболее удобный, ИМХО. Sun Grid Engine (SGE) конечно круто, но разбираться уже не охота было, снес.
Не знаю, это скорее, когда на машине много людей работают.
Обычно один расчёт продолжение другого, а если нет, так всегда можно скрипт составить и запустить.
А все эти системы лишь усложняют работу.
Добрый день, извините, что не совсем в тему — не нашел ничего более подходящего.
Нет ли у кого-то скрипта для последовательного запуска квант.-хим. задач под Windows XP — желательно для PC Gamess (с сохранением результатов в разные папки, удалением временных файлов…)? Пользуюсь в Линукс подобным простеньким скриптом ("недовылизанным", правда) — удобная штука, а вот под винду нет.
Нет ли у кого-то скрипта для последовательного запуска квант.-хим. задач под Windows XP — желательно для PC Gamess (с сохранением результатов в разные папки, удалением временных файлов…)? Пользуюсь в Линукс подобным простеньким скриптом ("недовылизанным", правда) — удобная штука, а вот под винду нет.
Могу попробовать переделать этот скрипт на перл. Будет работать на любой операционной системе. Тем более что давно хотел что-то подобное для винды.
Если интересно, то выкладывайте скрипт и описание его работы.
Нет ли у кого-то скрипта для последовательного запуска квант.-хим. задач под Windows XP — желательно для PC Gamess (с сохранением результатов в разные папки, удалением временных файлов…)? Пользуюсь в Линукс подобным простеньким скриптом ("недовылизанным", правда) — удобная штука, а вот под винду нет.
Рекомендую программу D&D-PCGamess (она и есть скрипт + интерфейс)
Если интересно, то выкладывайте скрипт и описание его работы.
Спасибо, amg! Прилагаю скрипт с описанием. Уверен, что нужда в подобном скрипте имеется не у одного меня.
Что касается программы D&D-PCGamess, которую упомянул oxchem, то погуглив я ее не нашел — ни на сайте Грановского, ни во Вселенной в целом. Но как мне кажется, одно другому не мешает: скрипты хороши своей простотой и возможностью корректирования, а солидные интерфейсные программы — набором всяких удобств.
1. Download Link: Click here to download file
http://rapidshare.com/files/162817743/d_d-pcgamess.zip.html ;D
Прямо техническое задание на разработку 😮 ;D
Спасибо, oxchem. Посмотрел, полезная программка. Жаль, нет под рукой винды с Гамессом, чтобы посмотреть в работе.
Но нехорошо, что всего 10 инпутов можно запустить. Мне, напр., приходится запускать серии по 20 и более штук. А скажем, перед командировкой можно бы и штук 50 заправить на счет.
Кроме того, здесь, насколько я понимаю, нельзя управлять набором сохраняемых выходных файлов, а ведь иногда нужно бывает, как я читал, сохранять довольно экзотические временные файлы типа Work 15. Поэтому скрипты тоже нужны, они обеспечивают больше возможностей. С ними легко расширить или уменьшить список сохраняемых файлов для данной серии расчетов.
Кстати, в процессе работы того скрипта под Линукс (steps.sh), который я выложил, инпут-файлы, не находящиеся в данный момент в работе, тоже можно исправлять (как и в D&D), а также добавлять новые файлы хоть до бесконечности. Так что, если amg сделает в Perl скрипт, то, на мой взгляд, это будет хорошее приобретение для community.
В идеале (гулять так гулять 🙂 !) еще лучше было бы иметь возможность задавать набор сохраняемых временных файлов для каждого инпута персонально, ну а по умолчанию сохранять только out-файл и Punch. Тогда можно эффективно запускать под скриптом не только однородные серии расчетов, но сваливать в кучу и точечные расчеты, и расчеты спектров, и т.д.
Сделал 0-ю версию. Идеологию скрипта KBr постарался сохранить, хотя не уверен, правильно ли это. Добавил возможность запуска не всех расчетов, а выбранных по маске, а также (и, наверное, это важнее) расчет другими программами, не только pcgamess (IMHO, предложенная oxchem программа покрывает 95% потребностей юзеров pcgamess, а с Природой или ORCA, например, ситуация хуже).
Скрипт почти не тестирован. Здесь надеюсь на сообщество.
Скрипт довольно подробно комментирован, есть хелп (опция -h) и опция -debug, так что подробности — в тексте скрипта.
Для работы нужен дистрибутив perl, на linux, скорее всего уже есть, для винды — лучше от ActiveState. Это бесплатно. Например, эту версию:
http://downloads.activestate.com/ActivePerl/Windows/5.8/ActivePerl-5.8.8.824-MSWin32-x86-287188.msi
Скрипт:
http://limor1.nioch.nsc.ru/file/Priroda/steps.pl
http://limor1.nioch.nsc.ru/file/Priroda/steps_win.pl
Отличаются только кодировками русских букв (в последнем — комментарии в cp1251, а текст хэлпа, выдаваемый через cmd — в досовской кодировке ???).
Буду благодарен замечаниям и предложениям.
Большое спасибо, amg! Быстро вы нулевую версию сделали. Завтра комп закончит считать, и попробую запуститься под вашим скриптом. О результатах сообщу, конечно.
Ну а то, что вы добавили возможность запуска скрипта другими программами, вдвойне хорошо.
А может, кто-то предложит что-нибудь получше?
Мне нравится идеология, реализованная в bath systems, о которых выше говорил qadir. Что-то подобное, в упрощенном, конечно, варианте, под linux и можно было бы сделать, но смысла не имеет — уже есть. А сделать такую систему под win, а тем более платформо-независимой — слишком сложно для меня.
Но для для расчетов на компьютере, персонального в буквальном смысле, вполне подойдет Ваша идеология.
Только вот Ваш скрипт у меня оказался нерабочим — оно и неудивительно, чтение файла в цикле и одновременно изменение этого же файла в том же цикле может приводить к ошибкам. Поэтому я этот скрипт чуток подправил, вдруг пригодится. Заодно убрал '.inp' из названий output-файлов.
http://limor1.nioch.nsc.ru/file/Priroda/steps1.sh
Для ответа в этой теме необходимо авторизоваться.