CineSoft
Power Point Presentation (3.4 Mb) On-line Video Demo (Flash 135 Mb)

Что такое Duma ?

Duma Программное обеспечение Duma представляет собой систему управления рендер-фермой. Оно предназначено для выполнения сложных задач с распределенными вычислениями, запускаемых параллельно на множестве компьютеров, работающих под управлением различных операционных систем. На сегодняшний день весьма популярны разнообразные методы удаленной работы и Duma как раз предлагает удобный и надежный подход к управлению вычислительными заданиями (удаленным рендерингом) из любого места через сеть Интернет. В целях повышения производительности работы CG-специалистов система содержит инструменты запуска заданий для многих популярных графических пакетов. Они позволяют отправлять задачи на рендер-ферму непосредственно из оболочки программы, затрачивая на это минимум действий. В системе Duma реализуется механизм определения наиболее «привлекательных» узлов вычислительной сети с точки зрения запуска на них определенных типов задач, что в сочетании с определением правил по избеганию сбоивших узлов позволяет осуществлять выполнение заданий на рендер-ферме за наименьшее время. Кроме того IT-специалисты могут воспользоваться собираемой в системе статистикой запусков для выявления проблем в работе вычислительной сети. Система Duma поддерживает Alfred®-совместимые скрипты для описания задач рендера. Данные скрипты хранятся в простом текстовом формате – это дает возможность создавать и изменять задания в обычном текстовом редакторе.

Основные возможности

Deputat
  • Программная система Duma поддерживает следующие платформы: Linux, Win, Mac.
  • В системе реализуется Alfred®-функциональность в полном объеме, поэтому Вам не придется пересматривать подход к рендерингу. Более того, Duma предоставляет множество дополнительных возможностей, а также дружественный пользовательский интерфейс.
  • Более двух лет применения системы в производстве VFX на ферме порядка 100 компьютеров.
  • Протестировано использование Duma для управления большими рендер-фермами, тесты проводились на фермах, состоящих из 1500 виртуальных вычислительных узлов.

Компоненты

  • Модуль Secretary - центральный компонент системы, который осуществляет распределение заданий по узлам вычислительной сети.
  • Служба Comrade для запуска заданий на удаленных узлах рендер-фермы.
  • Модуль Deputat предоставляет интерфейс пользователя для мониторинга работы и выполнения основных манипуляций с заданиями.
  • Система скриптов – позволяют осуществить запуск с помощью утилиты Comrade либо отправку на рендер-ферму непосредственно из графического приложения (Renderman (MTOR/PRS), MR standalone (MayaToMR), MayaBatch MR, MayaBatch Software, Nuke, Shake, DF, After Effect и др.).

Работа отовсюду

Televisor
  • Благодаря оптимизированному обмену данными с другими компонентами Deputat позволяет работать удаленно через сеть Интернет практически так же эффективно, как и из локальной рабочей сети.
  • Защищенный вход в систему - при соединении через Интернет система запросит логин/пароль пользователя.
  • Модуль Televisor - просмотр изображений медиа-контента через Интернет в режиме удаленной работы. По запросу на серверной стороне осуществляет конвертацию нужного изображения в формат JPEG с заданными параметрами и последующую доставку файла по TCP-протоколу.

Безопасность

  • Каждый пользователь системы имеет возможность манипулировать заданиями в собственных очередях, а также просматривать содержимое очередей других пользователей.
  • Супервизоры могут осуществлять практически любые действия: запускать, останавливать и даже удалять любые задания на рендер-ферме, изменять различные параметры работы. Также они могут управлять приоритетами исполнения заданий и набором доступных узлов для их запуска.
  • Ведется лог событий, в котором сохраняются все манипуляции с очередями пользователя. Можно просмотреть действия, предпринятые супервизором (например, рестарт заданий).
  • Для более удобной работы из локальной сети администратор может указать диапазон доверительных адресов, при работе с которых не потребуется аутентификация пользователей.

Очереди и задания

  • Deputat позволяет осуществлять управление сразу несколькими выделенными заданиями.
  • Помимо собственного приоритета задания в системе учитывается приоритет пользовательской очереди, к которой это задание относится. Более высокий приоритет позволяет занять больше ресурсов фермы.
  • Может быть задано предельное количество одновременно запущенных задач. Эта величина отдельно задается для очереди и для задания.
  • Если ваше количество лицензий на какое-либо ПО меньше количества компьютеров в сети, вы всё равно можете установить его на все компьютеры и возложить на систему Duma функцию отслеживания количества экземпляров, запускаемых одновременно.
  • Внутри очереди пользователя какое-либо задание может быть отмечено как блокирующее. В этом случае последующие задания после него будут запущены только после исполнения/ручной остановки всех предыдущих заданий.

Запись событий

  • Интерактивный показ консольного вывода исполняющихся задач - быстрый просмотр вне зависимости от объема выходной информации.
  • Хранится отдельный протокол консольного вывода (stdout log) для каждой сессии запуска задачи.
  • Вспомогательный лог содержит историю вызова команд.
  • Дополнительные возможности протоколирования:
    • Настройка отображения результатов задач при помощи регулярных выражений (RegExp).
    • Возможность фильтрации множественных повторяющихся сообщений.
    • Подсветка синтаксиса (сообщений, ошибок и т.п.) для выборочных классов задач.

Мониторинг активности фермы

  • Running tasks - список запущенных на ферме задач, поддерживает групповое выделение и обработку элементов.
  • Hosts - список компьютеров, работающих под управлением Duma. Отображается загрузка ЦП, объем свободной памяти и другие параметры. Недостающие (отключенные) компьютеры системы показаны красным цветом, узлы, не участвующие в работе отмечены зачеркнутым шрифтом.
  • Информация о выполненных задачах может быть сохранена во внешнюю SQL базу данных. Например в виде таблицы, содержащей колонки: Project/Scene/Shot + Start Time + Duration + Owner name, тип задачи, исполнявший компьютер, код результата и др.
  • Вы можете собирать статистику из такой БД и формировать на её основе отчеты с помощью любых доступных приложений.

Конфигурационный файл Secretary

  • Специальный файл настроек в формате XML описывает различные аспекты политик вычислений на рендер-ферме. В него можно вносить изменения в любой момент и они будут “на лету” загружены модулем aspects of rendering policy may be modified and then automatically reloaded by Secretary on the fly
  • Система «правил» (гораздо более гибкая, чем классическая система «слотов») позволяет с использованием TCL описать собственную стратегию использования ресурсов рендер-фермы. Например, система «слотов» может быть описана инструкцией: return [d_ServiceCounter *]<1.0
  • Произвольные атрибуты задания или компьютера могут быть объявлены для использования в выражениях «правил». После этого их значения можно задавать в модуле Deputat. Например, можно объявить величину “memory_demand” (объем требуемой памяти) и после этого проводить в «правиле» сравнение этой величины с объемом свободной памяти вычислительного узла. В результате у пользователей появляется возможность исключить узлы с недостаточной памятью для определенных заданий.

Администрирование

  • Ведется простая статистика ошибок (без SQL), она позволяет обнаружить сбоящие или нестабильные вычислительные узлы.
  • Модуль Deputat использует единый файл конфигурации, в котором могут переопределяться любые пользовательские настройки. В то же время индивидуальные настройки пользователя (интерфейса и других параметров) сохраняются между запусками программы.
  • Совместимость с Alfred®
    • Alfred®-совместимые скрипты для описания задач рендера с помощью TCL.
    • 100% совместимость со всеми Alfred®-скриптами, генерируемыми MTOR/PRS.
    • Поддержка генерации Rib для Mtor (или Houdini) с динамическим созданием ветвей подзадач.
Duma® is a registered trademark of Cinemateka. All other trademarks are protected by law and appear to be the property of respective trademark owners. Alfred® and RenderMan® are registered trademarks of Pixar Animation Studios.
CineSoft