Все действия производились на сервере Ubuntu с установленным ISPManager’ом 5.
Заходим в ISPManager под администратором и в разделе WWW-домен добавляем поддомен для вашей почты (например mail.домен.ru)
После сохранения домена, на главной вкладке WWW-домен переходим в редактирование его конфигурационного файла (кнопка «Конфиг»).
В конфиге Apache находим строку DocumentRoot, а также Directory и меняем на
DocumentRoot /var/lib/roundcube
<Directory /var/lib/roundcube>
Для Nginx ищем все строки начинающиеся set $root_path и заменяем из на
set $root_path /var/lib/roundcube;
Нажимаем Ok для сохранения всех настроек конфигурационных файлов.
Теперь при переходе по адресу mail.домен.ru должен будет открываться ваш почтовый сервер roundcube.
Если вы хотите так же в ISPManager по ссылке так же переходило на ваш поддомен, то в статье — Изменение адреса Roundcube в ISPManager 5 описаны действия как это сделать.