Ну это не одна тема, а много. По хостингу смотрите Apache/Nginx + PHP + MySQL, по серверу имен - Bind, почтовый сервер, если применительно к хостингу - Postfix/Exim + Dovecot. Информации много, от статей различной степени глубины, до официальной документации.
Именно по книгам сказать трудно, книги обычно заточены под какую-то узкую область. Скажем есть хорошие руководства по Nginx, BIND и т.д. Но уровень подачи материала там далек от начального и рассчитаны они на более узких специалистов.