Начнем с того, что SMTP и POP3 сервера - суть разные вещи.
Настраиваются - сами по себе.
Единственно что надо соблюсти, чтобы SMTP сервер принимаемую для локального пользователя почту складывал туда, где её (почту) ожидает "взять" POP3 демон.
Разумеется оба сервера необходимо настраивать:
SMTP - соответственно политике сервера: наружу - только с локалки (или с авторизацией на отсылку) - чтобы не получилось open relay'а. Внутрь - только почту для локальных пользователей.
POP3 - чтобы локальные пользователи могли авторизоваться и получить свою почту.
Без каких-то данных и кусков логов сказать что за ошибка - нельзя.
PS. посмотри в сторону
exim - очень хороший SMTP сервер с кучей возможностей и легким текстовым конфигом.
У меня exim берет данные из MySQL базы, на которую-же ссылается и POP3 сервер, получается хранение инфы в одном месте и легкое администрирование
"No! Try not! Do. Or do not. There is no try." -- Yoda