Вовсе не обязательно, что это измена, причины такого поведения Вашего мужа могут оказаться для вас совершенно неожиданными, и, скорее всего, очень неприятными, в противном случае Ваш Сергей давно бы Вам обо всём рассказал.
У меня со своим год назад тоже было что-то похожее - ходит какой-то чумной, будто лунатик, отвечает невпопад. Потом оказалось, что груз ценный у него конфисковали в пути (работает он дальнобойщиком), а груз-то левый был, и к месту назначения доставлять оказалось нечего. А люди серьёзные этот груз ждали. Мне боялся признаться - не знал как я это восприму. Но боялся зря, потому что именно я помогла эту с этим делом разобраться - деньги и связи решают всё. Так что может быть и у Вас не всё так безнадёжно.
Но мобильник мужа я бы проверила на Вашем месте нет ли там случайно какой-нибудь загадочной незнакомки. Да и на его карманы особое внимание обратила бы.