我爱上一个男人，也发生了关系，可是他有老婆，我有老公。他很会撩，比我老公会玩得多，可是他最近不想继续了，想回归家庭。我很痛苦，心痛得要死一样，想到以后的生活只能面对老公就心如死灰，前几天在网上看到有人说，跟爱的人睡一起是大补，我是不是应该放下一切跟他在一起？