老公出轨的表现：我爱上了一个离异有个4岁男孩的男人,但不接受他有孩子的现实,很痛苦

起先,我回绝与离婚带孩男人往来,他有个男孩,跟他,孩子妈妈和孩子爷爷奶奶闹僵了,但时不时也想见孩子。但了解我不承受他的孩子,他说的很客观,剖析的也对,说要等我。。。他很懂我,后来咱们相互招引,相爱了。一个月咱们简直天天碰头,他为了我也放弃了与孩子共处时刻,孩子在爷爷奶奶家,所以我不能自拔。。。。但我一想到他每周要去他爸爸妈妈那里看孩子,今后要把孩子接回来一同住,就不知怎样办了,还很忧虑孩子的亲妈见孩子,我感觉那孩子是他们的枢纽,永久扯不清。现在我很纠结,要不要见他的孩子,由于这几天完满是与一个单身男人往来,疏忽了孩子的存在,他之前都是与离婚有孩子的往来,想到了我不能承受他孩子的种种困难。我该怎样办?