小学生心理健康教育：想问问这样的情况会不会给孩子造成心理伤害

我老公是武士,长时间在部队,一年回来一两个月,所以咱们没有买房子,他家和我家不是一个当地的,咱们家在市区他们家在县上,我从成婚之后由于作业原因一向住在娘家,孩子从出世到现在3岁了也是由我和她外公外婆一同抚育长大的,爷爷奶奶从来没有来带过孩子,现在咱们夫妻感情不好我老公现在每次回来省亲就回他爷爷奶奶家去住,不肯意住咱们家,他要求每个周末都要带孩子回他家去玩两天,每次来带孩子,孩子都哭闹不止不肯同去,可是我仍是让他带走了,现在我发现他们送孩子回来后,孩子不止一次跟我说,妈妈,我不要再去那里了,并且每到周末一跟她提让她跟他爸爸去玩两天,她就心情很激动的又哭又闹,我想问问假如长时间如此会不会给孩子形成心思损伤