三亚心理咨询：外甥寄住在家里

之前跟公婆不住一同,我和老公在市里,大姑姐的孩子11岁寄住在公婆这儿(是婚房,在县城),由公婆每天接送上学,现在因为借款压力,我和老公计划搬回婚房与公婆住几年,将市里房子租借出去。可是外甥一向寄住在这儿,长时间下去感觉不舒服,不方便,想让他回到自己家,我和老公的主意自私吗?怎样处理这样的工作防止家庭对立。?