湛江心理咨询师：离婚后该怎样对待儿子

我前夫好赌,为了给儿子完好的家我借了几十万,后来遇到小学同学寻求我,今年年初,儿子四周岁我离婚了,儿子给他,我净身出户,背了几十万的债!原以为他会好好的带儿子,可儿子都丢给他奶奶带!儿子从小就很黏我,现在每个周末或放假我都会接到身边带他,感觉儿子现在越来越黏我,和我在一同就不乐意回家,一打电话给他,他就会哭,让我接他!还会和我说些,他要跳楼,假如我死了他仍是很爱我,会和我一同死之类的话!朋友劝我不应这样频频的带儿子,可我忧虑甩手了,他奶奶会和我儿子说我不要他之类的话,忧虑儿子会受不了!我现在该怎么办?儿子的问题我该怎样去对待?