早在就读于上海中国公学时，年轻的胡适就写过一篇《论家庭教育》，此文发表于1908年9月6日的《竞业旬报》上，其中说道：
什么叫做家庭教育呢?就是一个人小的时候在家中所受的教训。列位看官你们不听见俗语中有一句话么：“山树条，从小弯”(这是我们徽州的俗语);又说道：“三岁定八十”，可见一个人小的时候，最是要紧。将来成就大圣大贤大英雄大豪杰，或是成就一个大奸大盗小窃偷儿，都在这“家庭教育”四个字上分别出来。儿子孙子将来或是荣宗耀祖，或是玷辱祖宗也都在这“家庭教育”四个字上分别出来。看官要晓得这少年时代，便是一个人最要紧的关头。这家庭教育便是过这关头的令箭，所以我今天便详详细细的说一番。
列位且听我道来。我们中国古时候，最注重这家庭教育。儿子还在母亲怀中没有生下来，便要行那胎教。做母亲的，席不正不坐;行步不敢不正;不听非礼之音;不说非礼之言，这便叫做胎教。儿子生下地来，便要拣一个好的保姆，好好的教导他。六岁教他什么，七岁教他什么，八岁九岁教什么，到了十岁才出来从师读书。十岁以内，便都是父母的教训，这便叫做家庭教育。
看官须记清，我中国古时的人，都是受过家庭教育来的了。看官要晓得，这家庭教育最重要的便是母亲。因为做父亲的，断不能不出外干事，断不能常常住在家中，所以这教儿子的事情，便是那做母亲的专责了。现在要改良家庭教育，第一步便要开办女学堂。
在文中，胡适强调“这家庭教育最重要的便是母亲”，所以，“现在要改良家庭教育，第一步便要开办女学堂”。遗憾的是，胡适后来的妻子江冬秀没有进过学堂，按胡适的观点，她是无法成为一个称职的母亲的。
胡适关于家庭教育的观点终身未变，晚年，他曾对秘书说过这样一番话：“娶太太，一定要受过高等教育的;受了高等教育的太太，就是别的方面有缺点，但对子女一定会好好管理教养的。母亲有耐心，孩子没有教不好的;孩子教不好，那是做母亲的没有耐心的关系。”
胡适和江冬秀育有三个子女。长子胡祖望虽接受了高等教育，但远远未能达到胡适对他的期望，胡祖望取得的成绩与他的“名父之子”的身份是不相称的。小儿子胡思杜就完全不成器了，读了两个大学都未能毕业，还染上不少坏习气，最终被美国当局驱赶回国。女儿素斐五岁那年患病，救治不当，夭折。
胡适公务繁忙，无暇照顾、管教孩子，而他的太太江冬秀因没有接受教育，对孩子，无论是养育还是管教，都不甚得法。所以，胡适晚年对秘书说的这番话充满了苦涩，充满了无言之痛。
1927年2月5日，远在美国纽约的胡适给江冬秀写了封信，信中谈到夭折的女儿。
冬秀：
我今天哭了女儿一场，你说奇怪不奇怪。
我这几天睡少了，今天下午无事，睡了半点钟。梦里忽然看见素斐，脸上都是病容。一会儿就醒了。醒来时，我很难过，眼泪流了一枕头;起来写了一首诗，一面写一面哭。忍了一年半，今天才得哭她一场，真想不到。
我想我很对不住她。如果我早点请好的医生给她医治，也许不会死。我把她糟掉了，真有点罪过。我太不疼孩子了，太不留心他们的事，所以有这样的事。今天我哭她，也只是怪我自己对她不住。我把这首诗写给你看看。
在这封信里，胡适虽然只是自责，但既然他认为，女儿是因为治疗不当被“糟掉”的，父亲难辞其咎，做母亲的，难道就没有责任?
胡适强调做母亲一定要有耐心，而江冬秀因为文化程度不高，耐心自然有限。从下面这封写给胡祖望的信中，我们或可对江冬秀的教子之方略知一二。
祖望:
你还不写信来给我，快写信来，你好好的读书，不听话我回来要打你呢。我出来带好东西给你。
妈妈
胡适对长子胡祖望的期望原本是很高的，1929年8月26日胡适给长子胡祖望去了封信，当时，胡祖望即将去苏州读书。
祖望：
你这么小小年纪，就离开家庭，你妈和我都很难过。但我们为你想，离开家庭是最好办法。第一使你操练独立的生活;第二使你操练合群的生活;第三使你自己感觉用功的必要。
自己能照料自己，服侍自己，这是独立的生活。饮食要自己照管，冷暖要自己知道。最要紧的是做事要自己负责任。你功课做的好，是你自己的光荣;你做错了事，学堂记你的过，惩罚你，是你自己的羞耻。做的好，是你自己负责任。做的不好，也是你自己负责任。这是你自己独立做人的第一天，你要凡事小心。
你现在要和几百人同学了，不能不想想怎么样才可以同别人合得来。人同人相处，这是合群的生活。你要做自己的事，但不可妨害别人的事。你要爱护自己，但不可妨害别人。能帮助别人，须要尽力帮助人，但不可帮助别人做坏事。如帮人作弊，帮人犯规则，都是帮人作坏事，千万不可做。
合群有一条基本规则，就是时时要替别人想想，时时要想想:“假使我做了他，我应该怎样?”“我受不了的，他受得了吗?我不愿意的，他愿意吗?”你能这样想，便是好孩子。
你不是笨人，功课应该做得好。但你要知道世上比你聪明的人多的很。你若不用功，成绩一定落后。功课及格，那算什么?在一班要赶在一班的最高一排。在一校要赶在一校的最高一排。功课要考最优等，品行要列最优等，做人要做最上等的人，这才是有志气的孩子。但志气要放在心里，要放在功夫里，千万不可放在嘴上，千万不可摆在脸上。无论你志气怎样高，对人切不可骄傲。无论你成绩怎么好，待人总要谦虚和气。你越谦虚和气，人家越敬你爱你。你越骄傲，人家越恨你，越瞧不起你。
儿子，你不在家中，我们时时想念你，你自己要保重身体。你是徽州人，要记得“徽州朝奉，自己保重”
儿子，不要忘记我们，我们不会忘记你，努力做一个好孩子。
可胡祖望毕竟是个孩子，贪玩，没把胡适的教诲放在心里。一段时间，他的成绩很不好。对此，胡适相当失望。
胡适做人修养极佳，常告诫他人“不要给人看一张生气的脸”，对“容忍”推崇备至。可他也说过这样的话，什么都可以容忍，就是不能容忍愚蠢。由于他对子女期望过高，所以当胡祖望的考试分数不理想时，胡适也会因为急躁而失去了耐心。他曾给长子胡祖望写过这样的信：
祖望：
今天接到学校报告你的成绩，说你“成绩欠佳”，要你在暑期学校补课。
你的成绩有八个“4”，这是最坏的成绩。你不觉得可耻吗?你自己看看那这表。
你在学校里干的什么事?你这样的功课还不要补课吗?
我那一天赶到学堂里来警告你，叫你用功做功课。你记得吗?你这样不用功，这样不肯听话，不必去外国丢我的脸了。
今天请你拿这信和报告单去给倪先生看，叫他准你退出旅行团，退回已缴各费，即日搬回家来，七月二日再去进暑期学校补课。
这不是我改变宗旨，只是你自己不争气，怪不得我们。
爸爸
尽管胡适相当克制，但他的失望与气恼还是从字里行间泄露无遗。
1938年，江冬秀带着小儿子思杜在上海避难。期间，胡思杜沉迷于赌博和京戏中，挥霍无度，手头紧就将家中物品偷出去卖。远在国外的胡适听到消息后，十分不安，忍不住在信里对妻子指教了一番：
冬秀：
我盼望你不要多打牌。第一，因为打牌最伤神，你的身体并不是那么结实，不要打牌太多。第二，我盼望你能有多一点时候在家照管儿子;小儿子有一些坏习气，我颇不放心，所以要你多在家照管照管儿子。第三，这个时候究竟不是整天打牌的时候，虽然不能做什么事，也应该买点书看看，写写字，多做点修养的事。
胡适毕竟是胡适，随着年岁的增长，他越来越意识到宽容的重要性，对于孩子的成长，他也知道，鼓励比批评更重要。
1939年，胡祖望在美国留学，江冬秀给胡适去了封信要他转交给儿子，
胡适阅后觉得不妥，就扣下这封信，并在回信中委婉地批评了妻子：
冬秀，你对儿子总是责怪，这是错的。我现在老了，稍稍明白了，所以劝你以后不要总是骂他。你想想看，谁爱读这种责怪的信?所以我把你信上关于他的朋友李君的事告诉他了，原信留在我这里。
我和你两个人都对不住两个儿子。现在回想，真想补报，只怕来不及了。以后我和你都得改变态度，都应该把儿子看作朋友。他们都大了，不是骂得好的了。
因为担心思杜在上海继续学坏，胡适后来还是设法安排他去美国留学。遗憾的是，胡思杜在美求学期间，依旧热衷赌博，成绩一直很差，父子关系非常僵硬。胡适的特别护士(也是他的秘密恋人)哈德门小姐曾写信给胡适，劝他对儿子的态度要和缓一些：
思杜十四号开始上课，所以你或许会希望他能路过去那儿看你。当然，他来看你的目的，是希望在你回国以前能跟你见个面。你们的交谈，还有他的信可以说明一切。他在纽约的时候，会住在我们这儿，我希望你会要他在回学校以前去看你。我推测他非常渴望能得到你的认可和建议。我觉得现在时机已经成熟，是他饥渴地想要跟你有真正的沟通的时候。这也将有助于他在攀援人生的阶梯当中找到一个歇脚之处。自从我认识他以来，他在这一个迷失的阶段里，可以说是成熟最多。如果你能够做到不要让他对你望而生畏，你见到他的时候，气氛就会比从前好多了。思杜很失望，在他日趋成熟的当下，你和他连好好相聚一下的余暇都没有。
此信使胡适意识到，儿子的不成器，身为家长的他要承担更多的责任，他对小儿子的态度因此有了很大的改变。1946年6月16日，胡适在日记里写下这样的文字：
昨夜太热，在床上看书，到半夜后两点，还不能睡。忽然记起小三今天毕业，今天又是美国人的“fathersDay”(父亲日)，我很惭愧我对两个儿子，一个女儿(死了)，都没有尽我能够尽的责任!
两点起来，写一电报给小三：Congratulation!Whateverhappenstoday,myloveFather.(不管今天发生什么事，恭喜你!爱你的父亲。)
胡适晚年，仍常常想到小儿子思杜。1961年5月14日，胡适对秘书谈起了自己的小儿子，说：
1946年父亲节那天，我想起我的第二个儿子思杜，我打了一个电报给他。他在印第安纳大学读书的。谁知他那个学期根本没去上课，他把我汇给他的钱全部跑马跑光了，还欠了一身的债。结果为了两张支票的事，险些儿被警察找去了，后来由我的一位朋友把他救出来。他的两个衣袋里全是当票，一张是我给他的一架打字机的当票。这个儿子五尺七寸高，比我高一寸，比大儿子高两寸，肩膀很阔，背也厚孟真的肩膀很阔，所以孟真特别喜欢他。
尽管思杜念书不成，被赶回国，胡适失望归失望，但还是很宽容地对待了儿子，他说：“后来他回来了，我也没有责备他。”