孔丘长到三岁时，老父叔梁纥便与世长辞了。孔丘娘俩的苦日子就来了，但对于个人的成长来说，小时候吃点苦可能未必是坏事…

孔家成为正室施氏的天下，施氏为人心术不正，孔丘母子不为施氏所容，颜征在只好携孔丘移居到曲阜，在一个叫做阙里的小巷安家。

一方面这里离颜氏的娘家近，有什么要紧事的时候，好有人帮衬，更主要的还因为鲁都曲阜是鲁国政治、经济、文化的中心，典籍丰富，名师众多，能让儿子孔丘日后成长有个良好的学习环境。

当颜氏父亲颜襄听说女儿携子流落曲阜，急忙设法找到门上，要征在母子搬回娘家去住。颜氏却谢绝了父亲的好意，决心用自己的双手和汗水抚育儿子成才，也算是给儿子树立一个自立的榜样。
   
颜氏为了生计，备尝了生活的艰辛。她在门前开垦了一小块荒地，种上五谷杂粮和一些蔬菜，总算勉强糊口。他还给人家洗洗补补，做些零活，贴补家用。

就这样，颜氏节衣缩食，苦苦支撑着，唯一的希望和安慰便是她的儿子孔丘。她一定要把儿子养大，将来重振家业，实现丈夫的遗愿。

懂事的孔丘为了减轻母亲负担，小小年级也不间断的干过很多贵族子弟不屑于干的杂活，诸如扫地、打柴、推车、洗衣、挑担、放羊、当吹鼓手等等。
   
无论传说孔子的出生是多么不平凡，天资是如何的聪颖，但是从他的成长历程来看，他的母亲颜氏在对于孔子的教育上是起到非常关键的作用的。
   
颜氏深谙学习的最好导师在于兴趣，而培养兴趣的关键在于环境。由于孔丘母子住的地方与宗府相距不远，每到祭礼，孔丘都会前往参观，所以，孔丘自小就对祭礼看得烂熟，并自己寻找一切可利用之物来模仿，如上香、献爵、奠酒、行礼、读祝、燔柴等等。一个人的独角戏玩得津津有味，始终不厌倦。

颜氏看在眼里，喜在心里，她先是从语言上顺着儿子的兴趣有意引导他的某种发展方向，笑着说：“你天天戏弄俎豆（泛指各种礼器）来消遣，难道想学会了礼制，去做礼官不成？”

孔子幼小的心灵认识到，这不仅仅是一个有意思的游戏，将来还可以作为一种非常有用的职业，于是孔丘便萌发了想要进一步学习的强烈欲望，进而不断的问询母亲其中的道理，颜氏一次性交给孔子的内容并不求多，孔子总是在轻轻松松中就感觉自己把母亲教给的东西全掌握了，而且还有一种吃不饱的感觉。这就完成了一种由“要我学”到“我要学”的转变。

看看现在孩子们的学习作业，太过沉重，反而把他们学习的激情给磨没了
  
而颜氏在这一点上就做的很好。
  
渐渐的，征在的知识实在满足不了儿子的要求了，常被问得张口结舌，只好将孔丘送到他的外祖父颜襄那里去教授。

颜襄博古通今，早年在外为官，告老后聚徒讲学，征在的知识，全是从父亲那儿学来的。她深信，父亲渊博的学问定能满足儿子求知的欲望。
  
公元前542年，孔丘九岁，开始正式在外祖父颜襄处求学。颜襄发现这个外孙，有着强固的记忆力，众多的书本只须默读一遍，就能长久不忘。此子本来天生异相，又有如此聪慧天资，将来必非凡品。故而颜襄倾尽胸中所学，尽授予他。
   
颜襄善于从大处引导做人做事的道理，他对孔丘讲：“在做人的问题上：君子有三思，一是年少不勤学，年长一无所能；二是年老不讲学，死后无人纪念；三是有财不布施，穷了无人救助。

……在出仕的问题上：若将来能出仕，居高位，掌国政，应当远宗尧舜的道理，近守文武的法则，顺天时，察地理，小则可以教民安乐。大则可以平治天下，自可是顶天立地的大圣人。…”

在外祖父的谆谆教导下，到十五岁时，孔丘就能在心中立定求学问道的志向了，所谓＂十有五而志于学。＂
   
看到外孙进步飞快，颜襄甚是欣慰，常常不无感慨地说：“可惜我老了，看不见你的成就了。”孔丘唯唯受教，不久颜襄寿终正寝，与世长辞。直至颜襄去世，孔子的人生观、价值观已经基本确立起来，具备了圣人思想的雏形。
   
外祖父过世后，孔丘伴母亲守孝百日，就随母还家，这时孔丘已是位小有名气的博学少年了，但是他们困窘的生活状况依然如故。那时候要体现高贵的人生价值，进入上层社会，就必须先学会六艺，即六种基本才能：礼、乐、射、御、书、数。

礼是指礼节（类似今日德育教育）；乐是指音乐，射即射箭的技术；御是指驾驶马车的技术(相当于今天的驾照)；书是指文学和书法（书写，识字，作文）；数：算术与数论知识。

孔子开始有意识的在六艺方面细心钻研，这种主动的心态，是其日后积极进取一日千里的保障。