在20世纪初期，香港大体上还是一个渔村、渔港，居民大多以捕鱼、驳运为生，船就是他们的房子，是他们唯一可以遮风挡雨的地方。那时，在香港的各个港湾里，一艘艘渔船停泊、聚集，形成一个个独特的海上村落。

　　当时的水上人家也被称为“舢板客”，他们是处在社会最底层的人，就连那些居住在破棚烂舍里的人也看不起他们。    

　　1923年5月10日，霍英东就出生于这样的一户水上人家的小木船上。说是木船，其实只是一条两米长的小舢板。霍家七口人，就在船上摆炉做饭。到了晚上，全家人就挤在一起睡。    

　　霍家没有驳运船，父亲是租别人的货船从事驳运生意的。所谓驳运，就是从无法靠岸的大货轮上，将货卸到自己的驳船上，再运到岸边码头，从中赚取少量的运费。驳运货物本来收入就有限，还要给船东一笔不小的租船费，因而霍家收入微薄，勉强地维持生计。

　　他们很少上岸上街，因此，霍家人从来不穿鞋。长年累月，他们一家几口人都是赤着脚，风里来浪里去。

　　台风是水上人家的最大克星，对于这些水上人家来说，没有鞋，没有衣服，没有宽敞舒适的地方，这些都算不了什么，他们最大的期望就是出海时不要遇上台风。    

　　那时还没有台风警报、天气预报，出海的船民只能凭经验观天色、测风云。    

　　正所谓“天有不测风云”，光凭感觉和经验是远远不够的，因此，出海突遇到台风的事情时有发生。每当此时，船民们就只好忍痛把悬挂风帆的桅杆砍掉，听天由命，但很多时候，还是逃脱不了船翻人亡的悲惨命运。    

　　就在霍英东7岁那年，一场浩劫降临到了霍家。一天，霍英东和5岁的妹妹跟着9岁的姐姐在海边打野蚝，突然狂风大作，暴雨倾盆，姐姐赶忙带着他们往自家舢板停泊的地方跑。但是，他们被眼前的场景吓坏了：港湾里一片狼藉，大大小小的船只在风浪里上下颠簸、左右摇晃，有些倾倒在海中，有些桅断帆破。母亲披头散发，紧紧地抱着一根残橹，跪在岸上对着大海号哭，而不远处的海面上，那只熟悉的舢板正被大浪抛上荡下……

　　台风来时，霍英东的两个哥哥正在船上干活，因来不及避风躲浪而掉落海里，顷刻间便被风浪吞噬。父亲霍耀容难以承受丧子之痛，原本多病的身体彻底垮掉了。就在哥哥遇难的几个月后，父亲撒手人寰。    

　　父亲去世后，霍家只剩下孤儿寡母，生活更为艰难。许多熟悉霍家的人无不为他们的悲惨遭遇扼腕叹息。可是，大家连自家的生活都难以保障，即使想出手帮衬，尽一些绵薄之力，也是无能为力的。    

　　在经历了丧夫丧子之痛后，原本柔弱的母亲变得坚强起来，毅然挑起了家庭的重担。为了不让悲剧重演，为了剩下的三个孩子能够平安顺利地长大，母亲作出了重大决定——带着他们弃舟登岸。

　　霍英东的母亲刘氏是一位坚强而勤奋的女人，在那多灾多难的日子里，她没有被生活的重压打垮，而是挺直腰杆儿，辛苦操劳，毅然把丈夫遗留下来的驳运生意继续经营下去。当时接运的货物主要是煤炭，霍家没有驳船，只能从轮船货主那儿把生意接下来，然后分给舢舨客驳运，从中赚取微薄的佣金。因为霍英东父亲在世时人缘很好，母亲又豁达得体，多数货主和舢舨客都颇为同情这一家人，日子倒也还能勉强维持下去。

　　母亲虽然目不识丁，却深明大义，知道孩子只有知书识礼，才能出人头地，才能过上好日子。因此，早在霍英东6岁那年，父亲就把他送到水上私塾拜师启蒙，读的是《三字经》、《千字文》，“人之初，性本善”等中国传统思想一直影响着霍英东。后来，他又被送到一个专门为水上人家的子女创办的义学读书。