穆祥雄在6岁时就夺得天津市男子幼童组冠军。在与父亲的技术交流中，受到启发的穆祥雄在当时的蛙泳比赛中开始采用了潜泳的技术。之后，为了潜泳时有充沛的体能，穆祥雄在平时骑自行车或者步行赶往游泳馆的路上就练习憋气。走路时每次憋气走10步，呼吸走5步；骑车时数着电线杆憋气，每根电线杆间距50米，每次憋气100米，呼吸50米，这使得他的肺活量越来越大。在50米长的泳池中，穆祥雄潜泳一口气能游出四十七八米。
1955年7月，穆祥雄在莫斯科的中苏游泳对抗赛上，以1′11″8的成绩夺得100米蛙泳冠军，随后又夺得200米蛙泳冠军，战胜了苏联的奥运会冠军和世界纪录保持者米那施金。同年，穆祥雄登顶泳坛世界排名来到第一，并在接下来4年间，连续保持世界排名第一。
1956年，匈牙利举行17国游泳比赛，穆祥雄在欧洲的国际比赛中多次拿下100米蛙泳冠军和200米蛙泳冠军。同年，穆祥雄本应代表中国出征
墨尔本奥运会，但由于台湾试图制造两个中国的阴谋，使得中国代表团只能以弃赛抵制。同期，中国在上海举行了奥运模拟赛，穆祥雄的100米蛙泳成绩比当年的奥运会冠军的成绩快了2秒，200米蛙泳成绩比在墨尔本奥运会夺冠的日本运动员还快0.6秒。同年12月20日，穆祥雄在北京举行的优秀选手对抗赛上，以1′11″4的成绩创造100米蛙泳世界纪录，再次击败苏联选手米那施金保。
1957年8月30日，穆祥雄以1′11″3的成绩再次刷新自己保持的100米蛙泳世界纪录。一个月之内，在1959年9月17日的第一届全运会100米蛙泳决赛中，穆祥雄又以1′11″1的成绩第三次打破世界纪录。在首届全运会闭幕式上，周恩来总理亲手把体育荣誉奖章颁给穆祥雄。
1966年，穆祥雄去往越南当教练。在新兴力量运动会上，他指导的越南姑娘拿下了200米蛙泳金牌，而中国队员则列该项目的第二。后来，尽管有十多个国家和地区邀请穆祥雄前去执教，并许诺优厚的待遇和高薪，但都被穆祥雄婉言谢绝，穆祥雄在采访中表示自己只愿将自己经验回馈给祖国和人民。随后，穆祥雄出任国家游泳队主教练。
穆祥雄于2003年在自己家乡创办的那家游泳俱乐部，这些年来平均每年就能让2000人学会游泳的基本技巧。而且，这些俱乐部也在持续不断地物色适合培养的好苗子，为中国泳坛发掘未来之星。