1986年岁开始打球，1990年进省体校。1993年，马琳进入广东汕头市乒乓球学校。1994年，在广东省运会上，马琳一口气为汕头队拿下乒乓球单打、双打和团体3枚金牌。后来，14岁的马琳在全国青少年比赛中就夺得了他人生中第一个男单冠军。在那场比赛中，他被蔡振华教练相中，开始了他的国家队生涯。1998年，马琳先后夺得亚锦赛男双、男团冠军，以及马来西亚、黎巴嫩公开赛男单冠军。 1999年世乒赛，马琳连克瓦尔德内尔、萨姆索诺夫等世界名将，勇夺男子单打亚军，混双冠军。2000年世界杯冠军。2001年勇夺世乒赛男团冠军、国际乒联巡回赛男单男双冠军。2004年雅典奥运会双打冠军（与陈玘）。2006年法国巴黎世界杯单打冠军；,2008年-男团冠军、男单冠军。2013年巴黎世乒赛，在男子单打比赛中马琳不敌日本选手松平健太，止步第二轮。
北京时间2013年12月8日晚，奥运冠军马琳迎娶女友张雅晴，婚礼现场，马琳宣布正式退出国家队。退役之后，马琳回归广东，接任广东乒羽中心主任兼广东乒乓球总教练。马琳职业生涯中获得了四届世界杯冠军，也是第一个蝉联世界杯男单冠军的人，被誉为世界杯先生。他共获得18个世界冠军，和王皓与邓亚萍并列排在国乒历史上的第三位，仅次于张怡宁的19个和王楠的24个。