在交通大学的历任校长中，第二任校长张元济是一位颇具传奇经历、对教育文化事业及祖国文化的保存和传播有大贡献的人物。

    1899年初，张元济到达上海后不久，便应盛宣怀的邀请，出任南洋公学(现在交通大学的前身)译书院院长(据张元济说，盛宣怀邀请他是由于李鸿章的推荐)。自此，张元济开始了他在南洋公学3年多的工作历程。南洋公学译书院初创时院址设在虹口，同年秋迁往提篮桥。张元济先后主持编译了物理教材：英国莫尔旦的《格致读本》、法国包尔培与英国保罗伯德台合著《中等格致读本》;历史方面的书籍有英国索米尔士的《万国通商史》、勃克鲁的《英国文明史》，日本松平康国的《美国宪法史》等，实用科学有《社会统计学》几种书籍。

    1901年初，张元济兼任公学代总理。接任后，他便致力于公学特班的筹办。张元济亲自主持特班的招生考试，先笔试，后面试，共取学生42名，都是二三十岁，在中国文学方面有相当根基的人。

    张元济对师资非常重视，认为一个作为尝试性质和尖子的特班，必须有一流的教师。其时，张的老友蔡元培从绍兴到上海。蔡虽未像张那样参与维新活动，但同情维新派。他认为康梁之所以失败，是因为事先不培养革新人才，希图以少数人取代政权，此为致败原因。这一观点与张吻合。故张请蔡出任特班主任，两人一拍即合。特班另聘王舟瑶、赵从蕃为教习。

    张元济在南洋公学任职时期，特别是代任总理期间，工作繁重，加之路远耗时，他平时住宿在学校里，极少回家。他时常直接找学生谈话，询问他们的功课。蔡元培任职后亦在校内住宿，两人常作彻夜长谈。

    当年南洋公学学生平海澜后来曾回忆张元济在南洋公学的情景：张先生励精图治，真好。他是非常爱研究学问，勉励先生读新书。譬如本来我们是读《史记》《汉书》《资治通鉴》《御批通鉴辑览》等旧书的，他改掉了，教我们读严复的《原富》。他的教法，读一遍，一遍读了好几页，马上就回答，那么我们小孩子怎么答得上呢——十三四岁读《原富》!从这段回忆中可知，张元济在南洋公学是倾心尽力的，并对教学的内容和形式作了改革，其目的是培养学生的现代意识和爱国思想。

    后来，因他的办学思想与监学美国人福开森不合，1901年5、6月间，他便向盛宣怀请辞，未被接受，8月坚辞代总理职，专任译书院院长。1903年，南洋公学由于经费短绌，译书院及东文学堂停办。张元济遂离开南洋公学，加盟商务印书馆，开始了其人生的又一重大转折。从此，他把自己全部的精力投入到出版事业中，直至终老。