张之洞从小读书用功,才思敏捷,受过严格的儒家思想的教育熏陶。他先后从好几位老师就学,其中丁诵先、韩超两位老师给他的影响较大。丁诵先,道光十八年进士,翰林院侍读。韩超累官至贵州巡抚。咸丰二年(1852年),张之洞应顺天乡试,中式第一名。同治三年(1864年)参加会试、殿试,中一甲第三名,授翰林院编修。以后,他曾担任浙江乡试的副考官、湖北学政、四川学政职务。张之洞任湖北学政时,整顿学风,建立经心书院,提拔奖励有真才实学的人,颇得众望。他任四川学政时,在成都建立尊经书院,延请名儒,分科讲授,仿照阮元杭州诂经精舍、广州学海堂的例规,手订条教,并撰写《輶轩语》、《书目答问》两本书,以教导士子应读什么书,应怎样做学问以及修养品德等。这两本书在当时和以后产生了较大的影响。《书目答问》至今仍是近代目录学的一部具有参考价值的书。他还聘请通才宿儒,如缪荃孙、樊增祥、王文锦、王懿荣、蒯光典、易顺鼎等,教士子以治经门径,通达时务。在四川尊经书院的学子中,他推荐五少年,第一名是杨锐,后来成为戊戌变法运动的六君子之一;第二名是廖登廷,即后来著名的今文经学家廖平。
光绪五年(1879年),张之洞补国子监司业,补授詹事府左春坊中允,转司经局洗马。同年,清廷因俄国侵占新疆伊犁,派左都御史崇厚赴俄国交涉索还伊犁。崇厚昏庸无知,与俄国签定了丧权辱国的《里瓦几亚条约》。这一条约名义上收回伊犁,但西境、南境被沙俄宰割,伊犁处于俄国包围的危险境地。消息传来,舆论大哗。群臣上疏,张之洞上《熟权俄约利害折》、《筹议交涉伊犁事宜折》,分析俄约有十不可许,坚持必改此议,宜修武备,缓立约,并要求治崇厚罪。折上,被慈禧、慈安太后召见,特许其随时赴总理衙门以备咨询。他同张佩纶、陈宝琛共同起草奏折19件,提出了筹兵筹饷、筹防边备的积极建议。光绪六年(1880年),清廷派曾纪泽赴俄,重订伊犁条约。
当时,张之洞、宝廷、张佩纶、黄体芳称翰林四谏,号为清流派。他们拥戴军机大臣、大学士李鸿藻为领袖,而实际上张之洞是清流派的首领。在中俄交涉事件中,张之洞的政治声望提高了,并且得到了慈禧太后的赏识。
整吏禁烟
光绪七年至十年(1881—1884),张之洞任山西巡抚。当时,山西吏治腐败,人民生活困苦,鸦片流毒严重。张之洞给友人书云:“山西官场乱极,见闻陋极,文案武案两等人才乏极,吏事民事兵事应急办之事多极。竟非清净无为之地也。”“晋患不在灾而在烟。有嗜好者四乡十人而六,城市十人而,吏役兵三种几乎十人而十矣。人人枯瘠,家家晏起。堂堂晋阳,一派阴惨败落景象,有如鬼国,何论振作有为,循此不已,殆将不可国矣,如何如何。”张之洞注意整顿吏治,一上任便勤考吏属,振作革弊,劾罢贪纵害民的县官,奖励好的官吏,严禁鸦片,胪举人才,编练军队,清查仓库。山西的铁运销奉天、上海等地,陆运成本很高,他改由天津出海,海运降低运费,又在产地筹办冶炼局。他创办令德堂,也是仿照阮元诂经精舍、学海堂的例规,聘请王轩为主讲,杨深秀为襄校兼监院。杨深秀后来成为戊戌变法运动六君子之一。
英国传教士李提摩太在山西传教,刊行《救时要务》等小册子,并举办仪器、车床、缝纫机、单车的展览和操作表演。张之洞会见了李提摩太,读了他的书,受其影响,拟筹建洋务局,未及实现。
光绪十年(1884),法国侵略越南,边疆告急。张之洞上疏建议战守,请严督滇、桂之战,急修津广之防。四月,清廷召张之洞、封勇晋京。张之洞陈抗法事,多所谋划,被任命署理两广总督,不久实授。