張柬之的奏議不被採納。不久調他任荊州大都督府長史。

長安年間，武則天問狄仁傑：“從何處能得到一位奇士使用他？”

狄仁傑說“：陛下若求文章、資歷，現宰相李嶠、蘇味道足夠了。難道是文士拘泥小節，不足以共成天下大業嗎？”

武則天說：“是的。”

狄仁傑說：“荊州長史張柬之雖然年老，卻是宰相之才。用他，他必定為國家盡心竭力。”

武則天立即召請張柬之任洛州司馬。

過了一段時間，武則天又求才，狄仁傑說：“臣曾舉薦張柬之，您沒用他。”

武則天說：“提拔他了。”狄仁傑說：“臣舉薦宰相卻任司馬，這不是庸才。”於是張柬之被授官為司刑少卿，遷升秋官侍郎。

其後姚崇出任靈武軍使，即將啟程，武則天詔令舉薦宮外百官中可任宰相的人，姚崇說：“張柬之深沉穩重有謀略，能決斷大事，他已年老，要趕快任用。”

武后當天就召見他，授官同鳳閣鸞台平章事，晉陞鳳閣侍郎。

神龍元年（705年）正月，武則天病得非常嚴重，麟台監張易之和春官侍郎張昌宗居宮中執政，張柬之、崔玄暐與中台右丞敬暉、司刑少卿桓彥范以及相王府司馬袁恕己謀劃殺掉張易之和張昌宗。

張柬之問右羽林衛大將軍李多祚說：“將軍今日的榮華富貴，是誰給的？”

李多祚流着眼淚回答說：“是高宗大帝給的。”

張柬之說：“現在大帝的兒子受到張易之和張昌宗這兩個小子的威脅，難道將軍不想報答大帝的恩德嗎！”

李多祚回答說：“只要對國家有利，我一切都聽相公安排，不敢顧及自身以及妻兒的安危。”

於是自己指天發誓，並且與張柬之、崔玄暐等人一同定下了剷除張易之和張昌宗的計謀。

當初，張柬之接替荊州都督府長史鄉人楊元琰的職務，二人一同泛舟於長江之中，當小船漂到江心時，談到了武則天以周代唐的事，楊元琰慷慨激昂，有救助大唐的志向。

張柬之入朝做了宰相後，便推薦楊元琰擔任右羽林將軍，並且提醒他說：“您大概還記得我們當初在江心泛舟時所說的話吧？今天這項任命可不是隨便給您的呀。”

張柬之還任用了桓彥范、敬暉以及右散騎侍郎李湛，都讓他們擔任左、右羽林將軍，把禁軍交給他們指揮。這件事引起了張易之等人的懷疑和憂慮，張柬之於是又任用他的黨羽武攸宜為右羽林大將軍，張易之等人才放了心。

不久，姚崇從靈武回朝，張柬之和桓彥范交談說：“大事就要成功了！”於是把商量好的計謀告訴姚崇。

桓彥范將這事稟告了他的娘親。其娘親勉勵他說：“忠孝不能兩全，應當先為國家大事着想，然後再考慮自家的小事。”

當時太子李顯從北門入宮向武則天問安，桓彥范和敬暉前往拜見，秘密地把他們的計策告訴李顯，李顯允許他們這樣去做。

癸卯（二十二日），張柬之、崔玄暐、桓彥范與左威衛將軍薛思行等人率領左右羽林兵五百餘人來到玄武門，派李多祚、李湛及內直郎、駙馬都尉安陽人王同皎到東宮去迎接李顯。

李顯有所懷疑，沒有出來。

王同皎說：“先帝把皇位傳給殿下，殿下無故遭到幽禁廢黜，皇天后土、士民百姓無不義憤填膺，已經有二十三年了。現在上天誘導人心。北門的羽林諸將與南牙朝臣得以同心協力，立志誅滅兇惡的小人，恢復李氏的江山社稷，希望殿下暫時到玄武門去以滿足大家的期望。”

李顯回答說：“兇惡的小人的確應該翦除，但是天子聖體欠安，你們這樣做能不使天子受驚嗎！請諸位日後再圖此事。”

李諶說：“諸位將帥宰相為了國家不顧身家性命，殿下為什麼非要讓他們面臨鼎鑊的酷刑呢！請殿下親自去制止他們好了。”李顯這才出來。

王同皎將李顯抱到馬上，並陪同李顯來到玄武門，斬斷門閂進入宮中。

此時武則天，張柬之等人的走廊里將張易之和張昌宗斬首，然後進至武則天居住的長生殿，在她周圍環繞侍衛。武則天吃驚地坐起來，問道：“是誰作亂？”

張柬之回答說：“張易之、張昌宗陰謀造反，臣等已奉太子的命令將他們殺掉了，因為擔心可能會走漏消息，所以沒有向您稟告。在皇宮禁地舉兵誅殺逆賊，驚動天子，臣等罪該萬死！”

武則天看見李顯也在人群之中，便對他說：“這件事是你乾的嗎？這兩個小子已經被誅殺了，你可以回到東宮裡去了。”

桓彥范上前說：“太子哪能還回到東宮裡去嗎？當初天皇把心愛的太子託付給陛下，現在他年紀已大，卻一直在東宮當太子，天意民心，早已思念李家。群臣不敢忘懷太宗、天皇的恩德，所以尊奉太子誅滅犯上作亂的逆臣。希望陛下將帝位傳給太子，以順從上天與下民的心愿！”

李湛是李義府的兒子，武則天發現了他，對他說：“你也是殺死張易之的將軍嗎？我平時對你們父子不薄，想不到竟然有今天的變故！”

李湛滿面羞慚，無法回答。武則天又對崔玄暐說：“別的人都是經他人推薦之後提拔的，只有你是朕親手提拔的，你怎麼也在這裡呢？”

崔玄暐說：“我這樣做正是為了報答陛下對我的大恩大德。”

接下來逮捕了張昌期、張同休、張昌儀等人，將他們全部處斬，並在神都天津橋的南邊將上述人犯與張易之、張昌宗二人一道梟首示眾。

在這一天里，為防範突然事變的發生，袁恕己隨從相王李旦統率南牙兵馬，他們將韋承慶、房融及司禮卿崔神慶等逮捕下獄，這些人都是張易之的同黨。

先前，張昌儀新建起一幢非常豪華的宅第，規模比諸王及諸位公主的宅第還要宏大，有人晚上在他的門上寫道：“一日的絲能織幾日的薄紗？”

張昌儀讓人把字跡除掉，結果又被人寫上，這種情況總共出現了六七次。張昌儀用筆在門上寫道：“即使是只織一天，我也感到滿足。”此後便沒有再出現這種情況。

甲辰（二十三日），武則天頒下制書，決定由李顯代行處理國政，大赦天下。

任命袁恕己為鳳閣侍郎、同平章事，派遣十位使者分別攜帶天子的璽書前往各州進行安撫工作。乙巳（二十四日），武則天將帝位傳給李顯。

誅除張易之、張昌宗，張柬之首先設謀。論功提拔為天官尚書、同鳳閣鸞台三品、漢陽郡王，封給實納租稅的食戶五百戶。不到半年，他以漢陽郡王加“特進”銜，免除治理政事。

不久，張柬之遭武則天的侄子武三思排擠。

武三思以張柬之等五大臣誣陷韋後為由，向李顯中傷他們，李顯於是下詔，同時免去他們的宰相職務。

張柬之失權後，願回襄州養病，便任命他為襄州刺史。

啟程前，李顯為他賦詩祭路神，還下詔群臣到定鼎門外給他餞行。

到襄州後，他以法紀對待下屬，即使是親朋舊故也不放縱寬免。適逢漢水暴漲侵及外城，張柬之就軍營壁壘築堤，遏制急流怒濤，全境依賴它防洪。

接着，張柬之又懇切地辭去王爵，朝廷不準。不久遭貶，被流放到新州……

張柬之探詢地：“宦海驟起風雷，震動朝野，不知大師高見如何？”

一定禪師正色道：“阿彌陀佛，貧僧雖然遠離中原，但亦非局外之人。朝中大事，貧僧也略有所聞。其中的是非曲直，的確不易判定。但我認為，張宰相經歷過朝廷的風風雨雨，見慣了世間的沉沉浮浮，雖暫被貶，遠離朝中是是非非，將平生才學施展於民間，造福一方，實乃功德無量。”

張柬之聽對方所言，知道他是傾向於眾生的，也知道這個善良僧人不會加害自己，道：“大師修禪，不為人間沉浮所牽扯，也不為世俗偏見所左右，自有獨到見解，令人欽佩。”

一定禪師繼續說：“空門之內，高深莫測，也是藏龍卧虎，人才輩出。衣缽傳燈，不能光看讀書多少，不能論資排輩，也不能分尊與卑，而應以德高者居之，讓龍象之才，將禪風大旗高揚，立於世上，風行草偃，眾望所歸，方能法海橫流，代代相傳。”