臨水鎮原為古陽泉縣城舊址，依山傍水，景物秀麗，東靠古壁山，西臨史淮河，雖不如金陵虎踞龍盤那樣氣派雄偉，也確是“乾坤聚秀之地，陰陽會合之所”。因此，早在近二千年前，東漢光武帝建武八年(32)在此建立陽泉縣，魏時廢止。到了南北朝時期，梁武帝北伐中原，認為此處為長淮要衝，必須駐兵屯糧，以鞏金甌，因而在陽泉古城內設立決口縣，後改為臨水縣。唐時，太宗皇帝也欣賞臨水鎮的山勢地貌，指派親信大將尉遲敬德，專任梁武帝時建立的廟宇——圓覺寺的監修。對寺院的廟宇、佛像、鐘鼎、碑刻等全面整修一新。現今臨水糧站的大倉即西大寺的大雄寶殿正脊檁上仍寫有“敬德重建”四個大字。
明代開國皇帝朱元璋幼年磨難、家境貧寒，曾流落圓覺寺為僧，不但留下眾多傳說，而且還留下地鼓、地鑼、龍床、金鑾殿、馬家鼓堆等古蹟。朱元璋稱帝不久，就賜地、撥款，加封臨水寺廟為皇廟。世代修復，屢加建設，歷史遺蹟，依稀可見。
臨水風光聞名遐邇，每逢春秋廟會，東嶽戲樓、尹家戲班、連臺開演，輕歌曼舞，仙樂風飄，吸引遠近遊人，善男信女，各處商賈。豐富的民間技藝、京劇、梆子戲、提戲、傀儡戲、花鼓燈、獅子燈、老虎燈、龍燈、旱船、高蹺等從四面八方跋山涉水雲集古壁山麓。史河岸畔，漫山遍野，燈火輝煌，夜如白晝。人流如潮、鑼鼓喧天，匯成“萬姓朝嶽”的歡騰場景。清末秀才吳藩臣先生有詩記勝：“無端勝會甚荒唐，仁聖名稱亦杳茫；萬姓朝嶽齊跪拜，人間是否有陰陽?”
本世紀三十年代古壁山腰仍存有一座寬敞齊全的神像廟宇——東嶽廟。前殿後殿，西廂房，均排滿了各種神像。十間森羅寶殿，從一殿到十殿各塑有一尊大神，兩旁分站眾多神像：文判官、武判官、小鬼小判、牛頭馬面；凶煞神、無常鬼，陰森恐怖。特別是五殿閻羅，個個栩栩如生，代表陰曹地府最高權威，主宰人間生死命運、賞善懲惡，是非分明。閻羅面前審案用刑的各種刑具如：大吊、大鋸、大磨、大油鼎，奈何橋等，名目繁多，舉不勝舉。塑造了一座懲惡揚善的陰曹地府景觀，令人望而生畏、恐怖驚駭。後面的九間玉皇樓(閣)，供奉著主宰天宮、地府、人間三界的玉皇大帝銅像。玉皇閣大院內有兩株參天大樹—一銀杏和翠柏。這座玉泉樓閣，五四運動前後曾是敷文高等小學講堂，為宣傳反帝反封建的民主革命思潮，推波助瀾。抗日戰爭時期，又成為淮西中學校址，灌輸愛國主義思想，宣講民族氣節，為祖國培養出不少優秀人才，共產黨中央委員王光宇以及國民黨高級將領劉曉雲、蔣炎等均為該校的學生。
步入史河岸邊西山的西大寺(圓覺寺)，另是一番境界：眼前佛顏慈祥，殿宇清幽，心曠神怡，精神頓覺輕爽。三尺高的廟內一丈二尺高的銅佛像端莊慈祥。此廟為三間，面對史河背靠西山，從廟前看仍高達三丈；依山後量僅有三尺。神座下萬丈深淵，深邃莫測。據傳說這地下泉眼可遠通三裡外姜家湖，由此泉眼丟進鴨子能從姜家湖露出水面，呱呱歡叫。甘甜的泉水給臨水釀酒帶來醇厚的滋味，因此，臨水大貢酒成為譽滿神州的佳釀，早在共和國建立前即在上海、蚌埠、武漢等地掛牌銷售。
“神鍾自鳴”的千斤重大鐘，是明太祖朱元璋洪武二年(1368)下令鑄造的三口大鐘之一。一口留在南京皇宮內廷，一口送到鳳陽皇覺寺，一口送至臨水圓覺寺。大鐘重一千餘斤，鍾圍三米多長，高達二米多，鐘聲悅耳，響徹十數裡。由於此鍾懸於西大寺大雄寶殿東西大門對流的上空屋檁上，每逢月白風清，山風穿殿，神鐘不敲自鳴。吳藩臣先生八景詩為證：“老樹無風驚鶴巢，鐘聲娓娓出林梢；從來天籟非凡響，明月無人慣自敲。”
天王大殿有托塔天王、哼哈二將、二郎真君、雷公閃將、臣靈神將，四大金剛。大雄寶殿有三尊大佛，常笑彌勒、十八羅漢、千手倒座觀音等塑像，各種神像造型端莊，嚴肅和藹。大佛觀音同是背靠群峰，層巒疊嶂，山勢險峻。有盤蛇曲徑，也有長虹陡澗；有神仙洞府，也有寶塔宮殿；有八仙赴會，也有瑤池設宴；有唐僧取經，也有老君煉丹。千姿百態，形象逼真，使人有置身仙境之幻覺。論其藝術結構，可與蘇州寒山寺媲美。後大殿及東西閣樓，是寺僧唸經的禪堂和宿舍。禪堂西山牆，懸掛一張明太祖朱元璋的巨幅畫像：儀容奇偉，五官翹拔，謂之五嶽朝天帝王之相。建國初期巨像流落西大寺山腳下的侯郢村，以後不知去向。
西大寺院內有一株千年銀杏樹，主幹樹圍長達五米有餘，枝高百尺，至今枝繁葉茂，結出的白果比一般白果大一倍。同樣大小的另一株銀杏樹在西山腳下志城北梢門外百米處的地藏庵後，痛心的是五八年大鍊鋼鐵時被砍伐做為燃料。西大寺內尚存的這株銀杏樹，若不是怕砍伐時砸塌糧倉，經當時的周集區委書記李春友批准不許砍伐，早巳成為燃火之薪。此銀杏樹是尉遲敬德當年重建圓覺寺時親手所植，也是歷史的見證。
朱元璋親筆撰文的石碑，由於嵌於地藏庵的山牆上，七十年代初被有心之人起走流落於臨水酒廠，八十年代改革開放，這一珍貴的文物便不翼而飛了。
地藏庵外看五間，進內卻是二十五間，由於地基高歷次洪水從未淹沒此庵，它好似隨著洪水起浮。因此，被稱為“地藏浮沉”。吳藩臣先生詩云：“不是蓮花不是舟，孤煙半鎖水中流，任它四面掀天浪，自有仙人在上頭。”
圓覺寺方丈馬超峰，三十年代已是耄耋之年，仍能舞動一對銅鈸，身步矯健，旋轉如飛，鶴髮童顏，談論宏辯，是沿淮一帶的著名高僧。他常向人們講述朱元璋與馬皇后的故事，情節動人，引人入勝。當講到朱元璋絕頂聰明時，即說：別人吟頌過的唐詩、宋詞朱元璋聽後不忘，並能按照韻律哼成詩句。有一次朱元璋私出山門，跑到山下鎮裡喝得酩酊大醉，摸到古壁山旁草地上睡了一宿，醒來太陽升出地面，行人匆匆。他即興哼起打油詩：“天作羅帷地作氈，日月星辰伴我眠，睡覺不敢長伸腿，深怕蹬倒古壁山。”
“古壁雨信”千萬年如此。住在此山周圍的人們世世代代都知道古壁山上一起霧就會下雨。由於朱元璋當和尚時常到此山玩耍，當皇帝后，此山的名聲也大起來，吳藩臣先生為此賦詩一首：“非煙非霧起巖阿，流水空聞樵子歌。如此山光如此景，定知今夜雨聲多。”
臨水鎮作為古陽泉遺址，曾是漢代宗親王的封地，名勝古蹟星羅棋佈，有地藏庵、圓覺寺、千佛寺、文昌閣、魁星閣、建星閣、東嶽廟、城隍廟、祖師廟、關帝廟、三官廟、華佗廟、龍王廟、火神廟、財神廟；大八景、小八景，總稱為：一庵、兩寺、三閣、九廟、大小十六景觀。大八景中比較壯觀的要數“陽泉霧現”。出現此景，當在春夏之際，晨霧迷漫之時，臨水鎮北沙灘上空有古城出現，城門內外，行人可數，車水馬龍，絡繹不絕。吳藩臣先生有詩為證：“孤城突兀起平沙，煙霧茫茫十萬家，太虛蜃樓移變幻，空數勝景現曇花。”