霊岳寺が建立されたのは、日本でいう奈良時代に相当する唐の貞観年間（627〜649年）。かつて、ここは仏教の北京西部地区での伝播に重要な拠点でした。「斎堂」は、仏教徒が食事をしたり休憩したりする場所で、「斎堂鎮」は言葉通り、参詣客が集まってからできた町のようです。

　また、中国文学史において、霊岳寺は元代の劇作家・馬致遠（約1250〜約1321）が、「枯藤の老樹昏(くれ)の鴉(からす)、小橋の流水人家、古道の西風痩馬、夕陽、西に下れば、斷腸の人 天涯に 在り」（「天浄沙・秋思」、現代語訳：枯れた藤、古木に佇むカラス。渓流には小さな橋がかかり、近くに人里が見える。古からのこの山路に痩せた馬が佇めば、西からの風が吹き始める。沈み行く夕日のころ、旅にある人は語りつくせない悲しみに包まれる）という名句を書いた場所として知られています。