台灣的書院教育與官學制度，在日據時代，受到日本公學校與新式教育的競爭，以及官方的禁絕與抑制，遂逐漸沒落。在日據初期，總督府常將傳承中國傳統文化的書院，轉做其他用途使用，如將書院建築轉做軍事囤駐所或政府機關辦公地點、官吏宿舍等，或隨日語教育的推廣，充當日式教育的教學場所(註4)。

         仰山書院的建築，在日治初期，曾被移作警察署與警察官吏宿舍使用(註5)，原本書院右側的廂房整個被拆毀(註6)，改建為日式宿舍，現在還可見部分日式宿舍時期留下的房舍。在1905年（民國前七年），文昌宮被移作為公學校的教室，原設置在現在宜蘭市公所位置的宜蘭公學校，將孔子廟分教室遷移至文昌宮(註7)，一年級的男女學生都遷移到此上課(註8)。祀奉文昌君及關聖帝君的兩個主殿與五夫子祠作為教室(註9)，前方的廟埕則是小學生的運動場(註10)，剩下的書院建築則教授漢學。

         1918（民國七年），宜蘭女子公學校從宜蘭公學校分出，移至文昌宮與仰山書院上課，開學典禮就在文昌宮內舉辦，當時設有5個班，學生251人，直到1923年 (民國12年)，宜蘭女子公學校的新校舍（現在的宜蘭國小）建築完成，才將學生移出(註11)。之後的年代裡，文昌宮與仰山書院的空間，回復為單純的地方信仰中心，但由於原有書院管理機制被破壞，整體環境逐漸沒落。

         光復之後，此區的空房舍，由政府開放讓人民自由登記佔用，當時有地方上稱蔡老瓜者將原本仰山書院的房舍整間佔有，再分租給其他人住。由於政府缺乏積極管理，仰山書院的房舍、原本仰山書院的院落、日式宿舍群以及周邊既有的空地，均陸續被當地居民，以及後來移入之外省老兵佔據，搭建簡易的樓房而佔滿。

         基於地方對北管樂曲的喜好，總蘭社的子弟經常在文昌宮前廟埕的空間聚會練習，所以武廟的空間使用率很高，香火鼎盛；相對的，文昌帝君則少人祭祀，香火冷清。

         民國70多年，老兵過世之後，由地方組成的祈安會（媽祖會）接管文昌宮的經營與管理，經過一些地方的角力，才逐漸由現在的文昌廟管理委員會完全接手。

         文昌宮前庭的照壁因為道路拓寬而被拆除，在原內埕的地方新建一米多高的牆垣。67年時，加建牌樓，並陸續填高廟埕，新建新的香爐，增建現在的天棚、文殿武殿前方兩側的鐵皮屋與廁所。廟裡的銅馬是在光復初年由附近居民從員山公園移來，麒麟則是近年新建的。

         民國60年代，渡小月與其他攤商合資在西門市場，西安街與文昌路交接處，向公所承租土地搭建了簡單的小吃部，市公所亦在民國71年興建完成現在所見開放式棚架的市場建築，並將原本媽祖廟前的流動攤販強制遷移至此。當時還曾發生攤販不願進駐，而由警察強制執行的新聞(註13)。民國77年（1988），西門橋不由文昌路，改由茂松路上橋後，文昌路更失去了再發展的契機，西門市場的生意更是逐漸沒落，目前僅存米粉羹與道壇還在此經營，旁邊的餐廳則轉手多人經營。