2006    潘耀明組團到日本考察。日本全國共有七十多家頗具規模的文學館，幾乎每一個縣市都有文學館，他為此感到十分震撼。

2006至2022    潘耀明不斷爭取，並在多家刊物發表文章，呼籲建立香港文學舘刻不容緩！

2018    潘耀明代表香港作家聯會及多個文學社團致函香港西九文化區管理局董事會主席唐英年，建議在西九建立香港文學舘。

2018年11月    中國文學藝術界聯合會主席、中國作家協會主席鐵凝訪港，潘耀明陪同鐵凝會見時任特首林鄭月娥，再次表達建立香港文學舘的迫切性。 

2022年4月    香港作家聯會致函候任特首李家超，希望他支持建立香港文學舘。 

2022年7月    李家超上任後，在立法局接受議員諮詢，公開表示支持建立香港文學舘。隨後籌建團隊獲特區文化體育及旅遊局支持，正式展開建立香港文學舘的規劃，並成立顧問委員會。 

2022年12月    香港文學舘董事會成立。

2023年1月    香港文學舘確定選址在灣仔茂蘿街7號3樓。 

2023年8月    香港文學舘管理有限公司註冊成立。

2023年8月24日 文學舘召開第一次董事會會議。會議一致表決通過聘任潘耀明為舘長，羅光萍為助理舘長，金耀基為榮譽舘長。

2023年9月14日 香港文學舘文化學術及館藏委員會成立。

2023年11月  香港文學舘與香港珠海學院簽署合作協定。

2024年1月    新世界集團提供優惠租金，經大半年裝修，文學舘管理有限公司辦公室落腳於灣仔循道衛理大廈。

2024年5月       香港文學舘正式開舘。

香港文學舘倡議書簽署者名單

也 斯（已殁） 王 璞 王 煜 王齊樂（已殁） 巴 桐 甘豐穗（已殁） 何沛雄（已殁） 吳康民 金聖華 金耀基

周蜜蜜 施議對 周鍚䪖 馬文通 海 辛（已殁） 陳家春（已殁） 陶 然（已殁） 梅 子 犁 青（已殁） 黃坤堯

黃維樑 黃慶雲（已殁） 張詩劍 張隆溪 舒 非 漢 聞 曾敏之（已殁） 鄭培凱 劉以鬯（已殁） 潘耀明

羅 琅 羅忼烈（已殁） 璧 華 饒宗頤（已殁）

（香港文學舘提供）