白马寺为汉孝明帝敕令修建的，在《魏书·释老志的》的记载中曾谈到佛教的传入和白马寺、齐云塔的历史。东汉张骞自大夏返国，中土才知道西域存在一个天竺（印度）国和他们信奉的佛教。

汉哀帝元寿元年（前2年），博士弟子秦景宪得到大月氏（今中亚哈萨克斯坦、塔吉克斯坦）王使伊存口授的佛经。但当时并未引起人们的注意，也没有人信仰。

到汉孝明帝时，一天孝明帝说他“夜梦金人，项有白光，飞行殿庭。”向大臣们询问所梦是怎么回事?大臣傅毅说：“西方有神，其名曰佛，形如陛下所梦”。孝明帝听后深表崇敬。虽然这是一些带有神话色彩的记录，但仍可以了解佛教传入中国最初的情况。

汉孝明帝派遣郎中蔡愔、中郎将秦景等十多人前往天竺拜佛求经，他们晓行夜宿，越过流沙和葱岭，来到大月氏国，适遇天竺高僧摄叶摩腾和竺法兰，便同两位高僧带着佛经和佛像在永平十年（67）东还洛阳弘法布教。

第二年在洛河之滨创建僧院，诞生了中国第一座佛寺，即洛阳白马寺。因佛经、佛像是由白马驮载而归的，故僧院取名为白马寺。