它因庵后的山称象山而得名。此庵始建于清康熙癸已年(即1713年),座东北,朝西南,初建时内设“大佛殿”、“达摩祖师殿”、“千斋殿”三个大殿。据传,当时整个庵堂设有99根大柱,香火鼎盛时,也曾有99人当尼姑在此修行,湘赣边界的名庵。
在井冈山革命斗争时期,这里曾是红军的重要活动场所。如红四军后方留守所、红四军机炮连、湘赣边界特委机关印刷厂均设在此,永新、宁冈、莲花三县党的组织联席会议和湘赣边界第一期党团训练班,均是在此举办。毛泽东和贺子珍在此举行婚礼。同时,象山庵还是工农革命军后方留守处的所在地。留守处自1927年10月上旬建立以来,由余贲民同志负责,主要从事后方医院、被服厂、修械所等后方设施的筹建及管理工作。