蔡侯祠位于耒阳市城区蔡子池旁。东汉蔡伦发明造纸术，封龙亭侯，后人立调把之，故称。始建年代无考。元至元四年（1338）知州陈宗义重修并撰《重修蔡侯庙记》云：“昔蔡伦于池边造纸，汉时封侯，不知何代于池畔立饲设像，因名蔡伦庙。”清康熙、乾隆年间两次重修，现存词为清末重建。新中国建立后，1958、1981年先后维修。词座北朝南，砖木结构，红墙，悬山顶，盖小青瓦。饲长23．9米，宽17．94米。门额镌“蔡侯饲”三字，门联为“芳池月映；故宅风存”。进门为过厅，左右各一室；过前厅为天井，环天井有廊，左廊置谷朗碑，右廊置张飞马槽；再进为享殿，后为观音堂。词前有蔡子池，池长198米，宽45米，环地砌石，池水清沏，有桥横卧池上；池畔有六角亭，亭中置石鼎，上镌“宝鼎”二字，鼎下部呈鼓形，中空，四面有缨络浮雕，须弥座，传为唐置，为祭祖蔡伦焚格用。侧有蔡伦石臼，原臼已入贡，此为后人补造。饲后百米处有蔡伦墓。为单室券顶砖室墓，墓室有圆形拱门。封土堆呈圆形，周砌以石，直径6米，高1．5米。1938年，国民党暂二军十一师驻耒阳，将墓盗掘；1914年耒阳沦陷，复被日寇盗掘。1955年，当地人民政府拨款整修，刊立《重修蔡伦墓记》碑，墓周围以砖石墙，墓前坊额题《蔡伦之墓》，为郭沫若手书。1956年7月，1972年9月和1983年10月，蔡侯饲、蔡伦墓被公布为省级文物保护单位。