光绪二十六年（1900年），潜山县设置官立高等小学堂，开安徽小学教育之先端。光绪三十年（1904年），县内士绅呈准，就考棚改设高等小学堂，学生44人。以亩费户捐为常年经费，岁入3443元，岁出为3888元，资产为11332元。民国2年，因经费不足停办。光绪33年（1907年），士绅周良臣倡议创办作新小学堂，校址设小吏港周氏宗祠，学生21人，经费由周氏合族捐献，岁入100元，岁出125元，资产265元。民国7年，学校迁油坝汪钊公祠，由恭崇两里士绅接办，经费在地方附加税下拨给。光绪34年（1908年），增设正始高等小学堂，校址设辅主庙内，学生42人，经费在此区地方附加税内拨给。宣统元年（1909年），南乡士绅秦铁庵、李有容创办得育小学堂，校址设牌楼黄狮岭秦铁庵家里，学生20余人，教师由校长聘用，经费由秦、李二人捐款。尔后因学生增多，于民国2年，迁马道头，由附近士绅接办，呈准区立，由各户捐款，并拆除求知寺建办校舍，扩充班级，仍名得育小学。
民国元年，创办达材高小于五庙佛子寺，崇正高小于五株枫。民国2年，在柳家畈创办新民高小，南乡士绅林咏韶在古井创办鼎新小学。民国4年，在老岭头创办求志小学，在衙前镇创办粹新小学；在黄柏河创办铭新小学。民国6年，增办崇新小学于驾雾冲；民国7年，创集成高小于响肠河。至此，全县小学9所，均设在四乡。民国8年，“五四运动”爆发，潜山在安庆、武汉、六安等地读书的进步学生王步文、余大化、王贯之、余良鳌、梅竹松等，先后回乡教书、办学，促进了国民教育的发展。民国2年执行新学制，各小学实行四、二分段。第二年增设文蔚、集成两所高小。民国15年，增办崇实高小1所，国民学校11所。至此，全县计有高小15所，国民学校22所。民国36至37年，有些大姓公堂因不愿拿出租谷充做乡保教育基金，遂办起了私立小学，全县计有5所。建国前夕，国民党政府财政空虚，县内除私立小学和少数民办小学外，乡保国民学校几乎全部停办。
1949年，潜山县人民民主政府成立后，随即接收了梅城、黄泥、余井、源潭、槎水等5所小集镇完小，分别命名为第一、第二、第三、第四、第五小学，共26个班，在校学生750人，教职工39人。是年夏季水灾，不少学校房屋倒塌，在极端困难情况下，全县公立小学仍发展到15所（其中公立完小9所，私立完小5所），计100个班。在校学生3962人，教职工147人。
从1950年起，随着经济的恢复，群众迫切要求文化翻身。1951年，合理调整学校班级，全县建立9个中心小学辅导区，辖初小15所，单班小学31所。1952年，接办了5所私立小学和35所民办小学。全县建辅导区65个，小学（包括公、民办）已达338所，585个班，在校学生18483人，占学龄儿童的47%。
1953年，国民经济第一个五年计划开始，人民政府提出“整顿巩固，提高质量，重点发展，稳步前进”的文教工作方针。4月，县成立文教委员会，领导整顿和改进小学教育工作。通过整顿，全县小学为312所。
1954年，潜山遭受特大洪水灾害，全县人民坚持灾区教育，各学校均如期开学。是年，全县小学287所，567个班，在校学生16933人。1957年，遵循“两条腿走路”和勤俭办学的方向，全县修建校舍43所，新建教、寝室118间，修整教、寝室80间，共用5.63万元。除政府拨给2.9万元外，其余均为农业社投资。反右斗争开展后，教育工作受到影响。
1958年，“大跃进”掀起高潮，全县各小学停课炼钢铁，办农场，严重影响了教学质量。同时，大搞全党、全民办学，提出“苦战一年，普及小学教育”等冒进口号，全县小学剧增到447所，在校学生42955人。
1961年后，执行中央提出的“调整、巩固、充实、提高”的八字方针，县文教局对全县小学布局作了调整，充实班级学额，按1：23的师生比例，核定教师编制。全县精减教师167人。贯彻执行《全日制小学暂行工作条例》，恢复各项规章制度，建立正常教学秩序。1963年，县贯彻中央提出的“两种劳动制度”，两种教育制度，推行“双轨”制，大办半耕半读小学，促进了小学教育的普及。
1966年，“文革”开始，7月，学校停课“闹革命”，教学秩序一片混乱。此种局面在全县小学持续两年之久。
1977年，县制订“抓纲治校，拨乱反正”的措施，全县小学恢复正常教学秩序。1978年，恢复公社辅导区小学，对民办教师进行考核，合格者颁发任用证书。各小学恢复秋季始业。调整小学网点，充实学额，努力提高教学质量。是年，全县小学732所，在校学生77921人。
1979年，中共中央肯定了建国后17年来的教育成绩，摘掉了教师头上的“资产阶级知识分子”的帽子。此后，全县小学教育比较有计划的发展。1980年，县进一步调整小学布局，逐步摘掉小学附设初中班的帽子，以利于普及小学教育和提高小学教育质量，附设初中班小学由1979年的51所减少到31所。1981年，减少到15所。
1986年，贯彻《中华人民共和国义务教育法》，并制订《潜山县小学管理办法》，进一步加强小学建设，巩固、提高初等教育的程度和教育水平。全县小学668所，1930个班；在校学生63274人；私立小学1所，在校学生32人。全县学龄儿童入学率98.5%，巩固率为99.4%，毕业率为95%，普及率为93.3%，升学率为49.9%。1987年，县教委制订的《潜山县全日制小学办学水平量化评估标准》开始实施，使全县小学在“七率”标准、办学条件和师资队伍建设等方面向普及初等教育的新标准又迈进了一步。
2012年末全县共有各类学校155所，教学点182个。中等职业教育4所，普通教育151所，其中：普通中学44所。年末在校学生总数95261人，其中：普通高中在校学生16940人，初中在校学生21712人，中等职业教育13965人。小学入学率100%；初中学龄人口入学率100%；小学毕业生升学率107%，初中毕业生升学率103%。全县各类学校共有专任教师5303人，其中中等职业教育专任教师有707人，普通高中专任教师有951人。
民国元年，创办达材高小于五庙佛子寺，崇正高小于五株枫。民国2年，在柳家畈创办新民高小，南乡士绅林咏韶在古井创办鼎新小学。民国4年，在老岭头创办求志小学，在衙前镇创办粹新小学；在黄柏河创办铭新小学。民国6年，增办崇新小学于驾雾冲；民国7年，创集成高小于响肠河。至此，全县小学9所，均设在四乡。民国8年，“五四运动”爆发，潜山在安庆、武汉、六安等地读书的进步学生王步文、余大化、王贯之、余良鳌、梅竹松等，先后回乡教书、办学，促进了国民教育的发展。民国2年执行新学制，各小学实行四、二分段。第二年增设文蔚、集成两所高小。民国15年，增办崇实高小1所，国民学校11所。至此，全县计有高小15所，国民学校22所。民国36至37年，有些大姓公堂因不愿拿出租谷充做乡保教育基金，遂办起了私立小学，全县计有5所。建国前夕，国民党政府财政空虚，县内除私立小学和少数民办小学外，乡保国民学校几乎全部停办。
1949年，潜山县人民民主政府成立后，随即接收了梅城、黄泥、余井、源潭、槎水等5所小集镇完小，分别命名为第一、第二、第三、第四、第五小学，共26个班，在校学生750人，教职工39人。是年夏季水灾，不少学校房屋倒塌，在极端困难情况下，全县公立小学仍发展到15所（其中公立完小9所，私立完小5所），计100个班。在校学生3962人，教职工147人。
从1950年起，随着经济的恢复，群众迫切要求文化翻身。1951年，合理调整学校班级，全县建立9个中心小学辅导区，辖初小15所，单班小学31所。1952年，接办了5所私立小学和35所民办小学。全县建辅导区65个，小学（包括公、民办）已达338所，585个班，在校学生18483人，占学龄儿童的47%。
1953年，国民经济第一个五年计划开始，人民政府提出“整顿巩固，提高质量，重点发展，稳步前进”的文教工作方针。4月，县成立文教委员会，领导整顿和改进小学教育工作。通过整顿，全县小学为312所。
1954年，潜山遭受特大洪水灾害，全县人民坚持灾区教育，各学校均如期开学。是年，全县小学287所，567个班，在校学生16933人。1957年，遵循“两条腿走路”和勤俭办学的方向，全县修建校舍43所，新建教、寝室118间，修整教、寝室80间，共用5.63万元。除政府拨给2.9万元外，其余均为农业社投资。反右斗争开展后，教育工作受到影响。
1958年，“大跃进”掀起高潮，全县各小学停课炼钢铁，办农场，严重影响了教学质量。同时，大搞全党、全民办学，提出“苦战一年，普及小学教育”等冒进口号，全县小学剧增到447所，在校学生42955人。
1961年后，执行中央提出的“调整、巩固、充实、提高”的八字方针，县文教局对全县小学布局作了调整，充实班级学额，按1：23的师生比例，核定教师编制。全县精减教师167人。贯彻执行《全日制小学暂行工作条例》，恢复各项规章制度，建立正常教学秩序。1963年，县贯彻中央提出的“两种劳动制度”，两种教育制度，推行“双轨”制，大办半耕半读小学，促进了小学教育的普及。
1966年，“文革”开始，7月，学校停课“闹革命”，教学秩序一片混乱。此种局面在全县小学持续两年之久。
1977年，县制订“抓纲治校，拨乱反正”的措施，全县小学恢复正常教学秩序。1978年，恢复公社辅导区小学，对民办教师进行考核，合格者颁发任用证书。各小学恢复秋季始业。调整小学网点，充实学额，努力提高教学质量。是年，全县小学732所，在校学生77921人。
1979年，中共中央肯定了建国后17年来的教育成绩，摘掉了教师头上的“资产阶级知识分子”的帽子。此后，全县小学教育比较有计划的发展。1980年，县进一步调整小学布局，逐步摘掉小学附设初中班的帽子，以利于普及小学教育和提高小学教育质量，附设初中班小学由1979年的51所减少到31所。1981年，减少到15所。
1986年，贯彻《中华人民共和国义务教育法》，并制订《潜山县小学管理办法》，进一步加强小学建设，巩固、提高初等教育的程度和教育水平。全县小学668所，1930个班；在校学生63274人；私立小学1所，在校学生32人。全县学龄儿童入学率98.5%，巩固率为99.4%，毕业率为95%，普及率为93.3%，升学率为49.9%。1987年，县教委制订的《潜山县全日制小学办学水平量化评估标准》开始实施，使全县小学在“七率”标准、办学条件和师资队伍建设等方面向普及初等教育的新标准又迈进了一步。
2012年末全县共有各类学校155所，教学点182个。中等职业教育4所，普通教育151所，其中：普通中学44所。年末在校学生总数95261人，其中：普通高中在校学生16940人，初中在校学生21712人，中等职业教育13965人。小学入学率100%；初中学龄人口入学率100%；小学毕业生升学率107%，初中毕业生升学率103%。全县各类学校共有专任教师5303人，其中中等职业教育专任教师有707人，普通高中专任教师有951人。