1947年至1951年的5年间，潘一志在自己的农林场内推行改造社会的农林实体计划。拟定了农林场10年发展规划，吸收无田少地的农人和他过去的学生到农林场“同劳同食，以劳取酬”。前后到农林场生活劳作的人数达30人之多。潘一志在农林场种植油桐2千株，茶油1万株，橙橘乌桕及五须松各100株。农林场分林业作业组和农业作业组。潘一志除指挥并参加劳动外，农工和家人的伙食全由他和夫人朱鹤料理。农林场初创，资金困难，为按期发放农工的工资，潘一志曾典当家中财物，回三洞乡梅山老家伐祖传林木变卖，找钱支付农工的报酬和购置生产资料。经5年的经营，擦耳岩农林场经济林生产初具雏型，渐有收入。潘一志还规划修路通车，发电提水，扩大经济林种植规模。此时的潘一志心情舒畅，干劲十足，他曾两次拒绝荔波县长周绍伊和独山专员陆荫楫的归政诱逼。“名利逼来急，避之恐不及……世人避役我避官，世人笑我是寒酸。”这是他以诗作来形容自己当时逃避官职如逃瘟疫般的实况。潘一志发誓“不与人间争名利，偏向荒山刮地皮”，并用“此生已作林家妇，恨不相逢未嫁时”诗句当面回绝归政邀请。但是，当县城中学缺教员请他兼课时，他却利用农闲，每日往返近30里的山路进城为学生上课。隐居的5年，既是潘一志心境最为舒坦的5年，也是他诗歌创作最丰硕的5年。后来的《归农集》共有73首诗作，全面反映他自己“开几亩荒山与天争利，养两间正气随地皆春”的愤世并不厌世，悲怨并不悲观，退隐并不退缩的隐居生涯。