縣學生。浙江鄉試第五十九名。建文二年（1400年），參加庚辰科會試，得貢士第八十名。殿試登進士三甲。曾祖父潘祖梁、祖父潘侃，父亲潘文[1]。
潘義（1371年－？），字思義，浙江紹興府餘姚縣人民籍，明朝政治人物。進士出身。