戦国時代の武将であった斎藤正義は、美濃国の烏峰城（兼山城）を築いた城主として知られる。天文元年（1532年）に元服し、初陣で斎藤道三に従い手勢300を率いて土岐頼純方との合戦で活躍。烏峰城を1537年（天文6年）に築き、翌年には入城して大納言を自称。道三の養子とされるが、浄土宗の浄音寺を建立したことから養子でなかったとする説もある。天文17年（1548年）、久々利頼興に謀殺され、享年33歳で浄音寺に葬られた。その後、孫の加木屋正則が頼興を討った。正義の肖像画は現在も浄音寺に残る。