兄・家緒の死によって父・緒嗣の後継者となったが、出世や物欲に無関心で、蒐集した馬の観賞のみを楽しみとして、幾度か地方官を務めた際もいずれも現地に赴任しなかった。文徳天皇は彼の隠遁ぶりを「南山の玄豹」と評した。<br>
父が建立していた観音寺を完成させたことでも知られている。