それまでの衣笠城からより鎌倉に近い場所に拠点を作ることを考え、三浦半島を出て鎌倉郡杉本郷に居を構えて杉本城を築城した。同地は三浦氏の勢力下で交通の要衝であった。<br>
義宗は所領をめぐる争いから長寛元年（1163年）秋、安房国に水軍を率いて出陣して長狭常伴と合戦に及び、戦後に合戦の矢傷が原因で死去した。