平安時代末期の武士である波多野義定は、波多野氏の一門として伊勢国に所領を持つ。治承3年（1179年）に高倉天皇の蔵人となる。伊豆国で源頼朝が反平氏政権の兵を挙げると、これに呼応し、治承5年（1181年）に伯父の忠綱と共に平氏家人と戦い勝利を収めた。元暦元年（1184年）には、伊勢羽取山で源義広を討つ戦いに参加。平家滅亡後、文治元年（1185年）には鎌倉の勝長寿院の落成供養に随兵として列参するが、文治3年（1187年）に斎宮寮領を押領したことが発覚し、新恩地を没収される。