平治の乱では源義朝の陣に従い、源義平率いる17騎の一人として戦う。治承・寿永の乱では源頼朝より命を受け、武蔵武士として初めて頼朝を迎え、鎌倉入り後に武蔵国足立郡を本領安堵された。元暦元年（1184年）には公文所の寄人に選ばれる。頼朝の死後、源頼家の時代に十三人の合議制の一人として参画。畠山重忠の乱で重忠とその息子が戦死するも、遠元は存命で、晩年まで幅広い縁戚を築いていた。武士出身ながら文官的素養を持ち、京都権門とも深い繋がりを有する。