兄で摂政の伊尹が亡くなると、その後任を巡り弟の兼家と激しく対立する。それまでの昇進争いでは兼家が優勢だったが、円融天皇の意向により急激な昇進を重ね、兼家を追い抜き藤氏長者、そして関白・太政大臣となる。当時円融天皇は中継ぎの天皇とみられ距離を置く公卿が多かった中、兼通は直ちに娘を入内させており、関係が深かったことが一因とされる。