平安時代後期の貴族で、信濃守・橘広房の子として生まれる。保延2年（1136年）頃から出仕し、当初は六位であった。父から橘氏長者を継承し、久安3年（1147年）には藤原頼長の奏請で学館院別当に任命される。蔵人や大膳亮、筑後守を歴任し、保元2年（1157年）に従五位上に叙せられる。藤原頼長に仕え、『宇治拾遺物語』には頼長との逸話が残る。頼長に物忌を咎められるが、後日、頼長自身の物忌に対し皮肉を返す。