平安時代中期の武将で、前九年の役において養父である安倍良照や父兄と共に活躍した。その後、出家し兄の安倍宗任らと共に大宰府に配流された。子の秀任は、家任の死後に良照に養育され、小松小太郎と称した。秀任の子孫は戦国時代に小松黒沢氏となり、後に徳川家の旗本や仙台藩士として続いた。藤原泰衡の郎党である大河兼任は、家任の兄弟である正任の4代後の子孫とされる。