Geboren wurde der Darsteller am 27. November 1948 in Virginia und wuchs in Atlantic City auf. Nach der Highschool diente er der US Navy in Vietnam. Nachdem er 1968 nach Hause zurückkehrte, schrieb er zunächst Gedichte sowie TV-Skripte für PBS bevor er sich Anfang der 1980er der Schauspielerei zuwandte und erschien schließlich in mehr als 170 Rollen. Daneben lieh er zahlreichen animierten Figuren seine Stimme, beispielsweise The Shredder in „Teenage Mutant Ninja Turtles“ oder James Rhodes in „Iron Man“.
Zunächst sammelte James Avery mit Gastauftritten und wiederkehrenden Rollen in Serien wie Hill Street Blues, als Winslow in „Die Schöne und das Biest“ oder Richter Michael Conover in L.A. Law erste Erfahrungen bevor er mit der Comedyserie The Fresh Prince of Bel-Air 1990 zu Ruhm kam. Nach sechs Staffeln als genervter Onkel von Will Smith kam die nächste Hauptrolle in einer Sitcom, erneut als Anwalt in Sparks, die allerdings nur zwei Staffeln überlebte.
Danach folgte eine Odyssee aus unzähligen Gastrollen in verschiedenen Serien mit denen der Darsteller über die Jahre stets präsent war, unter anderem in That '70s Show, Charmed oder Crossing Jordan. Daneben war er mehrere Episoden lang in The Division mit von der Partie, sowie zu Beginn der Serie The Closer als Dr. Crippen. Als General K'Vagh verewigte er sich in Star Trek: Enterprise.
Seine letzten Serienauftritte gab James Avery 2012 in einer Episode des Krankenhausdramas Grey's Anatomy, der Anwaltsserie Harry's Law und in der Seifenoper The Young and the Restless.
Auf der großen Leinwand war er in Nebenrollen in Filmen wie „Dr. Dolittle 2“, „License to Drive“ oder „Who's Your Caddy?“ zu sehen. Zuletzt stand Avery für den Film „Valediction“ vor der Kamera und arbeitete mit Zach Braff an dem Film „Wish I Was Here“ zusammen, der beim Sundance Film Festival Premiere feierte.
Privatleben
James Avery war 26 Jahren lang mit seiner Frau Barbara verheiratet, mit der er ihren Sohn aus einer früheren Beziehung, Kevin Waters, erzog. Der Darsteller verstarb am Silvesterabend 2013 im Alter von 68 Jahren an Komplikationen nach einer Herzoperation im Glendale Memorial Medical Center.