Mahershala Karin-Ali a découvert la comédie au lycée. Il a débuté au théâtre avec le festival Shakespeare de Californie peu après avoir été diplômé. Par la suite, il a été accepté à l'Université de New York où il a obtenu un master d'acteur.
Le premier rôle d'Ali à la télévision était celui du Dr. Trey Sanders dans 'Crossing Jordan'. On a pu ensuite le voir dans le rôle récurrent de Jelani Harper dans 'Threat Matrix'. Sa carrière TV compte aussi des apparitions dans 'NYPD Blue', 'CSI: Crime Scene Investigation', 'The Haunted' et 'The Handler' aux côtés de Joe Pantoliano.