Markov odohral dlhých 16 sezón v zámorskej NHL, pričom v nej bol verný iba jednému klubu – Montrealu Canadiens. V drese „Habs“ nastúpil v rokoch 2000–2017 v 990 zápasoch základnej časti, v ktorých strelil 119 gólov a pridal 453 asistencií.
V play off získal 32 bodov (5+27) v 89 vystúpeniach. Produktívny obranca sa dvakrát predstavil v exhibícii All Stars. „Vďaka za všetko, čo si pre Canadiens urobil. Gratulujeme k neuveriteľnej kariére, Andrej,“ uviedol kanadský klub na svojom twitterovom konte.
Ako píšu zámorské médiá, aj keď sa Markov nikdy nestal kapitánom tímu, jeho tiché vedenie na ľade i mimo neho, ako aj vplyv na mladších hráčov boli veľmi výrazné. Aj preto si vyslúžil prezývku Generál.
Po ukončení zámorskej kariéry sa Markov v roku 2017 vrátil do rodnej krajiny. Tri sezóny nastupoval v KHL – dva ročníky odohral za AK Bars Kazaň a jeden za Lokomotiv Jaroslavľ. V sezóne 2017/2018 vybojoval s AK Bars Kazaň Gagarinov pohár.
V predčasne ukončenom ročníku 2019/2020 nazbieral v drese Lokomotivu sedem bodov (1+6) v 23 zápasoch základnej časti, v šiestich dueloch play off zaznamenal jednu asistenciu. V zbierke má i titul majstra sveta z roku 2008, so zbornou získal na MS aj dva bronzy.