В 1937 году он стал студентом Высшей школы тренеров при Московском институте физкультуры. Спортивные руководители обратили внимание на талантливого и энергичного игрока, который обладал явными организаторскими способностями и хорошо зарекомендовал себя в качестве тренера. 

В 1945 году Тарасов был рекомендован в наставники спортивного клуба военно-воздушных сил Московского военного округа. Так Анатолий Тарасов стал тренером армейских команд одновременно и по хоккею с шайбой, и по футболу. 

Выбор руководства полностью оправдался: Анатолий Тарасов вывел команду в число несомненных лидеров. Спустя два года его назначили играющим тренером хоккейной команды Центрального дома Красной армии (впоследствии переименован в ЦСКА). 

Тарасов три раза становился чемпионом СССР (1948–1950). На ледяном поле он личным примером показывал, как надо играть. Всего же за свою долгую спортивную карьеру он выиграл в чемпионатах СССР 100 матчей, забив 106 шайб. 

Хоккейной командой ЦСКА Тарасов руководил почти три десятилетия (вплоть до 1975 года). Обладавший мощным интеллектом и будучи по характеру максималистом, Тарасов всегда стремился вывести команду в чемпионы. 

Под его руководством команда ЦСКА 18 раз становилась золотым призером чемпионата СССР. С 1958 года он на 14 лет становится тренером сборной СССР. Под его руководством команда СССР девять раз побеждала на чемпионатах мира (1963–1971) и трижды становилась чемпионом Олимпийских игр (1964, 1968, 1972). 

Тарасов воспитал несколько десятков неоднократных чемпионов мира и Олимпийских игр. В их число входят такие легендарные хоккеисты, как Валерий Харламов, Анатолий Фирсов, Владислав Третьяк, Борис Михайлов, Александр Рагулин, Виктор Кузькин, Александр Альметов, Борис Александров, Владимир Петров и другие. 

Анатолий Тарасов так много сделал для становления и развития отечественной хоккейной школы, что до сих пор его с глубоким уважением вспоминают все российские хоккеисты. Он внес большой вклад и в мировой хоккей. Его опыт и спортивное мастерство нашли отражение в опубликованных им книгах «Тактика хоккея» (1963) и «Хоккей грядущего» (1971). 

Тарасов думал и о завтрашнем дне российского хоккея – продолжительное время он был председателем детского хоккейного клуба «Золотая Шайба», откуда вышло немало мастеров.