De club werd in 1911 opgericht en werd tweemaal landskampioen. Tussen 1947 en 1963 speelde de club in de competities van de Sovjet-Unie en was in 1960 en 1961 enige Estische club op het hoogste niveau. Eind 1963 werd de club opgeheven.
In de 2002 werd de club heropgericht en promoveerde tweemaal op rij. In 2006 werd de club derde in de Esiliiga en promoveerde via play-off wedstrijden naar de Meistriliiga. In 2009 degradeerde de club. In 2011 werd JK Kalev kampioen in de Esiliiga en promoveerde weer om in 2014 weer te zakken. In 2017 promoveerde Kalev opnieuw naar het hoogste voetbalniveau van Estland. Waar het in 2020 actief was met een van de jongste ploegen, met een gemiddelde leeftijd van 20 jaar. Na één seizoen degradeerde de ploeg weer naar de Esiliiga. In de Eisiliiga werd de ploeg direct kampioen en promoveerde wederom naar de Meistriliiga. In het daaropvolgende seizoen (2022) bereikte de ploeg een 8e plaats, waardoor het in 2023 nog altijd op het hoogste niveau van Estland actief is.
Reserveteam JK Kalev Tallinn II speelde in de Esiliiga en degradeerde in 2019 naar de Esiliiga B.
Ragnar Klavan
Teemu Tainio
Zie de lijst van spelers van JK Kalev Tallinn voor een opsomming van spelers die uitkwamen voor de club.