Hearts werd opgericht in 1874. Ze werden vernoemd naar een danszaal, die op zijn beurt weer was vernoemd naar een boek, The Heart of Midlothian van Sir Walter Scott. In 1886 werd de huidige locatie voor het eerst in gebruik genomen.
Op eerste kerstdag 1875 speelde Hearts voor het eerst tegen hun grote rivaal Hibernian. Hearts won met 1-0. Pas na een historisch EFA Cupfinale, die 5 wedstrijden in beslag nam, werden deze twee clubs de grote clubs van Edinburgh. Hearts won die finale met 3-2, na 0-0, 1-1, 1-1 en 1-1 gelijke spelen.
In de eerste jaren van de Scottish Football League was Hearts redelijk succesvol. Het won de competitie in de seizoenen 1894/95 en 1896/97 en wonnen daarnaast ook nog viermaal de Scottish Cup tussen 1891 en 1906.
Het duurde daarna tot het seizoen 1954/55 voordat de club weer een prijs won. De Scottish League Cup werd gewonnen, ten koste van Motherwell FC. Dit luidde de meest succesvolle periode van de club in. In het seizoen 1957/58 werd de club voor de derde keer landskampioen. Dat deed het met een recordaantal punten (62), en het scoorde 132 keer in 34 wedstrijden. Twee seizoenen later werd de vierde landstitel binnengehaald en in deze tijd won de club viermaal de Scottish League Cup.
Vanaf de midden jaren zestig van de twintigste eeuw kwam de club in verval en toen de hoogste divisie in Schotland reduceerde naar tien clubs, speelde de club enige tijd buiten het hoogste niveau. Met de komst van een nieuwe voorzitter, Wallace Mercer, begon de club weer succesvoller te worden. In het huidige financiële klimaat in het voetbal is het echter moeilijk voor Hearts, net als de overige clubs, om met de twee clubs uit Glasgow, Celtic en Glasgow Rangers, te rivaliseren. Hearts is enige tijd, na deze twee, de meeste stabiele club in Schotland geweest. Ook in 2002/03 en 2003/04 werd de club derde, en kwalificeerde zich daarmee voor de UEFA Cup.
In augustus 2004 zat Hearts in financiële problemen en de Russisch-Litouws multimiljonair Vladimir Romanov (ook eigenaar van FBK Kaunas uit Litouwen en FC Partizan Minsk uit Wit-Rusland) wilde de club wel overnemen (nadat gesprekken met Dundee United FC, Dundee FC en Dunfermline Athletic FC op niets waren uitgelopen.
Romanov beloofde de fans dat de club niet naar Murrayfield Stadium zou hoeven verhuizen, maar dat ze in het huidige stadion zou blijven voetballen en dat hij het stadion zou laten opknappen, iets wat door de fans werd omarmd.
Nadat de club in het seizoen 2004/05 als vijfde was geëindigd, werd voor het seizoen 2005/06 een nieuwe trainer, George Burley aangesteld en Romanov spendeerde veel geld aan de club. Spelers als Edgaras Jankauskas, Rudolf Skácel en Takis Fyssas werden gehaald en samen met mensen als Andy Webster, Steven Pressley, Craig Gordon en Paul Hartley. Dit leidde in het begin van het seizoen tot de situatie dat Hearts enige tijd eerste stond in de Scottish Premier League. Echter, na een conflict met Romanov stapte 22 oktober 2005 George Burley op en werd er op 7 november 2005 een nieuwe trainer bekendgemaakt. Gezien het succes van de club werd een grote naam verwacht. Vele bekende trainers werden gepolst, maar uiteindelijk werd het Graham Rix. Veel fans van de club waren hierover teleurgesteld, aangezien Rix nog niet echt een indrukwekkend CV had. De fans leken gelijk te krijgen, want sinds Rix aan het roer staat, is de fantastische start van het seizoen tot een halt gekomen. 22 maart 2006 werd Rix alweer ontslagen en tijdelijk vervangen door Valdas Ivanauskas. Hoewel Celtic makkelijk de titel binnenhaalde, wist Hearts Glasgow Rangers voor te blijven en werd daarmee de eerste club, buiten The Old Firm die zich kwalificeerde voor de voorrondes van de Champions League.
Het ultieme doel van Romanov met Hearts is het winnen van deze Champions League, maar de club zou niet verder komen dan de 2e voorronde, waarna er verder gespeeld werd in de UEFA Cup.
De club kreeg financiële problemen en vanaf november 2011, toen de spelerslonen niet meer betaald konden worden en de club werd te koop gezet. Spelers die buiten de boot vielen, werden geadviseerd om te vertrekken en dit mocht transfervrij gebeuren. Eggert Jónsson werd verkocht aan Wolverhampton Wanderers FC en daardoor konden de achterstallige lonen betaald worden.
Begin 2013 had de club direct £500,000 nodig om de periode zonder inkomsten tussen de seizoenen in te overbruggen. Romanov kwam niet meer met geld over de brug, waardoor de club zich genoodzaakt zag de hele selectie te koop te zetten.
Op 17 juni 2013 kwam de club in de schuldsanering om de schuld van £25 miljoen, waarvan £15 miljoen aan de bankroete Ūkio bankas (van Romanov), weg te werken.
Een dag later kreeg de club een bod van een Scandinavisch consortium om direct £500,000 in de club te investeren in ruil voor een percentage van de toekomstige transfers van 12 spelers, maar dit werd door de club afgewezen.
Vanwege de sanering werd het transferbeleid van de club aan banden gelegd. De club mocht enkel nog spelers aantrekken voor een vertrokken speler. Verder mochten deze spelers niet ouder zijn dan 21 jaar.
In het seizoen 2013/14 begon de club de competitie met 15 punten in mindering, waardoor degradatie met de verjongde bij voorbaat al onvermijdelijk leek. De fans kochten ondanks dit vooruitzicht massaal seizoenskaarten zodat de club met dit geld extra tijd had om een faillissement af te wenden. Op 2 december werd bekend dat de club door The Foundation Of Hearts werd overgenomen. Deze foundation representeert de supporters. Met deze overname is £1 miljoen gemoeid. De komende vijf jaar zal de Bidco 1874 group, onder aanvoering van Ann Budge de scepter zwaaien en de club verder gezond maken. Daarna moet The Foundation Of Hearts de dagelijkse leiding overnemen en £2.6 miljoen (waarvan £2.5 miljoen lening van de Bidco 1874 group) betalen om 75% van de aandelen over te nemen. Verder moet The Foundation £2.8 miljoen aan werkkapitaal inbrengen. Ruim 8000 supporters betalen maandelijks een vast bedrag om dit alles mogelijk te maken.
Op 5 april 2014 degradeerde Hearts uit de Scottish Premier League naar het Scottish Championship om na een jaar weer te promoveren naar de Scottish Premiership.
De club is sinds 11 juni 2014 uit de schuldsanering, waardoor alle beperkingen die waren opgelegd zijn vervallen.
In 2020 degradeerde de club weer naar de Scottish Championship.
Edinburgh
Zie Lijst van Europese wedstrijden van Heart of Midlothian FC voor het hoofdartikel over dit onderwerp.
