Arsenal byl založen dělníky z Royal Arsenal roku 1886 pod názvem Dial Square. Krátce po založení byl přejmenován na Royal Arsenal První utkání sehrál 11. 12. 1886 s Eastern Wanderers. Zápas vyhrál 6:0. Poté, co se klub v roce 1893 stal kapitálovou obchodní společností, se znovu přejmenoval na Woolwich Arsenal, Roku 1893 se tehdejší Arsenal připojil k nejvyšší soutěži v Anglii. Tím se stal prvním zástupcem nejvyšší soutěže pocházejícím z jižní části Anglie. Nejdříve začínal ve druhé divizi. V roce 1904 potom získal titul v první divizi. Relativní geografická izolace klubu vyústila v nižší návštěvnost stadionu, než jakou měly ostatní kluby hrající tutéž soutěž. Následkem byly finanční problémy, které v roce 1910 dovedly klub do konkurzu. Následně byl klub předán do rukou dvěma podnikatelům − Henrymu Norrisovi a Williamu Hallovi. Norris se snažil Arsenal přesunout na jiné místo. V roce 1913, brzy po sestupu do druhé divize, se klub přestěhoval na sever Londýna, do Highbury, na Arsenal Stadium. Následující rok došlo k dalšímu přejmenování. Z názvu byla vypuštěna část "Woolwich". Během první světové války byla v Anglickém fotbale pauza a začalo se hrát až po jejím ukončení. V roce 1919 se Arsenal umístil na celkovém 5. místě. Za normálních okolností by to na postup zpět do First Division nestačilo, ale jelikož kvůli údajným pochybným způsobům byl místní rival, Tottenham Hotspur, přeřazen do Second Division, postoupil Arsenal do First Division.

Od Chapmana k zastávce metra

V roce 1925 jmenoval Arsenal Herberta Chapmana manažerem klubu. Chapman již do té doby dvakrát vyhrál ligu s Huddersfield Town. Poprvé v sezóně 1923/24, podruhé hned následující sezónu 1924/25. Pod Chapmanem se dostavilo první úspěšné období Arsenalu. Jeho revoluční taktika a tréninky spolu s přestupy hvězdných hráčů jako byli Alex James a Cliff Bastin položily základy dominance Arsenalu v anglickém fotbale ve 30. letech. Pod jeho taktovkou získal Arsenal první významné trofeje − vítězství v FA Cupu v roce 1930 předcházelo zisku dvou ligových titulů z let 1930/31 a 1932/33. Navíc Chapman stál v roce 1932 za přejmenováním stanice Londýnského metra "Gillespie Road" na "Arsenal". To ze zastávky udělalo jedinou stanici, která byla pojmenována po fotbalovém klubu.

Na začátku roku 1934 Chapman umírá na zápal plic. Po jeho úspěších se klubu ujali Joe Shaw a George Allison. Pod jejich vedením Arsenal vyhrál další tři ligové tituly v letech 1933/34, 1934/35, 1936/37. V roce 1936 potom FA Cup. Na konci 30. let ukončila řada hráčů své aktivní kariéry a klub začal slábnout. Druhá světová válka nicméně znamenala dočasný konec profesionálního fotbalu v Anglii.

Pováleční Kanonýři až po konec 80. let

o válce se Arsenal těšil dalšímu na trofeje úspěšnému období. Allisonův nástupce, Tom Whittaker, dokázal s klubem v letech 1947/48 a 1952/53 vyhrát ligový titul. V roce 1950 poté vyhrál FA Cup. Kvůli neschopnosti přivést kvalitativně stejné hráče, kteří za klub hráli ve 30. letech se Arsenal propadl v 50. a 60. letech do ligového průměru. V tomto období nezískal žádnou z významných trofejí. Dokonce ani bývalý kapitán anglické reprezentace, Billy Wright, nedokázal klubu přivést, coby manažer, v letech 1962 a 1966 úspěch.

Po překvapivém jmenování fyzioterapeuta Bertieho Meea manažerem v roce 1966, se opět dostavil úspěch. Poté, co Arsenal prohrál dvakrát v řadě ve finále Ligového poháru, se mu podařilo v sezóně 1969/70 získat první evropskou trofej − Veletržní pohár. Následoval ještě větší počin: v ročníku 1970/71 se mu podařilo vyhrát ligu a FA Cup, tedy tzv. Double. Jednalo se o předčasný vrchol 70. let. Vítězství Doublu brzy pominulo a zbytek období již tak úspěšný nebyl. V sezóně 1972/73 Arsenal skončil ve First Division na druhém místě. V letech 1972, 1978 a 1980 prohrál třikrát ve finále FA Cupu. V roce 1980 prohrál ve finále Poháru vítězů pohárů na penalty. Jediný úspěch, který Arsenal v tomto období zaznamenal, bylo vítězství 3-2 ve finále FA Cupu v roce 1979 proti Manchesteru United. Dnes je zápas označován za klasiku.

V roce 1986 byl na pozici manažera klubu jmenován bývalý hráč Arsenalu, George Graham. S ním přišlo další období úspěchu. V první Grahamově sezóně, coby manažer, vyhrál klub Ligový pohár. O dva roky později, v ročníku 1988/89, následoval triumf v lize, kterému předcházelo vítězství nad největším soupeřem o titul − Liverpoolem. V ligovém ročníku 1990/91 vyhrál Arsenal pod vedením Grahama další ligový titul, když za celou sezónu prohrál v lize jediné utkání. V roce 1993 získal klub FA Cup a Ligový pohár. O rok později potom vyhrál druhou evropskou trofej −Pohár vítězů pohárů. Grahamova pověst byla pošpiněna, když vyšlo najevo, že přijímal úplatky od norského agenta Runea Haugea za podpis smlouvy s jistými hráči. Jeho nástupce, Bruce Rioch, vydržel na pozici manažera jedinou sezónu. Klub opustil po neshodách s představenstvem.

Přes úspěšné "devadesátky" po nedávnou minulost

Za úspěch v druhé polovině 90. let a v prvním desetiletí 21. století klub vděčí Arsènu Wengerovi, jenž se stal manažerem v roce 1996. Wenger s sebou přinesl novou taktiku, nové tréninkové metody a několik zahraničních hráčů, kteří doplnili stávající anglické hráče. Druhý double (liga a FA Cup) Arsenal získal v ročníku 1997/98. Třetí potom v sezóně 2001/02. Navíc v roce 2000 se mu podařilo dostat do finále poháru UEFA, kde po penaltách prohrál s Galatasaray Istanbul. Dále klub v letech 2003 a 2005 získal FA Cup a v sezóně 2003/04 vyhrál Premier League bez jediné porážky. Vítězný tým je označován jako "The Invincibles". Neprohrál ve 49 ligových utkáních v řadě, což je anglický rekord.

V prvních jedenácti sezónách pod Wengerem Arsenal skončil osmkrát na prvním nebo druhém místě. Třebaže ani v jednom případě se jim nepodařilo titul obhájit.[14] Premier League od jejího vzniku v roce 1992 vyhrála kromě Arsenalu k červnu 2012 ještě čtyři mužstva − Manchester United, Blackburn Rovers, Chelsea, a Manchester City.[24] Do sezóny 2005/06 se klub nikdy neprobojoval v Lize mistrů dál, než do čtvrtfinále. Ve výše zmíněném roce se dostal až do finále, kde podlehl 2:1 Barceloně. Stal se tak prvním klubem z Londýna, který se ve více než 50leté historii soutěže dostal do finále. V červenci roku 2006 se klub po 93 letech přesunul z Highbury na Emirates Stadium.

V letech 2007 a 2011 se dostal do finále ligového poháru, kde podlehl 2-1 Chelsea, respektive Birminghamu City. Od triumfu v FA Cupu v roce 2005 dělilo Arsenal dlouhých devět let od zisku další trofeje. Tu získali v roce 2014, kdy ve finále FA Cupu porazili Hull City 3:2 po prodloužení.