La costruzione del tempio di Giove Capitolino iniziò sotto il regno di Tarquinio Prisco (e terminata da Tarquinio il Superbo), ma l'inaugurazione avvenne solo nell’anno in cui la tradizione pone l'inizio della Repubblica, ovvero 509/8 a.C.
L'influenza etrusca era molto forte a Roma, non solo per quanto riguarda la presenza di sovrani etruschi, ma anche per le maestranze artistiche, lo stile e i materiali. Grazie agli etruschi a Roma cominciarono ad essere costruiti i primi templi, con decorazione in terracotta e immagini di divinità, che andavano a sostituire i santuari a cielo aperto.
Il tempio era posto alla sommità del colle Capitolino e per secoli rappresentò uno dei templi più grandi e importanti dell'antica Roma. Al suo interno erano custoditi i Libri Sibillini e vi si ospitavano celebrazioni trionfali e sacrifici augurali. Il ritrovamento di una testa umana con volto integro, durante lo scavo per l'allestimento delle fondamenta del tempio, forse di un certo Olo di Vulci, ha dato il nome al colle (caput oli). Secondo altri si tratterebbe della testa di una statua.
L'accesso avveniva tramite una scalinata tra due avancorpi sul lato frontale. Attraverso un pronao con tre file di sei colonne si accedeva all'interno dove tre celle erano dedicate ognuna ad una divinità, Giove, Giunone e Minerva (la cella centrale destinata a Giove era più ampia). Per questo il tempio era detto anche della Triade Capitolina. Le colonne avevano un diametro di più di 2 m ed probabile che fossero in tufo stuccato anziché in marmo, almeno in origine, come dimostrano raffronti con templi tardo arcaici.
Le fondamenta (alte circa 7,5 m) in opera quadrata di tufo (cappellaccio) sono ancora visibili all'interno dei Musei Capitolini (durante gli scavi il ritrovamento di ceramica nella fossa di fondazione ha permesso di confermare la data della metà del VI secolo a.C.), mentre l'alzato del tempio era in legno rivestito con una ricca decorazione in terracotta policroma, statue di divinità e acroteri, come prevedeva la tradizione etrusca. Furono infatti artisti etruschi ad eseguirne le decorazioni, capeggiati da Vulca, scultore di Veio, autore del famoso Apollo di Veio, che eseguì anche la statua in terracotta di Giove il Dio seduto con le insegne della regalità etrusca: corona, scettro, toga purpurea e fascio di fulmini. La statua è andata perduta a causa di un incendio nel I secolo a.C. e fu sostituita da un'altra crisoelefantina, ovvero ricoperta di oro e avorio, su esempio della statua di Zeus ad Olimpia eseguita da Fidia. Sul tetto era posta una quadriga fittile che durante l'esecuzione pare sia stata protagonista di un prodigio poiché si diceva si fosse ingrossata durante la cottura anziché diminuire. Ciò fu visto come un presagio di potenza per Roma. L'acroterio fu sostituito alla fine del III secolo a.C. da una copia in bronzo.
Il tempio andò distrutto, e con esso i Libri Sibillini, in un inciendio durante la dittatura di Silla e da quest'ultimo ricostruito in pietra sulle antiche fondazioni con le stesse dimensioni ma con materiali ben più pregiati. Le decorazioni in terracotta e bronzo furono sostituite da opere in marmo e altri materiali preziosi. Tracce di restauri in opera cementizia riferibili alla tarda Repubblica sono state trovate nelle fondamenta (probabilmente per rinforzare il tempio vista la sostituzione di legno e terracotta con il marmo). Il tempio andò distrutto varie volte e sempre prontamente ricostruito, seguendo l'antico progetto, per tutto il periodo imperiale, fino alla definitiva distruzione nel VI secolo d.C. dovuta soprattutto all'uso del tempio come cava per costruire chiese e palazzi. I marmi e i capitelli del tempio furono impiegati per scolpire nuove statue a partire dal XVI secolo, quando furono rinvenuti durante i lavori per la costruzione del Palazzo Caffarelli.
Scavi condotti nell'area ad est del tempio hanno riportato alla luce tracce di insediamenti ininterrotti a partire dal Bronzo Recente fino al VI secolo a.C. quando cioè iniziarono i lavori per il tempio, a cui sono riferibili anche tracce di attività metallurgica per il restauro degli arnesi in ferro usati per il taglio dei conci e per la carpenteria.
