Jean Charbonnel est né le 22 avril 1927 à La Fère dans l’Aisne. Étudiant à la faculté des Lettres de Paris, il entre à l’École normale supérieure en 1947 et passe l’agrégation d’histoire. En 1954, il entre à l’École nationale d’administration (ENA) où il fait partie de la promotion Guy Desbos (1954-1956). En 1965, il épouse Marielle Bal.
En 1956, il devient auditeur à la Cour des Comptes. De 1957 à 1963, il est maître de conférences à l’Institut d’études politiques (IEP) de Paris. De 1958 à 1959, il est chargé de mission auprès du ministre du Sahara, Max Lejeune. De 1959 à 1962, il est conseiller technique au cabinet de Bernard Chenot qui fut tour à tour ministre de la Santé publique (1959-1961) puis ministre de la Justice (1961-1962) dans le gouvernement Michel Debré. En 1962, il devient conseiller référendaire à la Cour des Comptes. Du 8 janvier 1966 au 1er avril 1967, il est nommé secrétaire d’État aux Affaires étrangères, chargé de la Coopération. En 1967, il quitte le gouvernement mais il y revient de juillet 1972 à février 1974 comme ministre du Développement industriel et scientifique. Il s’occupe du programme Ariane et prépare le plan de l’électronucléaire français. Il fait également face à l’affaire LIP, entreprise d’horlogerie, de mécanique et d’armement en difficulté, dès octobre 1973. En février 1974, il n’est pas reconduit à son poste à la suite d’un remaniement ministériel. Il réintègre alors la Cour des Comptes en 1974, devient conseiller-maître de la Cour en 1983 et est admis à faire valoir ses droits à la retraite en 1993.
Engagé en politique dès les années 1950, il fait ses premières armes à Sèvres, en Seine-et-Oise. Il voue un soutien indéfectible au Général de Gaulle tout au long de sa vie et de sa carrière politique, en étant tourné, de plus en plus, vers un gaullisme social ou un gaullisme de gauche. Il est élu député de la deuxième circonscription de Corrèze pour la première fois de 1962 à 1966 avec l’étiquette Union pour la Nouvelle République-Union démocratique du Travail (UNR-UDT) et il devient le rapporteur de la Commission des Finances pour le budget de l’énergie atomique. Il fait partie des Jeunes Loups avec Jacques Chirac, Pierre Mazeaud et Bernard Pons, en 1966. Il est membre du secrétariat national de l’UNR-UDT de 1967 à 1968, où il est chargé des questions économiques et sociales et des relations extérieures. Il est battu aux élections législatives de 1967 mais est réélu aux élections anticipées de 1968, et ce jusqu’en 1972, pour le parti Union des démocrates pour la République (UDR). Ce changement de parti est dû à la création de l’UNR, qui fait suite à l’UNR-UDT et à l’Union des démocrates de la Ve République (UD-Ve), en 1968. Il en est le secrétaire général-adjoint de 1968 à 1971. Après son élection de 1968, il devient rapporteur de la commission des Finances pour les questions de budget de l'Éducation nationale et il préside celle-ci de 1971 à 1972. Jean Charbonnel est aussi réélu député en 1973. En 1986, il adhère au Rassemblement pour la République (RPR), créé par Jacques Chirac et retrouve son siège de député de 1986 à 1993.
Outre son mandat de député, il est élu conseiller général de la Corrèze de 1964 à 1988 et maire de Brive de 1966 à 1995.
En parallèle, il est président et membre du club Nouvelle Frontière à partir de 1972 et président de la Convention pour la Défense de la Ve République à partir de 1985. En 1998, il est le cofondateur de l’Action pour le renouveau du gaullisme social (ARGOS) et en devient le président en 2004. En 2008, ARGOS devient la Convention des gaullistes sociaux pour la Ve République.
Une des préoccupations importantes de Jean Charbonnel tout le long de sa carrière est la question de la francophonie. Il est notamment vice-président en 1987 de l’association France-Algérie, puis il en est président de 1998 à 2003 et, à partir de 2003, il devient président honoraire.
Il décède le 19 février 2014 à Paris.