Carreira política
Na vida política, foi presidente da Federação das Indústrias do Estado de Minas Gerais, presidente da FIEMG (SESI, SENAI, IEL, CASFAM) e vice-presidente da Confederação Nacional da Indústria. Candidatou-se às eleições para o governo de Minas Gerais em 1994 e, em 1998, disputou uma vaga no Senado Federal, elegendo-se com quase três milhões de votos.
No Senado, foi presidente da Comissão Permanente de Serviço de Infra-Estrutura - CI, membro da Comissão Permanente de Assuntos Econômicos e membro da Comissão Permanente de Assuntos Sociais.
Foi, ao início, um vice-presidente polêmico, ao assumir o cargo em 2003, tendo sido uma voz discordante dentro do governo contra a política econômica defendida pelo ex-ministro da Fazenda Antonio Palocci, que mantém os juros altos na tentativa de conter a inflação e manter a economia sob controle.
Já a partir de 2004, passou a acumular a vice-presidência com o cargo de ministro da Defensa.
Por diversas oportunidades, demonstrou-se reticente quanto à sua permanência em um cargo tão distinto de seus conhecimentos empresariais, mas a pedidos do presidente Lula, exerceu a função até março de 2006.
Nesta ocasião, renunciou para cumprir as determinações legais com o intuito de poder participar das eleiçoes de 2006. Foi considerado pela Revista Epoca um dos 100 brasileiros mais influentes do ano de 2009.
Em 25 de janeiro de 2011, recebeu a medalha 25 de janeiro da prefeitura de São Paulo.
Ao entregar a medalha ao ex-vice-presidente, a presidente Dilma Rousseff ressaltou: “Eu tenho certeza de que cada brasileira e brasileiro deste imenso país gostaria de estar agora em São Paulo – esta cidade-síntese do espírito empreendedor do país que completa hoje 457 anos de existência – para entregar junto conoscoa.
Medalha 25 de Janeiro ao nosso eterno vice-presidente da República, José Alencar.” Já, Alencar disse: "Não posso me queixar. A situação está tão boa que não tem como melhorar, todo mundo está rezando por mim". Apesar de estar em uma cadeira de rodas, ele ainda até brincou com o público dizendo: "Aprendi com Lula que os discursos devem ser como um vestido de mulher: nem tão curtos que possam escandalizar, nem tão longos que possam entristecer".
