Oriundo do Barreiro, José Silva começou muito jovem nos escalões de formação do Barreirense, clube pelo qual alinhou até 2012. Finda a temporada, transita para a equipa do V. Guimarães, onde permaneceu durante três anos e se notabilizou como um dos melhores jogadores a actuar em Portugal. O bom nível apresentado na cidade berço traduziu-se numa transferência para o Porto, sagrando-se campeão nacional logo no primeiro ano. No final da temporada 2016/17, o capitão da Selecção Nacional rejeita uma oferta de renovação do Porto para, dias depois, chegar a acordo com o SL Benfica para reforçar o plantel 2017/18, assinando por três anos. A transferência representa uma grande baixa na equipa do Porto, pois tratava-se de um dos seus principais jogadores pelo qual tinham pago 10.000 € ao V. Guimarães.