No Natal de 1553, desembarcaram 13 jesuítas no porto de São Vicente. Seu 
líder, o padre Manoel da Nóbrega, incumbiu Manuel de Paiva e José de Anchieta a subirem com os demais a Serra de Paranapiacaba até o Planalto de Piratininga. Lá fundaram, em 25 de janeiro, um colégio na colina que ficava no encontro do córrego Anhangabaú com o rio Tamanduateí, em plena aldeia do índio Tibiriçá.
O Colégio de São Paulo dos Campos de Piratininga foi o núcleo em torno do qual cresceu a vila que originou a cidade de São Paulo. A ligação com São Vicente dava-se pela Trilha dos Tupiniquim (ou dos Goianases), que, por atravessar territórios dos índios tamoios, inimigos dos tupiniquins e dos portugueses, era tida como perigosa.
O governador-geral do Brasil, Mem de Sá, esteve em 1560 na vila de São Paulo. Ao subir pela Trilha dos Goianases, constatou todas as dificuldades e perigos que o caminho apresentava na serra. Fazia-se, então, necessária a construção de uma nova ligação da vila de São Paulo ao litoral, conhecida mais tarde como Caminho do Padre José.
Há duas versões sobre quem o teria construído. Segundo uma delas, o governador Mem de Sá solicitou ao padre José de Anchieta que fosse aberto o novo caminho. Uma outra versão sustenta que este caminho fora construído um pouco antes por um homem rico da região chamado João Perez sob aprovação do Capitão-mor de São Vicente e do Governador Mem de Sá.
Com relação ao Caminho de Piaçagüera, o Caminho do Padre José não apresentou mudanças no trecho da baixada litorânea, mas a transposição da serra era feita a oeste do rio Perequê, afluente do rio Cubatão, abandonando-se o antigo trajeto pelo vale do rio Moji.
O Caminho do Padre José foi aberto de forma precária pelos índios e atendia de início exclusivamente ao deslocamento de pedestres. Sobre as péssimas condições do caminho, o próprio Anchieta deixou seu testemunho em 1585.
Segundo a historiadora Denise Mendes, na região litorânea saía-se de Santos por embarcações pelo “Guarapissuma” ou “Caneú”, como chamavam o lagamar de Santos, até o Porto das Armadas (ou de Santa Cruz), subindo a Serra de Cubatão. O historiador Paulo Eduardo Zanettini supõe que o percurso feito em embarcações tinha aproximadamente 12 km e a subida da serra, até o encontro com o rio Grande, cerca de 7 km. Do alto da serra, o caminho seguia por 2 alternativas:
– Continuava-se por embarcações pelo rio Jurubatuba (Pinheiros) até o rio Anhembi (Tietê), e deste ao rio Tamanduateí, que corria junto ao morro do Colégio dos Jesuítas;
– Atravessavam-se os rios Pequeno e Grande, seguindo em direção ao Ipiranga, convergindo depois para a região do Colégio.
O trajeto desde Santos era de aproximadamente 60 a 70 km.
Variantes do caminho foram abertas à medida que a dizimação dos índios abria espaço à ocupação lusa. Em 1583, segundo o historiador Nuto Santana (Zanettini, Paulo E. 1998, p.27), havia 5 caminhos na vila: o do Ipiranga, rumo ao sul até o rio Grande no alto da serra; o do Ibirapuera (ou de Santo Amaro); o dos Pinheiros, para oeste; o do Guaré (atual bairro da Luz), para o norte, e o da Tabatingüera, seguindo o Tamanduateí na direção leste, cuja variante (chamada da Mooca) chegava a N. Sra. da Penha de França, onde se ramificava em 2 caminhos: um até N. Sra.da Conceição de Guarulhos e outro para São Miguel e Mogi das Cruzes, indo até o RJ.
Segundo Denise Mendes, durante o séc.17 a Câmara de São Paulo adotou várias medidas a fim de que o Caminho do Pe. José permanecesse transitável: convocou moradores para cederem ferramentas, firmou contratos com comerciantes, proibiu trânsito de gado, exigiu escravos para as obras e estabeleceu multas para quem desobedecesse. Mas a população costumava não acatar as ordens. O Caminho do Pe. José ficava sempre em péssimas condições. Veja o relato do padre Simão de Vasconcellos feito em 1656 ao passar por lá.
“O Caminho (…), he elle tal, que põe assombro aos que hão de subir, ou descer. O mais do espaço não he caminhar, he trepar de pés, e de mãos, aferrados às raízes das árvores, e por entre quebrados taes, e de taes despenhadeiros, que confesso de mim, que a primeira vez que passei por aqui, me tremerão as carnes, olhando para baixo. A profundeza dos valles he espantosa: a diversidade dos montes huns sobre os outros, parece que tira a esperança de chega ao fim: quando cuidais que chegais ao cume de hum, achai-vos ao pé de outro não menor (…) Assentado sobre hum d’aquelles penedos, donde via o mais alto cume, lançando os olhos pera baixo me parecia que olhava do ceo da lua, e que via todo o globo da terra posto debaixo dos meus pés: e com notavel formosura, pela variedade de vistas, do mar, da terra, dos campos, dos bosques, e serranias, tudo vario, e sobremaneira aprazível.” (MENDES, Denise 1994, p. 119).
Em meados do séc.17, as viagens da serra até São Paulo por rios perderam importância, em virtude de melhorias executadas no Caminho. Segundo Zanettini, em 1681 foi inaugurada um ligação da vila de São Paulo até o rio Grande que facilitou o tráfego de carros com mercadorias. O caminho até o litoral passou a ter mais de 70 pontes e a ficar conhecido como Caminho do Mar.