Nova Odessa surgiu onde se situava uma propriedade chamada Fazenda Pombal de Ângelo Gazzola. Foi fundada em 24 de maio de 1905 por Carlos José de Arruda Botelho, então Secretário de Agricultura do estado de São Paulo, através do decreto nº 1286, que institui o Núcleo Colonial Nova Odessa, nas terras recém adquiridas da Fazenda Pombal.
Seu nome é devido a visita que o fundador fez à cidade de Odessa, na Ucrânia, de onde trouxe o estilo de suas ruas.
Os primeiros colonos eram imigrantes judeus russos, mas não se adaptando abandonaram o empreendimento. Mais tarde foram contatados colonos de origem da Letônia, que deram origem definitiva ao município.
Os primeiros colonos eram protestantes e trouxeram a Igreja Batista para a cidade. Atualmente as diversas denominações protestantes e evangélicas estão presentes, assim como a Igreja Católica.
No final da década de 80, Nova Odessa passa a sofrer um grande processo de industrialização e desenvolvimento urbano com a inauguração da Terminal Rodoviário, em 1988, e do novo edifício da Prefeitura Municipal, em 1992. No mesmo ano inaugura-se também o Parque Ecológico Isidoro Bordon.
Nessa mesma época o Sistema Recanto foi concretizado, o que trouxe o aumento da capacidade de abastecimento de água de Nova Odessa.
Com a abertura do mercado interno brasileiro, Nova Odessa passa a receber grandes corporações devido à sua localização estratégica, estando próxima às principais rodovias paulistas, infraestrutura e população com alto nível de instrução.