Benjamin Solomon Carson nasceu em Detroit, Michigan. Sua mãe, Sonya Carson, que abandonara a escola na terceira série, casou-se com Robert Solomon Carson, um pastor batista do Tennessee, quando tinha apenas treze anos. Os pais de Ben se divorciaram quando ele tinha oito anos e a Sra. Carson ficou responsável por Benjamim e seu irmão mais velho, Curtis. Ela trabalhava em dois, às vezes três empregos ao mesmo tempo para sustentar seus filhos.
Carson disse que teve dificuldades no início do ensino fundamental, tornando-se o pior aluno de sua classe e alvo de abuso de seus colegas, e desenvolveu, em seguida, um incontrolável temperamento agressivo. Determinada a mudar a vida de seu filho, a Sra. Carson limitou o tempo que Ben passava assistindo a televisão e se recusou a deixá-lo sair para jogar até que ele terminasse a lição de casa todos os dias. Ela exigiu a leitura de dois livros por semana, com relatórios escritos sobre o que lia, porém, devido às limitações de sua formação, mal conseguia ler os relatórios que Ben escrevia. Ben logo surpreendeu seus colegas e professores com novos conhecimentos. "Foi nesse momento que eu percebi que não era burro", recordou mais tarde. Um ano depois, Ben Carson foi considerado o melhor aluno de sua classe.