Galle nace un 9 de junio de 1812 en Radis, una ciudad en el estado alemán de Sajonia-Anhalt. Realizó los estudios de educación secundaria (gymnasium) en Wittenberg y entre 1830 y 1833 estudió en la universidad de Berlín. Posteriormente, enseñaría matemáticas y física en el gymnasium de Guben. Más tarde se cambiaría al gymnasium Friedrichs-Werdersche de Berlín.

En 1897 abandona Breslau y se dirige a Potsdam, donde muere en 1910 a la edad de 98 años. Dejaría mujer y dos hijos. Por su trabajo recibió numerosos homenajes y condecoraciones. Por el descubrimiento de Neptuno recibió la Cruz de la legión de honor francesa. Formó parte de la Real Academia de las Ciencias de Baviera y de la Real Sociedad Astronómica inglesa. La ciudad de Gräfenhainichen erigió un monumento en su honor en 1977.