H.C. Andersen blev nu overført til den skole, der i 1804 var blevet indrettet i Fattiggården, Overgade 19. Oprindelig var skolen beregnet for børn under fattigforsorgen, men fra 1811 blev den udvidet, så forældre, der ikke havde råd til at sende deres børn i betalingsskolerne, her kunne få dem undervist gratis. - Undervisningen foregik i 2 skolestuer på 1. sal ud mod Overgade. Ud over regning og skrivning skulle der efter planen undervises i religion, læsning, forstandsøvelser samt ind imellem i naturhistorie, fædrelandshistorie og teknologi.
Om muligt skulle drengene også lære at svømme under opsyn af en gammel duelig matros.