Rundt 1920 hadde Skogsholmen nesten 100 fastboende. I storhetstiden var det dampskipskai, postkontor, bedehus og to butikker på øya. I dag har Skogsholmen ingen gjenværende fastboende.