De Brink met daaraan gesitueerd de van oorsprong middeleeuwse Pauluskerk en het gemeentehuis, vormt het centrale plein in het dorp. Vanaf de jaren vijftig zijn er met enige regelmaat nieuwbouwwijken aan het dorp vast gebouwd, met name aan de noord- en oostzijde.
De kern Eembrugge heeft van oorsprong oudere papieren dan Baarn. Nu is het slechts een concentratie van bebouwing langs de Eem.
De Lage Vuursche is een dorpskern middenin het bos en wordt gevormd door een enkele straat met oudere historische bebouwing, thans voornamelijk voorzien van horecafuncties. Kasteel Drakensteyn is direct naast de kern gesitueerd. Een ander belangrijk bouwkundig element is de middeleeuwse dorpskerk.
