进入武家社会的时代后，建筑物的各个房间开始形成上座、下座的规格和排序。离建筑物出入口近的房间为下级的房间，越往里面走规格变得越高。即使在一个房间里，根据坐的地方也分为上座、下座。

庭园也随建筑物使用方法和所占位置的变化而变化。此前是在一间房间内欣赏整个庭园，而在这个时期因建筑物等级化的出现，庭园的观赏方式也发生了变化。即使在一个房间中，庭园的观赏角度也有不同，如上座看出去的景色被认为是最美的。在上座，设有地板（当时称为押板）、附书院等，这种样式被称为书院造。

另外，随着时代发展建筑物的配置变为雁行，书院建筑也开始变得大规模化，但这时期的庭园还不能进入游玩，而是在各个房间或者在走廊移动时眺望欣赏。

武家社会的上下关系也影响了庭园的内容。从象征自然景色和禅精神的庭园转变象征武士的权威和荣华的庭园。此外还使用棕榈和苏铁等在当时为珍稀品种的草木。这些都由下级武士献上，这使得庭园的氛围也逐渐变得奢华。

再往后进入江户时代，建筑上发生重大变化。雨户登场。此前在宽走廊内侧有舞良户，通过舞良户取景但不连续。但宽走廊的外侧有了雨户（边上有槽，能够完全收纳移窗）全部关起后宽走廊就变成室内，相反雨户全部打开就像蔀户一样是完全开放的空间。

由于可以看到庭园全景，设计也相应改变，逐渐形成了开放式的庭园结构。此外，这个时代的庭园，虽然仍是观赏性庭园，但正向着使用性庭园过渡。