Základem krásy našich zahrad bývá záplava rostlin, stromů a květin. U japonských zahrad toto víceméně neplatí. U většiny typů japonských zahrad jsou sice rostliny také velmi důležité, ale ne jejich nejdůležitějším prvkem.
Japonské zahrady se vyznačují kromě jiného harmonií, prostorem, specifickými liniemi, pocitem Wabi a Sabi, uzavřeným soukromím zahrady. K dosažení tohoto se používají prvky a doplňky, které se mezi sebou mísí tak, aby bylo dosaženo právě rovnováhy, linie, meditačního pocitu v prostoru zahrady. Každý takový prvek má různé významy a může symbolizovat mnoho věcí. Dá se říci, že v japonské zahradě není nic nahodilé.
Voda
Voda je jedním ze základních prvků všech stylů japonských zahrad, kromě suchých tzv. zenových zahrad. Vodní hladina v zenových zahradách je znázorněna dalšími prvky: písek, štěrk, kámen. Velké i malé rybníky představují oceán nebo moře.
Potoky a vodopády
Potoky a vodopády přinášejí do prostoru pohyb a zvuk. Zvuk může být v japonských zahradách nedílnou součástí stejně jako vizuální prvky.
Ostrovy
Ostrovy jsou dalším tradičním prvkem japonských zahrad. Mohou být naznačeny jen velkým kamenem nebo naopak tak velké, že na ně lze postavit altán. Některé mohou být vytvořeny tak, aby připomínaly želvu a jeřába, symboly dlouhověkosti a zdraví, nebo posvátnou mystickou horu Horai.
Mosty
Most v japoské zahradě často symbolizuje cestu do ráje a nesmrtelnosti. Také ale často spojuje pevninu s ostrovem a umožňuje výhled na krásu zahrady. Mosty mohou být podle stylu zahrady kamenné, dřevěné, klenuté, ploché. Některé dřevěné mosty jsou natřené na červeno, ale to se vztahuje spíše k čínské tradici.
Bambusové fontány sōzu
Bambusové fontány, známé jako sōzu, přináší do zahrady krom jiného i prvek zvuku (stejně jako vodopády).
Ryby, kapři koi
Japonští kapři koi a jiné ryby přináší do vodního prostoru nádherné barvy a život.
Kámen
Kámen je další základní prvek japonských zahrad. Nejvíce pak v zahradách ve stylu karesansui – suché zahrady, známé pod často používaným názvem zenové zahrady. Písek, štěrk a kámen zde mohou být dokonce jedinými prvky, kterými je znázorněna představa celé krajiny, oceánu (pískem či štěrkem), ostrovů, skal a hor (kameny různých velikostí).
Nášlapné kameny
Cesty a cestičky v trávě, skrz pískový či štěrkový „oceán“, ale i přes opravdovou vodní hladinu. Nášlapné kameny – tj. ploché kameny je další prvek, který najdete v každé japonské zahradě. Nesymetrické posazení Vám mimo jiné dovolí pocítit představu mnohem větší dálky.
Kamenné lucerny
Přestože kamenné lucerny nebývaly základním prvkem japonských zahrad, v západním světě se staly jejich symbolem. A opravdu již není mnoho zahrad v japonském stylu, kde by aspoň jedna z mnoha variací kamenných luceren nebyla. Často se také využívají k utvoření pocitu wabi.
Kamenné sochy
V japonských zahradách je všudypřítomná myšlenka buddhismu. Není proto divu, že zde můžete potkat i nějakou sošku Buddhy. Většinou nenápadně umístěnou a často porostlou mechem, což opět přináší do zahrady pocit wabi-sabi. Kromě klasického Buddhy bývá v zahradách často i socha jedné z nejoblíbenějších postav japonského buddhismu Jizō Bosatsu (Bodhisattva). Je znám zejména jako ochránce zemřelých dětí.
Ploty a brány
Mít zahradu otevřenou pro zbytek světa je v japonských zahradách velmi vzácné. Japonská zahrada bývá často obklopena zdmi či bambusovými ploty, které brání pečlivě navrženou rovnováhu před ruchem vnějšího světa. A k plotu patří i brána, která představuje symbolické i skutečné rozhraní tohoto vnitřního a vnějšího světa.
Čajovny a altánky
V minulosti bylo mnoho druhů zahrad vytvořeno tak, aby byly vidět zevnitř budovy, jako je palác nebo chrám. Dnes bývají naopak drobné stavby jako altány a čajovny jedním z prvků zahrady.
Stromy a rostliny
Stromy a rostliny nejsou u japonských zahrad tím nejdůležitějším prvkem. Přesto u většiny stylů, je velmi důležitý výběr a kompozice jednotlivých stromů, keřů, rostlin a mechů. Ale to je již téma na jiný samostatný článek.