塾の運営に熱心に取り組むうち、しだいに門人の数が増え、自宅だけでは狭くなります。
そこで２２歳のとき、正門の東側に２階建ての建物を新築し、山楽楼（さんらくろう）と名付けました。
「三楽」とは中国の古典『孟子』の中の言葉で、”君子 *2には三つの楽しみがある。
両親が元気で兄弟仲がよいこと、天にも人にも恥ずかしくない生き方をしていること、そして優秀な人物をみつけて育て上げること”ということから採用されたといいます。
教育者としての砂山の評判は、水戸藩九代藩主・徳川斉昭（なりあき） *3の耳にも届くほどになります。
天保１３年（1842年）、偕楽園 *4が完成しますが、その翌年、園内の好文亭新築祝いに３８歳の砂山も招待されます。
その宴は、斉昭の発案で、偕楽園の景観を三十数名の出席者たちに思うまま詩歌を吟じさせるというものでした。
出席者から集めた詩ひとつひとつに目を通した斉昭は、
「淡路（砂山の通称）の詩がもっとも優れているのではないか」
というと、斉昭のそばに控えていた、会沢正志斎（あいざわせいしさい）、青山拙斎（せっさい）（ともに前年1841年に斉昭の命で開設された藩校・弘道館の 教授頭取）も、「お殿様と同じ意見でございます。」と返答したといいます。
さらに水戸藩に招かれていた他藩の博識な学者たちからもすばらしいできばえとほめられました。
その才能は一般の人々にも知れわたります。詩を作りながら藩内を旅していたとき、その場の思いつきで宿の襖に詩を書いたところ、そのみごとさに宿の主人が驚いて、”宿代はいりませんのでもう一筆・・・とお願いした”という話が伝わっています。砂山はその学識のみならず詩才、教養も水戸藩有数の人物だったといえます。
砂山の名声が藩内にとどまらず周辺に広がっていくと、さらに門人が増えて狭くなり三楽楼の東隣に平屋を建て、これを有隣館（ゆうりんかん） *5と名付けます。
また遠方からの入門者も増えてきたので寄宿舎も建てることになります。
そのころの塾生は２里半（約１０キロ）が通学の範囲でそれ以上の者は寄宿することになりますが、３０〜４０人はいました。
下野（現在のほぼ栃木県）の真岡、高根沢、結城さらに遠くの磐城（現在の福島の東と宮城県南部）の白河や会津から入門してくる者がいたといいます。
こうして三楽楼、有鄰館、日新舎と学舎や寄宿舎が次々と増えていきました。
当時、高い志を持つ人々が全国各地から水戸の城下にも勉強するために訪れていました。
会沢正志斎や藤田東湖（とうこ） *6といった有名な学者の教えを受けるためです。
会沢は来訪者に「城下から１里半ほどのところに加倉井砂山の塾がある、紹介状を持たせるから数日なりとも行ってみたらどうか」とすすめたといいます。
記録によれば嘉永元年（1848年）に備中（岡山県）から１人、また江戸、大阪、京都、広島から青年８名が日新塾を訪れていますが、おそらく水戸に遊学してきた者たちで、会沢の紹介と思われます。
このような短期間の来塾者もあって生徒の数は変化しますが、多いときで102名という記録があります。
しかし砂山は塾生ばかりに教えていたわけではなく、近隣の老若男女にも講話をしたので、親しみと尊敬をこめ”砂山先生、砂山先生”と呼んで、一般庶民も日新塾を誇りにし、砂山の功績を語り伝えてきたといいます。
１１歳から７〜８年の間は、同じ成沢村に住んでいた親類の加倉井松山について勉強します。
この松山から江戸での学者の活動ぶりや学問の動きを聞いていた砂山少年は、１５歳の頃、思い立って一人で江戸へ出かけようとしますが、家人に見つかり断念。
