潘朝森筆下的女子，總是低頭斂眉，含蓄而謙卑，而且大部分都沒有嘴巴，潘朝森笑著說：「這就是我的正字標記，女子的臉上沒有嘴巴，反而更具張力。」笑容中有種孩子般的天真。退休前，他在板橋國小擔任美術老師二十五年，受到許多學生的擁戴和喜愛，小朋友每次看到潘朝森，總是「潘老師潘老師」叫個沒完，又笑又跳地前呼後擁，這樣受學生歡迎的熱血老師，很難想像他小時候竟是個極度乖巧安靜的小孩。

1938年出生於苗栗市西山里，七個兄弟姊妹中排行老二，由於潘朝森的父親到新竹縣工作，全家跟著搬到尖石鄉佳樂村。潘朝森曾在就學前罹患眼疾長達兩年，當時每天靠著母親弄來的草藥醫治，那是潘朝森童年中最黑暗的日子，生理和心理都受到極大的衝擊。兩年後重見光明，他立刻吵著要唸書，當時他已經十歲了，才入學就讀一年級。

由於曾患兩年眼疾，復學後的潘朝森個性十分內向、怕光、沈默寡言、心靈脆弱，畫畫是他唯一的慰藉以及抒發感情的管道，潘朝森雙手十分靈巧，彷彿天生就是揮灑彩筆的料，美術天分逐漸顯露出來，常被選為繪畫比賽或製作壁報的高手。小學畢業後，潘朝森考上芎林中學，也在這裏遇到影響他一生甚鉅、亦師亦父的蕭如松老師，讓潘朝森從此與藝術結下不解之緣。

蕭如松老師很有個性，喜惡分明、律己甚嚴，對學生的管教十分嚴格，但對有繪畫天才的潘朝森卻呵護備至，這個時期的潘朝森對畫畫如痴如狂，經常跟隨蕭如松到處寫生，在蕭如松的眼中，潘朝森是個潔淨、純真、熱愛美術、肯努力上進的好少年，很早就進入創作的境地，有極清淨、銳利優異的造型天資，而且有耐心恆心並愛好美術。兩人的情同父子甚至在畫壇上傳為美談。

由於師承蕭如松，潘朝森的畫藝日益精進，初二時參加全省學生美展，獲得了全省第一名，頓時成了學校的美術明星。初中畢業，潘朝森瞞著蕭如松考上台北師範藝術科，雖然離家在外，但凡學校放長假，潘朝森就到竹東去找蕭如松，請蕭老師指點畫藝，師生一如往昔般攜手創作。

雖然長期追隨蕭如松學畫，才華洋溢的潘朝森並沒因此盲目模仿老師的技法，而是發展出個人獨持的風格。潘朝森的畫如同的他的人一般木納寡言，他筆下的漁婦及其家族、青年、祼女等人物，幾乎都閉眼抱胸，灰藍的色調，詭異的構圖，在過分的寧靜中，總有一種憂鬱浪漫的氛圍汩汩流出，甚至被媒體稱為「穿越憂鬱斑馬線的勇士」。而潘朝森也發現自己在二度婚姻後，畫作的色調跟著明亮起來，重彩度的暖色讓畫作透出新的生命力。

潘朝森在板橋國小教授美術，許多人都覺得委屈了這位大畫家，他自己卻是甘之飴，「一個禮拜18個小時的課，我有很多課餘時間可以從事創作、開兒童繪畫班，賺更多錢，教更多小朋友認識美術這個世界。」他在北師專時期，受到留美博士劉平侯校長的影響，教學強調自由民主、尊重他人，而且經常研究進修兒童心理學，因此給了小朋友很大的伸展空間，他說他可以不教小朋友繪畫的技巧，但一定要傳授他們自由學習、發揮創意的觀念，他退休後，仍讓全校師生懷念不已。

「平靜的時光就是創作的大好時光。」從學校退休後，潘朝森終於有足夠的時間大量地創作，每天早上吃完早餐，悠閒漫步到畫室，開始一天的工作，先將古典音樂釋放到空氣中，如果窗外再來點綿綿細雨，那更是靈感大發、畫思泉湧，尤其到了下午五、六點，思緒更是如脫?野馬奔騰，他說：「會畫畫的是畫家，會創作的是藝術家。」夕陽慢慢沈沒時分，藝術家正疾筆作畫，用無言的彩筆與世間萬物大聲對話！