1936年3月，成為預備役將軍。同年，在海軍的積極運作下，於9月2日調任任命為臺灣17總督。在昭和之前，臺灣知事長期是公務員，小林的任命被視為特例。他執政時，以平民化、工業化、南基三原則統治臺灣省。任內重大事件:1936、11年6月，官民合資的臺灣省殖民有限公司成立，主要是開發荒地，將日本人移民到臺灣省，協助日本在南芝、南洋殖民，發展工業，積極配合廈門、海南島等日本占領區行政管理；大力推動皇民運動，強行廢除臺灣省報中文專欄；獎勵臺灣省人改日本名字；禁止歌仔戲和木偶戲；廢除臺灣省農歷習俗，但臺灣省人拍照，日本人將農歷初五定為勞務周，積極去臺灣省文化；強制參拜神社；實施水稻產量控制；關閉中央研究院；成立熱帶醫學研究所；建設農業試驗田；高鑫港開工建設；在基隆港建碼頭；建立國家公園(大屯、太魯閣、阿裏山)。1940 165438+10月辭職，後被任命為長谷川伊藤現役將軍。
在1940年6月(昭和15年)和11年6月辭職後，有次真崎被三郎太和吉天茂視為親信，小林的首相人選在被首相東條氏集團敵視、憲兵四處遊蕩時被考慮。1944當選上議院議員，被贊為政治協會會長。65438+二月，出任蕭伊索國趙內閣國務大臣(次年三月辭職)。1945 65438+2月2日，日本戰敗後，被指控為戰犯嫌疑人，進入窩鴨監獄，但同年6月65438+2月2日被釋放。1946辭去上議院議員職務。有小林誠的傳記和小林誠上將的書。