人吉市の代表駅で、ＳＬ人吉や、いさぶろう・しんぺいなどの観光列車の発着駅となっています。ホームはＪＲが2面3線、くま川鉄道ホームは島式ホームがあります。駅の熊本寄りには、石造りの車庫があり、ＳＬ人吉運転日には停車している姿が見れます。九州横断特急の終着駅でもあるので、土日などは乗換え客や観光客で混雑します。

自動放送は無く、駅員の肉声放送のみです。スピーカーはカンノボックス型で、1番のりばの1箇所だけワイドホーンもあります。