在《水浒传》中，张横是一位杰出的武将，他的故事深藏于江州与浔阳江之间。他的真实身份是小孤山下的撑船艄公，人们称他为“船火儿”。他和弟弟张顺共同控制了浔阳江，那里的每一条船都听从他们的指挥。他们以勇猛著名，常在河上行劫，有时还会杀人抢财，与李俊、穆弘等人合称揭阳三霸。
有一次，当宋江被穆弘兄弟追赶时，他无意间上了张横的黑船。张横不顾穆弘的呼唤，竟然想要夺取宋江的财物，并逼迫他跳入水中。但幸运的是，被宋江所救的是李俊，这才得知了宋江的身份后，他们迅速联系起了张顺，最终化敌为友。
随后，在梁山泊聚义大会上，张横也加入了梁山好汉们。他曾经因为醉酒题反诗而遭到陷害，但最终还是被救出并成为梁山的一员。在征讨方腊的时候，他表现出了极高的军事才能，最终帮助收复了嘉定。
然而，在攻打杭州之战中，他因病去世，但他的灵魂却未能安息，一直陪伴着他的兄弟直到五云山脚下。当那时候来临时，他用手中的剑刺死了方天定，将仇恨彻底平息。
在文学史上的评价中，金圣叹认为阮小二、阮小五、张横和張順都是中上人物。而李卓吾则赞扬说：“忠义如锦绣”，认为如果只看利害，不应该这样对待这些英雄好汉。
