李俊是庐州人氏，在扬子江中做撑船梢公，还与出洞蛟童威、翻江蜃童猛一同贩卖私盐。因精通水性，人称混江龙。他和催命判官李立同霸揭阳岭，与揭阳镇穆弘兄弟、浔阳江张横兄弟合称揭阳三霸。
三救宋江
宋江刺配江州时，途经揭阳岭。李俊听闻消息，便与童家兄弟在岭下等候，却与宋江错过。宋江在李立的酒店里吃酒，却被李立用蒙汗药麻翻，险遭杀害。李俊久候不至，返回岭上寻找李立，恰遇李立要宰杀宋江，便将宋江救下。宋江到李俊家中小住，还与他结为兄弟。
宋江离开揭阳岭后，在揭阳镇打赏病大虫薛永，得罪了穆弘兄弟，被穆家兄弟率庄客追至浔阳江边。他情急之下，又上了船火儿张横的黑船。张横将船驶至江心，要夺宋江的财物，并逼他跳江。李俊恰巧撑船碰见，再一次救下宋江。宋江与张横、穆弘等人化敌为友。
宋江在江州题反诗，遭黄文炳告发，与戴宗被判斩首，却被李逵以及梁山泊十七位头领劫法场救出。李俊与张横、穆弘等九人也驾船赶赴江州，要救宋江，却在江边白龙庙与宋江等人相遇，一行二十九人便在白龙庙聚会。而后攻打无为军，李俊协助张顺生擒黄文炳。
梁山聚义
李俊上山后，与李逵一同镇守山前旱寨。后随征祝家庄、高唐州、青州、华州。
宋江成为梁山首领时，重新调整将佐职责。李俊改镇水军寨，并在水军头领中位居第一。
二打大名府时，李俊与张顺出战诱敌，将索超诱至陷坑，使得索超被梁山擒获。
梁山排座次时，李俊排第二十六位，星号天寿星，是水军头领第一位，与阮小二一同把守东南水寨。
三败高俅时，梁山水军大显神威。李俊擒杀金陵水军统制官刘梦龙，又与张横合擒京北弘农节度使王文德。
南征北战
梁山受招安后，李俊随宋江南征北战，屡立战功。
征讨辽国时，李俊率领水军夺取檀州水门，协助宋军攻占檀州。后辅佐赵枢密，留守檀州。
征讨田虎时，李俊随关胜连破榆社、大谷等县。他听闻卢俊义攻太原不下，便辞别关胜，冒雨驰赴卢俊义军中，进献水攻之计，掘开智伯渠，水灌太原。太原城被大水淹没后，李俊率水军乘飞江、天浮，夺取四处城门，只杀得城中“鸡犬不闻，尸骸山积”。
征讨王庆时，李俊率水军大战瞿塘峡，杀死水军都督闻人世崇，义释副将胡俊，夺取云安州，斩杀留守施俊，后又和童家兄弟扮做渔人，埋伏在清江边上，生擒寇首王庆。他在胡俊的协助下，招降东川、安德，使得“农不离其田业，贾不离其肆宅”，在平淮西之战中功居第一。
平定淮西后，梁山军班师回朝，驻扎在东京城外。朝廷却颁下诏令，禁止诸将擅自入城，梁山诸将尽有怨言。李俊与三阮、二张等水军头领去请军师吴用做主，表示要劫掠东京，复回梁山泊落草。但吴用却不敢主张，李俊等人只得作罢。
征讨方腊时，李俊率水军收复江阴、太仓，并与童威、童猛到太湖侦察，在榆柳庄与费保、倪云、卜青、狄成四人结义，后协助宋江攻占苏州，斩杀飞水大将军昌盛。宋江取杭州，李俊率军攻打靠湖门，与石秀率先登城，合擒守将吴值。
后来，李俊又率水军头领到清溪城中诈降，被方腊封为水军都总管，而后在城中纵火，协助大军破城，最终平定方腊之乱。
人物结局
平定江南后，李俊随大军班师。他行至苏州时，诈称中风，要求留下童威、童猛看视，让宋江先行回朝。宋江怕耽误行期，只得留下李俊三人，自率大军回京朝觐。宋江走后，李俊依照旧约，与童家兄弟前往榆柳庄，寻找费保四人，打造船只，从太仓港出海，投化外国而去，最终成为暹罗国之主。