山东有个人叫富扶摇，没有任何田地，家贫如洗，因取得一些丹方，就靠此行医谋生。之后到了邯郸，在此住了下来。有一次，替一个老和尚治好了多年的肌瘤，和尚对他说：“和尚没钱支付诊金，只能用神水给你洗洗眼睛。你三天之内一定会有好运。但是你一定要洁身自好，戒贪戒色，否则就会亵渎神灵，失去灵效。”富扶摇接受了他的教诲后离去。
次日清晨，富扶摇带着药锄走上冈岭，正在采集白术之类的草药时，忽然从沙石草根那听到有人在说话，十分惊讶。仔细一瞧，只见地上的瓦石突然分开，下面出现了一个地洞，里面是朱漆大门，雕花窗格，一道道栅栏，像是某家女子的闺房。正俯着身子观看时，只见一位身穿茜红衫子的女子手拿丫叉，在屋檐头上晾晒绣花背心，回过头向内房娇声唤道：“阿城儿，我这举动比起晋人阮咸在秋天晒围裙如何？”又见一个身穿白衣衫的女子从绣帘后面缓缓地走出来，笑着说：“阮咸看见富家晒衣服眼红，也拿围裙去晒，终究不免俗套，像姐姐这么做，他和姐姐怎么能相提并论呢？但是你裤衩下留有污血，花片点点，就不怕玷污了日光、月光、星光吗？”红衫女子听了这话后，羞红了脸，就要拉住她厮打嬉闹。又有一位身穿绿衣的女子出来劝架，笑着说：“阿城妹子的嘴也太尖刻了，也难怪殊姐姐要生气。”
接着又出来一个穿紫衣的女子，众女子哄笑一堂，打趣说：“你整天在房内学老和尚坐禅，今天怎么会像晋朝和尚慧远走出虎溪那样舍得出了房门呢？也不怕虎啸吓人？”她说：“小环这丫头这几天可把我害惨了，她拿一只尺把见方的笙囊套子要我绣全部的《金刚经》。”绿衫女子笑道：“这和在铜钱写《心经》相比哪个容易些呢？”白衫女子说：“用兔毫笔写字，用绣花针刺绣，这两者又哪个容易些呢？别说是曼姐，就是三国年间魏国宫人薛灵芸复活，恐怕也无计可施了。”这时又一位身穿黄衫的女子走了出来，众人都笑道：“真是说曹操，曹操就到。”黄衫女子听后脸上有点愠色，说：“姐姐可真坏，怎么能拿我和奸诈的曹操相比，这样的奸贼，活该要被阎王老子打煞。反观曹丕的妻子甄后被封作地行仙，真不知道曹操拿什么脸面去见自己的媳妇。”红衫女子说：“妹妹也别太贬低了曹操，昨天我还听说地下阎王殿建成时，让他写文章记颂呢。”黄衫女子笑道：“哎呀，你不说我快要忘记了，殊姐姐不是曹操的后代吗？”众人听后都大笑不已。
接着她们互相玩捉迷藏游戏，一个个穿梭跑跳就像花蝴蝶在花丛中一样，声音娇媚，莲步细碎，好一幅美女嬉戏图，实在让看的人心往。富扶摇正看得入神，忽然白衫女子抬头一看，惊异地说：“天窗怎么被捅开了，让凡夫俗子有机会来偷看？”于是大家一哄而散，地洞又被塞住了。富扶摇之后折了一枝树干插在那里做标记，拿起铲子挖了一丈来深，挖到一只石头匣子，见上面刻着篆文说：
妙画通神有众多陈阿娇，姿态活泼令人魂飘摇，保持距离是至宝，亲近贪色化为妖。恐被子孙累，藏在石盒内，长夜迢迢。过了八百年，得者富扶摇。
富扶摇料定里面一定有非常精妙的美女肖像画，但观察石盒子没有任何缝隙能打开，愁绪满面。就回来向和尚讨教，和尚说：“你拿鹊踏枝去打它，它就能打开了。”
过了一个多月，富扶摇终于找到了一枝鹊踏枝，就赶紧用它一击石盒，石盒瞬间就被打开，露出了一幅生绢。他爱惜地把生绢捧回家中，烧了一炉香，把生绢展开细细观看，发现这竟是出自大家之手的一幅美人图，只见上面有五位美人，胖的瘦的，高的矮的，各有各的风姿。画的上端还有题款，写道：
啊，两大淫气横在天空就成虹霓，堕入江海就成蛤蜊，落在地上就成精怪，掉在深山大泽就生龙蛇。美人也是由淫气聚合而成，第一次见到她就会亡失城池，第二次见了就会亡国，所以还有比美人更不吉祥的吗？然而世人中喜爱她的，玩弄她的，为她殉情的，多得数不过来。我学了二十年画图，画的山水草木无人问津，画的圣人神仙佛祖，人们又敬又怕，然后由惧怕而转生恶感。我很爱自己画的青铜鼎，但也从没见人过来问津。但只要偶尔画几笔细眉白脸的小娘们，就算画工再粗劣，人们也争着把它当作宝贝，所以日后，人们一定会因此认为我是个诲淫的人，这可真是冤枉啊！记得一次到曲江去游览，是一个春季风和日丽的日子，大家闺秀们一起骑马来此春游，钗钿等首饰被遗失在路旁，乞丐拾到了对此不屑一顾，但是富贵人家的子弟拾到了，就嗅个不停，爱不释手。我对此感到十分愤慨，私下画了几位美人的肖像，把她们走路、美目流盼的样子，画得十分逼真。这些人对于我来说就如过眼云烟，谁能记得她们的芳名呢？可是后来到一家乡村酒店，和一些仆役马夫们一道喝酒，他们看见后指着图画，把她们的名字一一报出，说：穿茜红衫子的叫殊娇，穿白衫的叫金城，穿绿衫的叫意转，穿紫衫的叫小曼，穿黄衫的叫环璃。
韦安道并识。
富扶摇读后，对此深有同感，把它藏在竹箱里。每次取出赏玩时，都恭敬地焚香，贡上鲜花，顶礼膜拜，心想韦安道的画可真是一本活剧，对此更是痴迷入魔。更为荒唐的是，每到半夜时，他就放下帐子，点上灯，向天空作三个揖，叫道：“你是殊娇吗？是金城吗？是意转吗？是小曼吗？是环璃吗？”每夜都是这样。有一次耳边忽然听见有女子娇声娇气地责怪他说：“我们都是天上被降谪的仙女，哪儿来的乡下野小子在叫我们的名字？”富扶摇朝四面看看，又寂静无声，十分恐惧，但过了好久，也没有看见异常情况发生，以为自己是幻听。
一天晚上，富扶摇喝醉了酒从外踏雪归来，冷得瑟瑟发抖，蜷缩在被中，不一会儿就睡着了。迷糊中又醒了过来，突然觉得被窝比平时温暖得多。用手一摸，竟摸到像珠玉一样滑嫩的皮肤，用鼻子闻闻，还有一股像麝香、兰花般的香气，转头一看竟发现身边睡着一个女子。他惊讶地问：“你是谁？”她回答说：“你只顾快活就是了，不必把我看作盗贼一样查三问四。”富扶摇见女子生得貌美，近在眼前，不再多想，立即和女子颠龙倒凤，尽情欢愉，那女子床上功夫了得，很会伺候，富扶摇哪经历过如此的快乐，顿觉飘飘然。事后，他问女子：“冒昧地问一下，你是妓女吗？是否要收很多钱？可是我这外方客人并没钱付嫖账，恐怕你要白辛苦了。”女子笑着说：“我自称是仙女，又怎么会像妓女一样要钱财呢？”
富扶摇请求点亮灯烛，说：“在暗处遇上美人，和生吞鲜贝又有什么区别？”女子说：“好吧。”点上蜡烛一看面容，他狂喜不已，说：“我好像见过你的，你是殊娇吧？”女子说：“既然你已经知道，那就别啰唆了。”富扶摇说：“我前世到底修了怎样的福气，竟有天仙降临我家。”女子说：“我们本住在地洞里，闷得像在地狱中一样，由于你的帮助，才得以重返人间，无能为报，只能以身相报。”富扶摇再回头一看，只见房中变了另一个样子：丝织的帷幕，绣花的帐子，精美的床席、镜子等结婚用品，琳琅满目。天快亮时，殊娇先起床，对镜梳妆，乌黑秀丽的头发拖到地上，富扶摇在边上端盆倒水，侍候着她。
忽然门外来了两辆牛车，每辆上各载着两位美人。一个秃发童子奔到富家说：“我家的姑娘们听说殊娘找了个好女婿，特备了见面礼来祝贺。”殊娇知道是姐妹们来了，满面春风，让她们赶紧进来。四个美人一个挨一个走了进来，步伐轻盈，衣饰华丽，姿色貌美，富扶摇见后呆愣住了。殊娇笑着说：“四位妹子这么性急，这么快就和我争夺情郎了？”众美人都含着笑意，有的像老和尚入定盘腿坐在床榻上，有的在庭院中走来走去，学着吟诗，有的对富扶摇、殊娘打趣就像是在闹新房，还有的客气地嘘寒问暖好像问候刚出远门回家的人儿。殊娘问富扶摇：“这几位你还认识吗？”富扶摇正被眼前的美色吸引，痴迷得入神，惊奇得几乎要跪下朝拜起来。殊娇说：“这些都是你的妻子，你这个做丈夫的怎么倒先要下拜呢？”富扶摇问道：“她们也都是仙女吗？”殊娇说：“你叫叫看她们的名字。”富扶摇连忙摇手拒绝道：“直呼其名，实在失礼！但她们可就是城娘、曼娘、转娘、环娘？是不是啊？”四位美人齐声应道：“是的，郎君。”再回头看看牛车和秃发童子，早已不知何时离去了。
从此后，五位美人和富扶摇共居一室，畅聊欢愉，好不惬意。一天，富扶摇又打开图画，只见黑迹已经不见，美人的肖像也消失了。他想把它烧了，但殊娘劝阻不同意，说：“这是我们形体的寄身之处，和我们的精神相通。如果把它烧了，那么我们也就不能存在了。”富扶摇恍然大悟，仍旧把图画珍藏起来。他私下问殊娘：“面对满堂美人，可是家里穷得只有四堵墙，这可如何是好？”殊娘说：“这事你应该去找小曼商量。”于是富扶摇红着脸对小曼拜了两拜，小曼走到庭院中，沿着四周大致走了几圈，说：“郎君你把这块石头掘开来看看。”富扶摇照小曼所说掘了下去，果然挖得两千两白银。于是出钱建造了一座华丽的房舍，让五位美人分居各房，他每天周旋在各美人房中，乐不知倦，说：“只要能让我在这温柔乡中过一辈子，就算死在里面我也心甘情愿。”时间久了，家里的仆人把家中有五位美人的事向外透露了，乡里人争相来偷看，见到这些女子后，都惊叹不已，原来是真的仙女下凡了，无不羡慕嫉妒说：“富扶摇一个摇铃郎中，怎么有这艳福弄来这班美人？”富扶摇谎称：“你们也未免太小瞧我了，难道我就该一穷到底，没有发迹的日子了吗？不瞒你们说，我从地窖中挖到了银子，从大同买回几个美人享享艳福。”
一天，有位浙西姓莫的上京赶考，骑着马正好路过富家，看见登上假山采花戴上鬓边的金城，顿时被她的美艳惊呆，心醉不已，就吟了一首诗：
不识谁家娘，摘花戴蝉鬓。
玉貌何亭亭，娇娆转幽静。
卿卿不敢呼，小字应曰命。
金城听了并不发怒，微笑着回了他一首诗：
郎以侬为命，侬以郎为性。
邂逅始逢君，虽怜那敢信。
寄语马上郎，莫负娇春韵。
莫公子听了十分欣喜，就站在马背上，探过矮墙，紧紧握着金城的纤纤玉手不放，而且还接了吻。
这时恰巧富扶摇带着殊娘在园中花径上散步，见到此景，怒不可遏，殊娘见状急忙阻止说：“你是疯了吗？金城妹子这是在为你想发财的方法，为什么要动怒？”富扶摇听后就邀请莫公子住进了富家。到了晚上，还主动让金城陪莫公子睡觉。金城身子本就柔若无骨，娇嫩妩媚，微微娇喘都能夺人心魄，莫公子从没有如此快乐，于是向富扶摇请求，愿意出一千两银子把金城买下。富扶摇面露难色，左右为难，殊娘在一旁急忙代他答应了。第二天，莫公子就拿出银子把金城带走了。临行时，只见金城一副无忧无虑的样子，一点也没有伤心、恋恋不舍的神情。富扶摇私下问殊娘原因，殊娘只是笑笑不作回答。
过了几天，又有一个姓贾的闽东知府，须发都已经洁白如雪，但还是喜欢逛妓院。一次偶然经过富家门口，看到了正靠在门上看木偶戏的意转，被吸引了心神。随后问了随从，知道了她的姓名，就在富家门前走来走去，不时瞟着意转，垂涎她的姿色，吟了一首绝句道：
桃花门巷裹轻烟，门里青衫淡若仙。多谢佳人名意转，自惭无术驻华年。
意转听后也依着他诗的原韵附了一首绝句道：
暖玉经春欲化烟，愿随杖履作飞仙。广寒雌凤年年寡，未必嫦娥爱少年。
贾知府听了惊喜交加，为美人的情意不禁手舞足蹈起来，说：“老夫真是要发狂了！”就走近意转身边，拉着她的袖子说：“你对老夫也有情意吗？”意转笑笑说：“不如老先生到我家歇息一会儿，吃杯茶去？”贾知府以为意转是一个妓女，等到了富家和富扶摇一会面，这才知道自己猜错了，十分惊惶尴尬。殊娘代富扶摇说道：“大人可能有所误会，我家本来就不是妓院。只是因为主人十分热情好客，喜好结交朋友，连头都可以互换，更何况是一女子呢？任何人都可以做她丈夫，请别介意。”富扶摇已事先被殊娘告知，所以只是假意和贾知府应酬了几句，就走开了。殊娘命人摆上酒席，请贾知府饮酒，还叫意转唱歌跳舞为他祝兴。贾知府被意转迷住了，愿意拿出两千两银子买下意转，殊娘同意了。当夜，贾知府就派来一辆香车把意转接到自己的住所。富扶摇得知此事后，就向殊娘感叹道：“五位美人现在已走了两个，幸好还留下三位陪伴我。”殊娘只是笑笑，不做应答。
又过了一个多月，东海有个姓程的道台，天生丑陋，却好色入骨。听闻富扶摇家有美人而且愿意出让，就带了很多钱来邯郸旅游，希望能交上桃花运。可是待了三个月也没有得到机会，就花钱向卖甘蔗的小子打听。小子说：“在靠近第三株大杨树边上有一栋小红楼，听说是富家金屋藏娇的地方，就是不知道是第几房小妾在那，你可以碰碰运气。”
程道台听后欣喜不已，就照他所说前去，果然看见一个仙女一样的美人，身穿藕花图案的花衣衫，拿着把团扇遮着头面，露出半边粉嫩的白脸，也就是小曼。程道台看得几乎忘记了呼吸，只恨身无双翅，无法立即飞到美人跟前，就想了个法子，用手巾包着金手镯扔到楼上，正巧落在小曼的怀中。小曼见后笑笑，又把金镯头扔还给他，程道台想再和她调笑几句，但小婢已将窗子关上，还放下了珠帘，只听见从楼上传来娇媚的嬉笑声，听得程道台神魂颠倒。第二天傍晚，程道台又去了，听见帘内有人唱歌道：
郎有心，妾有心，心在冰壶冷处侵。空明无处寻。
程道台接下去唱道：
你也吟，我也吟，吟到斜阳欲堕林。光阴一寸金。
过了一会儿，月亮升起，忽然楼上的帘子卷了起来，放下了一条彩带，两三个美艳的婢女在窗口顺着彩带笑着朝下看。程道台心领神会，立即把带子缚在自己腰中，那些婢女争着把他拉了上去，快拉到窗口时，又故意手一松，把他放回地上。程道台在下面哀求说：“好丫头，你就可怜可怜我吧，别再恶作剧了。”婢女们笑着说：“他也真是太可怜了。”就将程道台拉进了闺房，小曼笑着走近他身边，和他倚偎在一起。看上去真像洁净的玉树靠在难看的芦苇旁边，好不协调的画面。程道台见小曼吹气如兰，顾盼妩媚含情，简直怀疑自己是不是在做梦，竟有如此艳福。随后丫鬟们摆上酒菜，小曼殷勤地斟酒夹菜，伺候周到。酒宴结束后，两人迫不及待地搂抱着进入帐中，正要脱下内衣时，富扶摇带着殊娘突然赶来。屋内已经听到了上楼时的脚步声。婢女匆忙传呼说主人来了，小曼赶紧把程道台藏到床底下。
殊娘上楼见桌上放着酒具，故意娇声责怪说：“这房里怎么有陌生人的气味？”叫富扶摇举着烛火搜寻，结果在床下把程道台搜了出来，大怒说：“好一个野汉子，竟然大胆跑到人家闺房中来了。”程道台赶紧磕头求饶，富扶摇更加怒气冲冲。殊娘说：“家眷中发生这样的丑事，可不能让她玷污了你的名声，不如把小曼卖了？”程道台马上情愿出三千两银子买下小曼，双方写下了文契，富扶摇这才同意了结此事。程道台从狗洞中爬了出来，把所带的资财全部耗尽。第二天早起，小曼乘坐一辆彩车来到程道台寓所，两人匆匆忙忙地一起逃走了。富扶摇不住地叹气说：“这三位美人还能再回来吗？”说着说着竟然流下了不舍的眼泪，殊娘看后笑着劝说。
这年冬天，有个姓客的扬州盐商，在乡里间嚣张跋扈，肆意妄为。听到富扶摇藏有美人，就带领几百个健壮的汉子假扮强盗，在深夜时分，每人脸上化了妆，手拿利刃，来到富扶摇家门前，点着火把，撬门进去，催命似的要主人赶紧出来。富扶摇赶紧带着殊娘、环璃登上楼阁躲避。又听这伙人叫道：“我们这次不为钱财，金银财帛山寨中有的是，请快将两名美人送给咱们，就饶你一命，不然的话，可别怪我们手下无情！”富扶摇听后吓得浑身发抖，面色苍白，殊娘悄悄地对丈夫说：“你暂且一个人过一段时间，我试试到他们那儿去联姻讲和，怎么样？但是你千万别抛弃了那幅画，以后把相思草烧着烟熏它，一定会有奇迹应验。”说完，就和环璃一起下楼对他们说：“我姐妹俩这就随你们回去，请不要再惊吓主人了。”这伙人果然簇拥着两位美人，喊叫着向东而去。
从此后富扶摇一人独居，虽然有其他美姬小婢，但终究不能断了对画上美人的思念。又过了一年多，仍然没有她们的消息。一次他记起殊娘临行时的话，就把绢画打开，取相思草烟熏。忽然绢画上隐约显出淡淡的墨痕，那些美人儿锁着双眉，含悲含恨的样子出现在画面上，富扶摇看后心中更加酸楚哀伤。又过了两天，五位美人都清晰地显露出来，再过两天，又都像活人一样生动。富扶摇把眼睛朝别处看了一看，再回过头来看时，只见画上五位美人不见了踪影。这时，门外车声隆隆，满耳是娇美的说笑声，原来是五位美人回来了。富扶摇赶紧奔出去看，只见五美人缓缓进屋，说：“郎君一定寂寞死了吧？我们回来了。”只见金城、小曼、意转空手而回，殊娘、环璃满载黄金而归，大约值五万两银子，都拿出来堆放在庭院里。富扶摇说：“能看到你们回来我已经很意外了，怎么又带回这么多钱来？”殊娘笑着说：“他们扮成强盗来，那我们也可以到他们家去做强盗，这也算相抵了。”一家子重新相聚，屋里又充满了欢声笑语。之后用钱大造园林、亭台楼阁，布局和李思训的山水画一样。此后富扶摇有财有美妇的名声被四处传播。有些富贵人家子弟和大商人都拿厚金来向富扶摇交换美人，他又像以前那样收钱送人，因为这些妻妾们最终还会回来，还能换得钱财。
后来富扶摇因打死了婢女，被判死刑。案子报上去，有位王爷的世子派太监来示意说，只要富扶摇愿意把那些美人献出，那么就可免除死刑。富扶摇本就被吓得不轻，就同意了。等到他从狱中释放回来，他的妻妾们都已进入了王府，从此爱人成为陌路之人，互不往来。但他仍幻想着有绢画在箱子里，她们还是会回来的。那婢女的姐姐对自己妹子被冤屈打死很是痛心，对富扶摇的狠毒之心憎恶不已，就暗中把绢画拿去烧了，这样一来，五个美人就再也回不来了。富扶摇又痛心又恼恨，就弃家云游泰山、华山等五岳，到仙人石镜边上一照，照见自己的前身原来是只乌龟精，不禁后悔说道：“我悔不该不听老和尚的话！”再去寻那老和尚时，他早已死去。富扶摇后来也老死了。当地人为他收尸盛殓入棺，埋在石下，墓表上写着“富君之墓”四个字。