太阳已升起，可喜不见问罪的人来，他渐渐安了心。而回想女郎的声音容貌，恐惧转变为想念。这样度过了三天，常大用憔悴得要死。点着灯到半夜，仆人已经熟睡。那老妇人进来，拿个碗递给常大用，说：“我家葛巾娘子亲手调制了毒药，快喝！”常大用听了害怕，然后说：“我和小娘子，一向无怨无仇，为什么要逼我死？不过既然是娘子亲手调制，与其相思而病，不如服毒而死！”便仰起脖子喝光了。老妇笑着接过碗走了。常大用觉得药气芬芳清凉，好像不是毒药。一会儿觉得肺腑舒畅，头脑清爽，熟睡过去。醒来后，红日满窗。他试着起来，病已好了。他心中更相信这位葛巾娘子是神仙。由于无缘相见，只能在没人时，回忆着她曾经站过、坐过的地方，虔诚地跪拜，默默地祝祷。
一天，常大用向花圃走去，忽然在茂密的树丛中，迎面遇见葛巾娘子，幸好没有别人，他十分高兴，拜倒在地。葛巾娘子走近拉他，他忽然闻到她全身散发着奇特的香味，便用手握着她白玉似的手腕站起来，她的手指肌肤柔软细腻，使人的骨节都酥软了。正要说话，老妇人忽然来了。葛巾娘子叫常大用躲到石头后面，向南一指，说：“晚上用梯子越过墙头，四面红窗的，就是我的住所。”说完，她就匆匆忙忙地走了。常大用心中惆怅，魂魄飞散，没能弄清她往哪里去了。到晚上，他搬了梯子登上南面墙头，而那边墙下已有一把梯子，他高兴地下去，果见有红色的窗户。屋里传出棋子敲击的声音，他站定在那里不敢再往前走，只得暂时翻墙回去。一会儿，再过来，下棋的声音仍很密；渐渐走近窥看，见葛巾娘子与一个白衣美人相对下棋，老妇人也在座，一个丫鬟在侍候。常大用又退回来。一共来回三趟，已经到了三更时分。常大用趴在这一边的梯子上，听见那一边老妇出来说：“这梯子，谁放这儿的？”喊来丫鬟一起把梯子搬走。常大用登上墙头，想下那边去，没有搁脚处，又恼又闷地回来了。
第二天夜里，他再去，梯子已先摆好。幸好静悄悄的没人，走进屋子，葛巾娘子呆坐着，若有所思。她看见常大用，惊慌地站起来，侧身而立，面带羞涩。常大用作揖道：“我自认为福分浅薄，怕和您这样美丽的仙女没有缘分，不想也有今夜啊！”于是亲热地拥抱她。她的纤纤细腰，只有一把那么粗，呼出的气息芳香如兰。她挣扎着说：“怎么一下就这样！”常大用说：“好事多磨，迟了会遭鬼神嫉妒。”一言未了，远远听见人语声。葛巾娘子急忙说：“玉版妹子来了，你暂且躲到床下吧。”常大用照办了。
不多久，有个女子进来，笑道：“手下败将，还敢再对阵吗？我已煮了茶，来邀你去玩个通宵。”葛巾推说自己身体疲倦。玉版再三邀请，葛巾硬坐着不走。玉版说：“这么眷恋，难道藏有男子在房间里吗？”硬拉着她，出门去了。常大用匍匐着从床底下爬出来，懊恼极了，便翻遍枕席，希望找一件葛巾留下的东西。但室内并没有梳妆盒，只是床头有一柄水晶如意，上面系着紫色巾子，芳香洁净，十分可爱。常大用把它揣在怀里，翻墙回来。他整理自己的衣襟衣袖，葛巾身上的香气还留在上面，于是对她的倾慕更热切了。但因有了钻床底的受惊经历，心里有触犯法网的恐惧，想来想去不敢再去，只是珍藏着如意，等待葛巾来寻找。
隔了一晚，葛巾果然来了，笑着说：“我原以为你是个君子，而不知你竟然是盗贼。”常大用说：“确实如此！之所以偶然不做君子，只是希望能够如意。”于是把葛巾搂进怀里，替她解开裙结。她如玉的肌肤裸露出来，温热的芳香四处流溢，偎抱之间，常大用觉得她的鼻息、汗气，无不馨香。他于是说：“我原本就猜想你是仙人，现在才知道我猜对了。有幸承蒙你看得起，缘分一定在三世以前。只怕杜兰香下嫁，最终造成离别之恨。”葛巾笑道：“你的顾虑也太多了。我不过是个离魂倩女，偶为爱情所动罢了。
此事要小心保密，只怕播弄是非的嘴巴会捏造黑白，那时你不会长翅膀，我也不会凌云驾雾，那么迫于祸殃的分离比善始善终的分别更为惨痛。”常大用同意，便始终疑心她是仙人，一再询问她的姓氏。葛巾说：“既然说我是仙人，仙人又何必让姓名流传。”常大用问：“老妇人是什么人？”葛巾说：“她是桑姥姥。我幼时受她庇护，所以跟一般仆人们不一样。”她于是起身准备走，说：“我那里耳目很多，不能久留，瞅空我会再来。”临别索取如意，说：“这不是我的东西，是玉版留下的。”“玉版是谁？”“是我的妹妹。”常大用把藏起来的如意交给她，她就走了。她走后，被子枕头都留下一股奇异的香气。
从此葛巾隔两三晚就来一趟。常大用热恋着她，不再想回家。但钱袋已空，想把马卖掉。葛巾知道了，说：“你为我的缘故，倾尽钱囊，典当衣服，我很不忍心。如果再卖了坐骑，离家一千多里，你将来怎样回去？我私下有一点积蓄，可帮你支付用度。”常大用推辞说：“感激你的美意，拍着胸脯指着身躯发誓，都不足以报答你；现在却又贪婪鄙下，花你的钱，教我怎么做人呢！”葛巾再三勉强他，说：“暂且借给你吧。”便握着常大用的手臂，到一棵桑树下，指着一块石头，说：“翻过来！”常大用照办了。她又拔头上的簪子，向土里戳几十下，又说：“扒开。”常大用又照办了。埋瓮口已露出来。葛巾伸手进去，拿出白银近五十两；常大用抓着她手臂阻止，她不听，又拿出十来锭，常大用硬放回一半，然后掩埋好。
一天夜里，葛巾对常大用说：“近日略有流言，决不能任其发展，这事不能不预先商量一下。”常大用惊慌地说：“怎么办！小生一向拘谨，现在因为你，像寡妇失了贞操，自己再没主意了。全听你的吩咐，即使刀斧在前也顾不得了！”葛巾商议一起逃走，叫常大用先回家，约定在洛阳会面。常大用整装回乡，打算先回家然后迎接葛巾；及至到家，葛巾的车子正好已到门口。他们走上大厅，仆人拜见，邻居们惊讶地来道贺，而并不知道他们是偷着逃回来的。常大用提心吊胆；葛巾非常坦然，对他说：“先别说远隔千里，根本侦察不到这个地方，即使知道了，我是世家闺秀，卓王孙也对司马相如无可奈何。”
常大用的弟弟常大器，十七岁，葛巾看着他说：“弟弟有慧根，前程更胜过你。”常大器已定下日子结婚，未婚妻忽然夭折。葛巾说：“我妹妹玉版，你是曾见过的，相貌很不差，与弟弟年龄也相当，做夫妻可说是很好的一对。”常大用听了就笑了，打趣地请她做媒。葛巾说：“一定要她来，那也不难。”常大用高兴地说：“什么办法？”葛巾说：“妹妹和我最要好。只要用两匹马驾辆小车，请一个老妇人往来一趟就是了。”常大用担心前一件事一齐败露，不敢听从她的策划；葛巾再三说：“不碍事。”马上吩咐备车，派桑姥姥去。几天后车就到了曹州。快接近街口，桑姥姥下车，让车夫停在路上等着，自己乘夜进街坊去。过了好久，她同个女子来了，上车就出发。晚上睡在车里，五更继续走。葛巾算着日子，让常大器穿上盛装去迎接。迎了五十多里，才遇上，常大器亲自驾车回来；鼓乐奏起，花烛高照，拜了天地，成了婚礼。从此兄弟俩都得了美丽的媳妇，而家境又日益富裕。
一天，有强盗数十骑，闯进大院来。常大用知道出了事情，全家上了楼。强盗进来，围住楼房。常大用俯身问道：“有怨仇吗？”强盗答道：“没有仇。只有两件事相求：一是听说两位夫人是人世间找不到的美人，请让我们见见；一是我们五十八人，各乞讨银子五百两。”他们在楼下堆了柴，准备以放火相威胁。常大用答应他们索取金钱的请求；强盗不满意，要放火烧楼，家人非常恐慌。葛巾想同玉版下楼，大用阻止也不听。她们妆扮华丽地走下来，剩三级台阶没下到底，便对强盗说：“我们姐妹都是仙女，暂时来到人间，哪里害怕盗贼！我倒想赐你们万两银子，只怕你们不敢接受。”强盗们一齐向上膜拜，答道：“不敢”。姐妹俩准备退回楼上，一个强盗说：“此中有诈！”葛巾听到，回身站住，说：“想干什么，便早动手，现在还不晚。”强盗们面面相觑，默默无一言。姐妹俩从容上楼去了。强盗抬起头一直到看不见他们，才一哄而散。
两年后，姐妹各生下一个儿子，才渐渐谈起自己：“我姓魏，母亲封为曹国夫人。”常大用疑心曹州没有姓魏的世家，况且世家大族女儿失踪，怎会丢下不问？他不敢追问，但心里暗自奇怪。他便托故再到曹州，入境内访查，并没有姓魏的大户人家。他于是仍在先前的房东家借住。忽见墙上有赠曹国夫人诗，很感惊异，便问房东。房东一听就笑了，立即请他去看曹国夫人，到那儿一看，却是一株牡丹，跟房檐一样高。常大用问起名的缘由，房东说因此花为曹州第一，所以朋友们开玩笑封它的。常大用问是什么品种，房东说：“葛巾紫。”常大用心里越发惊骇，便怀疑葛巾是花妖。
回来后，常大用不敢直说，只是谈起那首赠曹国夫人诗来观察葛巾的反映。葛巾皱起眉头，变了脸色，快步出去，叫玉版抱孩子来，对常大用说：“三年前，我为你的情思所感动，便以身相报；现在我受到猜疑，哪能继续相聚！”于是与玉版都举起孩子远远地抛掷，孩子掉在地上就不见了。常大用正吃惊地看着，两个女郎也无影无踪。他非常悔恨。几天后，在孩子掉下的地方长出两株牡丹，一夜长大，当年就开花，一株紫一株白，花朵大如盘，比一般的葛巾、玉版花瓣更为繁密细碎。几年后，浓荫茂密，长成树丛；分株移种别处，又变出不同的品种，没人能知道名称。从此牡丹之盛，洛阳是天下无双了。
异史氏说：“心怀专一，鬼神可通，那翩翩摇曳的也不能说是无情之物啊。白居易感到寂寞，还以花当作夫人，只要真能体会人的感情，又何必费力追究她的来历呢？可惜常大用不够旷达啊！”
