伦琴出生在德国鲁尔河流域莱纳普的一个商人家庭里，小时候在荷兰的外祖母家长大。他的父母希望他能好好学习，长大了做个水利工程师。伦琴的学习成绩倒是不错，但他很顽皮，总喜欢鼓捣点儿什么。上初中的时候，学校认为他不尊重师长，开除了他的学籍，没有中学毕业证就上不了大学，他只好进了一家技术学校。几经挫折和努力，伦琴终于以优异的成绩考取了苏黎世学院，成为机械工程系的学生。
1868年，伦琴取得了机械工程师的毕业文凭，第二年又取得了哲学博士学位，当上了物理学教授孔脱的助教。在苏黎世学院读书时，孔脱就曾劝过他放弃技术职业，专门从事纯科学研究。伦琴把这个劝告牢牢地记在心上，开始了他在科学道路上坚韧不拔的跋涉。
然而，他的科学之旅从一开始就不顺利。他跟随孔脱来到维尔茨堡大学，因为他学历不够，人家拒绝给他任何职位。孔脱又到了施特拉斯堡大学，伦琴才在那里谋到了一个物理专业学校讲师的职位。经过20年的努力拼搏，他才重新回到维尔茨堡大学，并成为这所大学的校长。
1895年11月8日，伦琴像平时一样一个人走进实验室里，准备做放电实验。伦琴有个习惯，做实验时喜欢一个人干，经常连助手都不要。他把窗帘挡上，房间里立刻变得暗下来。接着，他把一只放电管用黑纸严严实实地包裹起来，接通感应圈。一切都很正常。突然，伦琴的眼前似乎闪过一丝微绿色的荧光，这使他感到很纳闷：放电管是用黑纸包着的，荧光屏还没有打开，怎么会有荧光呢？
伦琴以为那是自己的错觉，便重新做放电实验，荧光又出现了。这是怎么回事呢？伦琴擦亮了一根火柴，一眼就看离工作台一米远处立着一个亚铂氰化钡小屏，荧光就是从那里发出来的。放电管阴极发出的射线是不能通过数厘米厚的空气的，怎么能使一米远处的荧光屏闪光呢？莫非是一种未发现的新射线？伦琴的心头涌起了更多的疑问。
伦琴托起荧光屏，一前一后地挪动位置，可是那一丝绿光总也不消失。看来，这种射线的穿透能力很强，与距离没有多大关系。除了空气之外，它还能不能穿透其他物质呢？他试着用书、薄铝片挡住射线，荧光屏上照样出现亮光。当他用一张薄铅片挡住射线时，亮光没了。
第二天，伦琴又一头扎进实验室，一呆就是大半天。
妻子贝尔格想知道丈夫在忙些什么，就偷偷地溜了进来，伦琴没有赶她走，还破天荒地邀请她协助做实验。突然，贝尔格喊了起来：“妖魔！妖魔！你的实验室里出了妖魔！”
“贝尔格，你冷静点儿！我就在你跟前，别怕，你刚才看见什么了？”伦琴问道。
“太可怕了！刚才我看见我的两只手只剩下几根骨头了！”
伦琴按捺住心头的惊喜，一边安慰妻子不要慌，一边把自己的手伸到屏幕上。“妖魔”又显形了，屏幕上出现了五根指骨的影子。伦琴取出一个装有照相底板的暗盒，让贝尔格将一只手平放在上面，再用放电管对准，照射了15分钟。当照相底片从显影液里捞出来后，伦琴看到了一张前所未有的照片，人的手部骨骼清晰可见。
1895年12月28日，伦琴用《一种新的射线——初步报告》这个题目，向维尔茨堡物理学医学协会做了报告，宣布他发现了一种新射线，因为对这种射线还不了解，所以伦琴给它取名为“X射线”。这一发现立即引起了强烈的反响，欧洲很多国家的报纸争先做了报道，伦琴那篇论文被译成英、法、意、俄等国文字，在三个月内就印刷了五次。据统计，仅1896年一年，世界各国发表的有关论文就有1000多篇，有关的小册子多达50种。
在发现了X射线后的几个月中，伦琴收到了来自世界各地的很多讲学邀请，但是都被他谢绝了，因为他要继续进行他的研究，没有时间做报告或做表演。他唯一无法回绝的是威廉皇帝的邀请。1896年1月13日，他应召来到柏林皇宫，当着皇帝和王公大臣们的面，演示了他发现的X射线。事后，他与皇帝一同进餐，还接受了一枚王冠勋章。
1896年1月23日，伦琴在自己的研究所中做了一次报告，介绍他发现的神秘的射线。消息不胫而走，报告会还没有开始，会场里已经坐满了医生、学者、工程师、企业主、记者、摄影师和艺术家，过道上、窗台上挤满了大学生。
伦琴开始演讲。他先向与会者介绍了发现X射线的过程，然后把着名解剖学家凯利凯尔教授请到工作台前来，由他协助来当众演示X射线的功能。
“请把您的右手放到感光板上。”伦琴对凯利凯尔教授说道。
凯利凯尔教授用手遮住了暗匣中的感光板，瓦格涅尔工程师负责将四周的光遮住。当瓦格涅尔把显影后的感光板取出后，伦琴立刻把它展示给大家看。人们看到了一只手的骨骼图象。经过短暂的沉寂，在场的人们才从惊奇中清醒过来，兴奋地发出一阵阵欢呼声。
凯利凯尔教授转过身来，面对着欢呼的人群说：“先生们！本人有生以来，还从未见过这样的奇迹。请允许我建议，今后就将X射线定名为伦琴射线，以此来表示对科学家伦琴教授伟大劳动的由衷谢意！”
凯利凯尔带头向伦琴鼓了三次掌。伦琴还想说些什么话，但没有人听得见，他的声音完全被巨大的欢呼声浪吞没了。
X射线发现后，柏林通用电气协会立即意识到它的商业价值，愿意出高价换取它的专利权，却遭到了伦琴的拒绝。他这样说道：“我知道，我会因此而发财致富，但是我并不准备拍卖这一发现。”
一位企业家困惑不解地摇头说：“这我可就不懂了，为什么您不想以此来赚钱呢？我愿意出50万！”
伦琴淡然一笑答道：“哪怕是一千万，我也不会答应。我的发现属于所有的人。但愿我的这一发现能被全世界科学家所利用。这样，它就会更好地服务于全人类。”
