北京、上海、武汉、广州等各大城市都掀起了抵制日货运动。就连海外华侨也发起了反日救国运动。反日运动和抵制日货的爱国行动规模越来越大，甚至袁世凯的死对头国民党中也有人呼吁暂时停止反袁活动，让袁可以专心对付日本，黄兴、李烈钧、柏文蔚等联衔发表通电，表示在袁和日本交涉期间不予于扰。而欧事研究会的林虎、熊克武、李根源等亦发表通电，附和黄等主张，电云：“吾人第一主见乃先国家而后政治，先政治而后党派，国苟不存，政于何有？政苟有成，何分于党。故吾人之对政府有恶于其人而有不足于其政，虽欲大革其政而不敢有违于国也”。
日方对抵制日货极为不满，向中国提出抗议，袁政府多次通令禁止抵制日货，控制范围，约束行动。
日本公使日置益听到外长孙宝琦辞职，非常气愤，立刻来向袁世凯抗议，日置益说：“敝国刚递要求书，中国便换外长，分明是毫无诚意，日本政府深为遗憾”。袁世凯不紧不慢地回答：“贵公使的看法适得其反，中国换外长，正是表示诚意。何况新任外交总长做事素有耐心，必能一心一意和贵国谈判，如不相信，请你去问问别国公使吧”。日使就去问英国公使朱尔典，朱尔典回答说陆很好。将信将疑的日置益只得电告东京，说中国换外长，实在是好意的表示。
陆征祥接任外交总长后的第二天，就接见日置益，两人进行了一次谈话。
日置益说：“久闻总长大名，知道总长是一位着名的外交家，这次能和总长谈判中日问题，深感荣幸”。
陆征祥说：“本人当尽力而为。请问贵公使愿意何时开始举行讨论，我们现在就订下日期好不好？”
日：“我想着总长定日期好了”。
陆：“贵使既奉政府命令，当然以早开谈判为佳，那么明天就开好了”。
日：“可不可以容许我提出一点意见？”
陆：“当然可以，当然可以”。
日：“本人希望谈判每天开会，星期日也要开，以赶快解决为原则”。
陆：“每天开会是可以的，不过星期天要开，外交习惯上没有这个成例，似可不必。还有一层，虽然每天开会，不过我身为外交总长，不能把其他正式约会通通取消，因此每天上午必需腾出时间，接见宾客，所以会议只能在每天下午举行”。
日：“可以”。
陆：“那么规定每天午后5点钟开会好了”。
日：“5点太晚了，最好下午两点开始，夜间也必须继续开下去”。
陆：“两点钟开不成问题，不过夜间继续开会，我身体太坏；拖一个星期，我必须辞职了”。
日：“我们确定何时开会呢？”
陆答道：“决定2月2日下午3时举行会谈如何？”
日置益：“好吧，就决定这个日期好了。今天和总长的会晤。非常荣幸，希望由这个好的开始，我们可以有好的结果”。
陆答：“我一切当尽力为之”。
谈话中，日置益十分霸道，一个公使对驻在国的外长，竟然以蛮横的态度安排会谈时间，而陆征祥绵里藏针，巧妙地延缓日方速战速决的企图。
正式谈判是在举国声讨的浪潮中开始的，因此，第一次谈判是在十分秘密的情况下偷偷摸摸进行的。
一月下旬，双方的第一次会谈在外交部大楼进行。
中方出席的是外交总长陆征祥和次长曹汝霖等。
日本出席的是公使日置益和参赞小幡酉吉等。
会谈先由日置益致辞，他假惺惺地说：“敝国政府向贵国政府提出解决两国纠纷的文件，其用意是敦睦中日两国的亲善关系”。
接着由陆征祥致辞：“贵公使所说的我能了解，对于贵国是否因欧战，或因国内总选而向敝国提出这个文件，在本总长看来，颇为感触，亲善二字是本总长素来所主张的外交原则，也是所努力的目标，本总长在欧洲20多年，盱衡时局，认为在亚洲的中日两国必须携手成为兄弟之邦，中国今日许多事务都应向日本学习，因此和日本亲善，在中国政府和国民来说，都是最希望的。不过亲善要公正和公平，处处可讲亲善，却不必在此时提出条件才得谓之亲善。何况我们面前的这份条件中有悬案、有新案。请想想，悬而未解的事件，以贵我两国地理之邻近，过从的密切，随时随地都可以商讨，当贵国伊集公使驻华时代，所有长崎至上海之海底电线问题，及南满铁路通过敝国国境三分减一纳税问题，本总长当时悉本亲善之意，与之解决。而本人前在国务总理任内，曾聘请贵国有贺博士为顾问，交通部亦聘请平井博士为顾问。若细如研究，在贵国政府实无不可以达到目的，在中国政府亦从未过于拒绝，随时均可以商办，初非待提出许多条件，始得达到贵公使所说的亲善之目的”。
中日双方的谈判策略正好相反，日本打算速战速决，希望结束谈判，怕消息泄露出去引起列强的干预；中国则是采用缓兵之计，希望拖延时间，寻求国际间的帮助，以期有所转机。
因此，中国方面按照袁世凯定下的方案，主张就日方五号条款逐条讨论，陆征祥并提出第一号第一条修正案，坚持要加以讨论，可是日置益却坚持中国政府对日方全部要求先表示一个原则意见。
陆：“关于第一条的讨论，贵公使如果同意，再逐次讨论下条；否则一条未了，又提一条，或因次条意见不合牵及前条，反于进行有碍”。
日：“本人主张按号按条先询贵国意见，然后再逐条讨论”。
陆：“这一层要请贵公使原谅，本总长于1月28日到任，29日拜外交团，30日始行视事，时间如此匆迫，对于贵国条款内容还未详加研究，最好再缓一个星期，待我全部研究后，再行奉告，可否延至下星期二再开会？”
日：“此件之内容贵总长早已研究过，本人奉政府训令，须每日开会，惟贵总长到任未久，亦是实在情形，仍盼阁下从速研究，俾能加速进行”。
日：“今天下午3点钟起到6点钟止，耗去了整整3个小时，毫未谈出什么结果，本案何时可了，殊难悬揣。贵总长倘要对文书内容详细加以研究，可否在迅速研究后，决定每日开会。至于开会时间，则由贵总长自定好了”。
陆：“每日开会是可以的，但外交部每逢星期三是接见外宾期，本人难以分身；何况本人体力很弱，事实上难以照办”。
第一次会议就此结束。陆征祥按照袁世凯的指示，以各种借口挫败日置益想加速谈判的计划。
在进行的过程中，日本对中国进行武力威胁，还用各种卑劣的手段对付中国，像收买各国记者，散布中德友好、中国即将加入同盟国等等假消息，离间中国和协约国的关系；收买奸细，利用外交人员的身份窃取中国情报，进行各项间谍活动。
中国的对策是缓兵之计，延宕谈判时间，争取美国、英国的帮助。
从2月2日至4月17日，中日两国共开会议25次。2月9日中国提修正案，对第一、第二、第三号进行修正，第五号碍难商议，日方则强迫中国全部接受，不放松半步。
当会谈陷入僵局的时候，袁世凯又使出离间计。据曹汝霖所写的《我与二十一条》记载：
“余以会议僵持已久，终须设法打开，遂向总统建议，请密遣公府顾问有贺长雄博士，回国向日本元老疏通。总统问：“此着有效否？”余答，有贺博士在日本不但学者地位很高，他在明治初年设元老院时即是元老院的干事，与陆奥宗光(甲午中日之战后与李鸿章在马关议和时的日本外相)同事，故于元老方面，颇有渊源。日本政府对于元老很为尊重，元老都是持重有远见之人，若告以第5项条件不但于两国不利，且易引起人民仇日之心。我曾与有贺谈过此次交涉情形，他亦很以为然。请总统召见有贺，假以词色，恳切相托，他必肯效力。总统遂特召有贺进府，告以此次日本提出的觉书，由外交部总、次长尽最大之努力，以副日本之愿望。今日置公使又要求商议日本希望条件之第5项，实在令我为难，请回国向元老详细说明，请其谅解，顾全两国之友谊。君必能谅解我意，及政府为难情形，务请善为详辞。有贺果然自告奋，愿回国尽力向元老报告，力说利害。
时日本元老以松方正义侯最关心中国情形，有贺向松方侯陈说此次中国政府已尽力商结日本觉书之各条，日置公使又要商议希望条件之第5项，未免逼人太甚，难怪中国政府为难不肯商议。松方侯听到第5项，似未知道，又听有贺报告第5项内容，面现诧异之色，随即召加藤外相，诘问他觉书中有第5项，何以没有报告？加藤说，这是希望条件。松方即说，既然只是希望条件，对方不愿开议，即不应强逼开议，设若交涉决裂，你将何以处置？加藤答，不惜使用武力，不出3个月中国可完全征服。松方笑说，莫要把中国看得太轻，若用武力，恐3年未必成功，遑说3月，应速自行善处(日本对善处之话，意颇严重)。加藤知是有贺进言，遂令监视有贺，不许行动，幸有贺已完全报告矣”。
离间计果然收效，由于日本国内的元老出面责难，日本方面最终主动撤回觉书中最严重的第5项条款。
在谈判桌上与日方周旋的同时，袁政府也做好了最坏的打算，陆军总长段祺瑞主张坚决拒绝“二十一条”，段祺瑞已经做好了日本开战的准备。他暗地里进行秘密动员全面备战，在签订条约前的一个月里，每天晚上彻夜不停地运输军事物资。
中方于5月1日提出了一项最后修正案，静待日方答复。
5月7日下午3时，日本突然向袁政府提出了最后通牒，限定中国政府于5月9日午后6时前，对日本所提的修正案，作满意的答复，这个着名的最后通牒最后部分全文如下：
“帝国政府因鉴于中国政府如此之态度，虽深惜几再无继续协商之余地，然终眷眷于维持极东和平之局面，务冀圆满结束此交涉，以避时局之纠纷。于忍无可忍之中，更酌量邻邦政府之情意，将帝国政府前次提出之修正案中之第五号各项，除关于福建省互换公文一事业经两国政府代表协定外，其他5项可承认与此次交涉脱离，日后另行协商。因此中国政府亦应谅帝国政府之谊，将其他各项，即第一号、第二号、第三号、第四号之各项，及至第5项关于福建省公文互换文件，照4月26日提出之修正案所记载者，不加以任何之更改，速行应诺。帝国政府兹再重行劝告，期望中国政府至5月9日午后6时为止，为满足之答复，如到期不受到满足之答复，则帝国政府将执认为必要之手段，合并声明……”
中国外交部接到日本最后通牒后，立即报告袁，袁于下午5时召集各政界领袖会议，除陆军总长段祺瑞外，其余均主张和平。8日上午10时袁世凯在总统府召开紧急会议，下午1时又继续开会，召集副总统黎元洪、国务卿徐世昌、政府的总长、各院院长、参政院议长等政府要员开全体大会讨论是否接受日本的最后通牒。
但是谈判的关键人物外交总长陆征祥却迟迟未到，用电话催了好几次，陆征祥说正在和英国公使朱尔典会晤，一直等了半个小时，陆征祥才赶到，陆征祥一到会场就报告了和朱尔典特别会晤的经过：
朱尔典说：“今日大会，关系重大，我因为关心，特地在会前来见。日本因各国忙于欧战，无暇东顾，提出最后通牒，意在挑衅，看起来并非恫吓，袁总统明白内外情势，不至中他诡计。听说陆军总长段祺瑞主张强硬对待，我知他已秘密动员，晚间运输彻夜不停，已3星期，这明明是在备战，假如战端一开，后果不堪设想。我和袁总统是30年的老朋友，不愿见他遭此惨运。从目前局势来看只能暂时忍辱，只要力图自强，埋头苦干，10年之后，中国就可和日本一决高下。今天的会议，重在外交，贵总长应负起责任力争，不能让段祺瑞总长的轻率之行动占上风。我这次与贵总长会晤，可不比寻常会晤，贵总长若不与我以确实答复，我不告辞”。朱尔典说完声泪俱下。陆征祥回答说今天的会议，由总统亲自主持，一定能慎重从事。朱尔典又重申前言，相持很久。陆征祥见他坚定诚恳，于是就答应他说：“我必以贵使之忠告，报告总统与大会，若不照贵使之忠告，我一定提出辞职力争”。听到陆征祥的这番话，朱尔典才告辞而去。
袁世凯听了陆征祥的报告，于是郑重发言，他说朱尔典的这番话也是为中国的前途着想。日本这次提出的觉书，附了第五项各条，真是亡国的条约。外交部历时4个月，会谈30余次，尽了最大的努力，避重就轻，二十一条中议决者不满十条，当场就坚决拒绝开议第5项。外交部恪守自己的指示，坚拒到底，已能尽其责任，使日本最后通牒中，已将第5项自行撤回，挽救不少。只是最后通牒之答复，除了“是”或“否”别无他途，自己受国民的重托，度德量力，不敢冒昧从事，愿听诸君之意见。
段祺瑞当即表示反对：说这样迁就，怎么能立国？宁为玉碎，不为瓦全。
袁世凯回答说：“段总长说的当然是正理，但是也应当审时度势，量力而行，假如第5项不撤回，他也和段祺瑞持同样的立场。现在第5项既已撤回，议决的各项条约，虽有损国家利益，还不算是亡国条件；只是希望大家记住这次承认是屈于最后通牒，应当记住这个奇耻大辱，从此各尽各职，力图自强。日后也许可以奋发图强，像朱尔典所说的。如果时过境迁就把这件事抛诸脑后，不思振作，那么已经亡国的朝鲜就是前车之鉴，我固然责无旁贷，诸君也有责任。”
段祺瑞依然表示反对，认为民国刚刚建立，即承认此案，倘列强效仿，如何应付？袁世凯又将局势分析说明。说他自己也不愿意屈辱承认。但是比较两国的实力，不得不委曲求全，段祺瑞于是不再言语，会议宣告结束。
也许人们会认为袁世凯和段祺瑞在会议上的争议是表演给外人看，以此推卸责任，但是当时段祺瑞任陆军总长日久，渐成尾大不掉之势，袁、段早已失和，所以他们的争论应是真实的。
日置益得到中国正式复文后，便电奏日本天皇，报告兵不血刃而在外交上获到辉煌的胜利，向天皇祝贺。
5月10日，日置益公使来中国外交部，代表日本政府申明答谢。11日，日使馆照会中国外交部，送来公文4件，(一)日本政府所交之条款；(二)会议后中国回答原案；(三)第二次之修正案；(四)中国第二次回答原案。同时约定14日在迎宾馆正式会晤。
5月25日，袁政府与日本正式签订了这个条约后，袁世凯通电各省文武长官说：
“日本既有让步，无损中国主权，故决定由外交部即日答复。此案已结，中外敦睦，希饬属晓谕通知”。
同时袁亲写了两道密谕，告诫各省文武长官，不要忘记5月9日这个奇耻大辱的日子。袁又授意丁佛言撰写《中日交涉失败史》一书，印子5万册，秘密寄存山东模范监狱中，他咬着牙说：“这一次我们吃了一个大亏，将来有一天我们翻了身，这部书就可以公开发行了”。
袁并有密谕给各省的文武长官，全文如下：
