第五百零二章 MIT还不错 (第1/2页)
周四上午，不到九点。
公司安排的大巴车开到海城博雅酒店，接上从京城过来的研究员们，一共二十多人，随后一起送往起源总部大楼。
不少在京城入职的研究员还是头一回来海城总部。韩路一便让行政安排人带他们参观了一圈，又把大家临时安置在产品团队附近的一间会议室里工作；周边的小会议室和开放交流区也一并开放，好让平时在线合作的同事抓住机会当面交流。
这些安排都是韩路一和苏念念商量后定下的。
给即将到访的三星考察团展现实力当然是最主要的目的，但借此机会团建一下，让研究院的同事们来总部感受企业文化、增强凝聚力，倒也不是坏事。
总裁办公室里，赵文渊摸着下巴问：“所以，韩总，只要咱们证明能给三星的大模型提升能力，他们就给咱们分产能？”
“我没这么说。这不是充分条件，而是必要条件——要是咱们连这个实力都展示不出来，那连谈的机会都没有。”韩路一答道。
“可大模型训练又不是现场找Bug，训练管线那么复杂，最后结果不收敛、模型能力弱，哪一层出错都有可能，我怎么可能保证现场就查出来？”赵文渊顿时觉得压力山大。
韩路一语气平静：“没事，我信任你。”
就算你看不出来，不是还有我吗？
我的意思是说，不是还有视哥吗？
赵文渊看着韩路一成竹在胸的样子，居然也镇定下来。行吧，既然你说行，那就行。
快到十点时，韩路一的手机收到朴在中的信息：“韩总，不好意思，海关慢了一些，我们很快就到。”
三星团队最终在十点十三分抵达。
韩路一、苏念念和赵文渊一起在会议室等着，其他源智研究员则在另一处待命，需要时再请进来讨论。
不一会儿，刘彧领着三星团队走进会议室。
打头的竟是一位年轻女性，还走在朴在中前面半个身位。
她身后跟着三个穿西装、背双肩电脑包的男人。
朴在中率先开口介绍：“韩总，这位是三星电子水原研究院的李珍珠组长。”
韩路一一边伸手，一边打量这位貌不惊人的姑娘。
心念一动，半透明的文字浮现在眼前。
【李珍珠·|】
【职位：水原研究院大语言模型组副组长】
【情绪：谨慎】
【隐藏情绪：焦虑】
【核心焦虑：急于向父亲李在荣证明自己的能力，战胜同为三星继承人的哥哥李智慧】
竟然是位重量级人物。
韩路一也没想到，会是三星的公主亲自来和他们谈；只可惜，这位公主眼下的处境似乎也不怎么样。
“李组长，你好。”韩路一伸手和她握了握，两边的人各自做了介绍。
三星代表团里，除李珍珠和翻译外，另外三位都是研发高斯大模型的骨干。想让他们信服，可不是件容易的事。
李珍珠不会说中文，身边带了翻译，朴在中也能转达一些意思。
简单寒暄后，李珍珠身后的一名研究员把电脑接上会议室屏幕。
第一页是高斯大模型的介绍。
韩路一扫了一眼：参数规模、支持语言、应用场景，还有一张相当漂亮的能力雷达图——肉眼可见比汤圆的测评数据缩水了一圈，可他们还是把雷达图画得很满。
这显然是三星对外发布用的材料。
李珍珠说了几句话，翻译随后转达：“我们希望先了解，贵方准备通过什么方式评估我们的模型，以及这次交流需要涉及多大范围的技术资料。”
苏念念笑着说：“今天的交流范围，以双方都方便提供的信息为准。涉及保密的部分，随时可以跳过。”
李珍珠点点头，又说了一句：“既然这样，我们带来了一些训练过程中遇到的问题，希望先听听赵博士的看法。”
赵文渊正了正身子：行，总算到正题了。
旁边的研究员切换文件，屏幕上出现几条训练曲线。
高斯的一个重要应用方向，是接入三星自己的手机、家电和办公体系。因此完成通用预训练后，他们还会追加大量韩语和企业应用相关数据，进行下一阶段训练。
可这造成了一个严重问题——模型的韩语表现提升了，英文、代码以及通用推理任务的成绩却不成比例地下降。
三星的模型团队总是难以在原有底座模型上实现净提升，放弃韩语能力又是他们不能接受的，于是最终发布的高斯模型只能在几种方案里选一个最能被接受的折中方案。
赵文渊看了一会儿，心里已经有了猜测。
这个问题，汤圆0.9训练时他几乎遇见过一模一样的情况：如何在不降低总体能力的前提下，侧重增强中文语料的比重？
赵文渊皱了皱眉，问：“你们的数据是怎么配的？”
几个研究员面面相觑，一时拿不准这算保密范围还是非保密范围，最后都把目光投向李珍珠。
李珍珠面无表情地点了点头。
操作电脑的研究员说道：“前期以英文和代码数据为主，建立通用能力。后期大幅提高韩语和企业领域数据的占比，通用数据只保留百分之五，因为我们希望把有限的训练预算集中在目标能力上。”
赵文渊眉头舒展开来：“那你们后半程应该很难受吧。刚切换数据时，韩语能力提升很快，通用能力也没明显退化；可往后就会顾此失彼、得不偿失。如果这时候再把学习率降下来，韩语能力又会退化，就像跷跷板，没办法两边同时提升。”
李珍珠却皱起了眉。
赵文渊说得太准确了，准确得就像他参与了训练过程一样。
“那该怎么解决？”李珍珠忍不住用英文问。
赵文渊看了她一眼，也直接用英文回答：“一开始就把通用数据占比提上来。这样前面几轮训练会有能力损失，但训练到后面，韩语能力和通用能力会同时提升。这里最关键的变量，其实是数据比例。”
（本章未完，请点击下一页继续阅读）