我同事老周,上个月刚把公司客服系统换成大模型。
折腾了三天,最后跑来问我一句话:到底选开源的还是闭源的?
他不是技术出身,就看两样东西,一是好不好用,二是一个月花多少钱。
我给他算了一笔账,他愣了半天。

先说个反常识的
很多人以为开源的就是免费的。
真不是。
开源模型本身不要钱,但你要把它跑起来,得有显卡。一张能跑得动的卡,便宜的几万,贵的几十万。
老周当时想省事,说我自己搭一个。我说你等等,先看看你一个月要用多少量。
他算了下,客服一天咨询两千次左右,一个月六万次。
这个量,自己买卡跑,前期投入起码十几万,还得有人会调。电费一年下来也不是小钱。
换成闭源,按调用量付费,六万次大概几百块。
他当场就不吭声了。

那开源到底图什么
图的是三件事。
第一件,数据不出门。
有些行业,客户资料不能往外传。你把这些东西发给别人的服务器,心里是打鼓的。开源模型部署在自己机器上,数据在自己手里。
我另一个做医疗的朋友,就因为这条,只能选开源。
第二件,能改。
业务有特殊需求,开源模型可以自己调、自己训。闭源模型你只能等官方更新,人家不改你就干瞪眼。
第三件,量大到一定程度,自己跑反而便宜。
一个月调用几百万次、上千万次的公司,闭源账单会烧得心疼。这时候自己搭一套,长期看更划算。

闭源强在哪
最大的好处,是真省心。
你不用管服务器,不用管显卡够不够,不用担心半夜崩了。付钱,调接口,用就行。
对于绝大多数中小公司,这就够了。
还有一点,头部闭源模型的效果,目前确实还是稳的。写文案、做总结、答问题,它掉链子的概率更低。
老周最后选的就是闭源。
理由特别朴素:他没技术团队,出问题没人兜底。

普通人怎么选
这里说的普通人,就是像老周这样,不懂技术、想用起来的人。
给你一个特别简单的判断方法,就问三个问题。
第一,你的数据能往外发吗?
不能,就选开源,自己搭。能,往下看。
第二,你有技术人手吗?
没有,优先闭源。有,可以两边都试试。
第三,你一个月大概用多少次?
几千次到几万次,闭源便宜又省事。几十万次往上,可以算算自己搭的成本。

还有个小技巧,很多人不知道。
你可以先拿闭源跑一段时间,看看真实效果和用量。
用顺了,用量上来了,再考虑迁到开源。
反过来也行,先用开源试水,跑不动了再切回闭源。
模型这东西不是结婚,不用一步到位。能换。

最后说句实在的
开源和闭源,本质上不是好和坏的区别。
是你自己什么条件,配什么选择。
有技术、有数据顾虑、用量大,开源更合适。
缺人手、想快点用上、量又不大,闭源反而是省钱的那个。
最怕的是,什么条件都不看,听别人说开源好就冲,结果卡在部署上三个月。
或者听人说闭源贵,硬要自己搭,最后花的比省的多。
老周现在用得好好的。上礼拜还跟我说,幸亏没逞能自己搭。
他这种人,认怂认得挺对。
