那顿饭约在一家不太起眼的私房菜馆,离园区不远,胜在清静。
包间里坐了七八个人,年纪相仿,大多三十出头,有的已经是大厂里一个模块的负责人,有的还在技术线上,但都算得上是这几年被行业推着往前走的一批人。彼此熟识,说话也没什么铺垫。
菜刚上两道,话题就已经自然拐到了工作上。
马克把刚喝完一口的酒杯放下,说得很随意:“最近在做训练的时候,老是感觉有点卡。你们有没有这种情况?”
有人抬头看他一眼:“哪方面?”
“数据。”他说,“更准确地说,是数据标注。”
桌上安静了一下。
这不是一个新问题,但在这个阶段被提出来,又显得有点扎手。
“你们体量不小吧?”一个在大厂负责算法平台的师兄皱了下眉,“还会缺数据?标注不行的话,不是应该从原始数据再扩一轮吗?”
“不缺量。”马克说,“缺能用的。”
他说得不多,但在场的人都听懂了。
马克说得很克制,“我们现在很多模型,出现的问题是决策边界学不干净,误差分布始终无法收敛,越往后面的样本问题越明显。常规样本还能接受,但长尾场景的准确率一直提不上来。不是算法问题,是数据质量跟不上。”
另一个人接过话:“我们也一样。标注成本越来越高,人效却在掉。尤其是一些复杂场景,标一轮不行,还得返工。”
“返工太正常了。”有人苦笑,“标注团队不理解业务,业务又嫌他们慢,最后就是反复拉扯。”
江豆豆一直没说话,低头夹菜,听到这里,终于忍不住插了一句。
“你们站在上面看,可能还觉得是效率问题。”他放下筷子,“在执行层,其实更像是消耗战。”
几个人都看向他。
“需求一变,标注规则就得重写。”他说,“上周刚定的标准,这周模型反馈不行,又要推翻。标注的人根本不知道你们最终要什么,只能照着文档机械地做。”
他想了一下,语气里有点无奈:“而且说实话,真正懂模型逻辑的人,不会去做标注;真正做标注的人,又很难被培训到理解模型。中间那一段,全靠反复试错来填补。”
桌上的人都点了点头。
这是他们心里都清楚,却很少在正式会议上摊开说的现实。
“那现在市面上,有没有好用的第三方?”马克问。
有人摇头:“要么是传统外包,规模大,但不灵活;要么是小团队,懂一点技术,但扛不住量。”
“而且大家都在赌。”负责另一家公司的中层说,“赌客户能忍,赌模型下一轮能自己收敛。”
负责市场部分的周霖一直靠在椅背上听,直到这时,才慢慢开口。
“从市场角度看,”他说,“需求是明确存在的,但现在的问题是——没人能给出一个‘稳定解’。”
“稳定、可扩展、能跟着模型迭代走。”他一条条数,“这三点同时满足的,几乎没有。”
他看向马克:“如果真有一家,能把这一块当成产品来做,而不是当成低端外包,市场是愿意买单的。”
马克没接话,只是点了点头。
这不是他第一次听到类似的判断。