手动QA无法满足现代数据管道的规模——太慢、太贵、太脆弱。 @Hivemapper 最初建立了一个庞大的基于人工的地图QA数据平台,拥有超过20,000名人工编辑。我们在过去6个月内删除了该平台的85%,并用各种AI能力替代了它。 新AI平台有三个关键部分: 1. AI验证器 验证器负责确保速度限制、油价、垂直高度限制、道路宽度等数据的准确性。他们基本上是在给Bee做的作业打分,当Bee在捕捉速度限制时出现错误,比如将其记录为25 mph而不是35 mph时,它会进行纠正。这里运行了多个模型,所有模型都需要达成共识。在这里,大多数AI模型表现良好,我们甚至看到使用OpenAI和Phi的旧模型也有出色的表现。目前,我们不推荐Claude用于这些基于视觉的AI验证任务。 2. AI定位 这有点棘手,但基本上我们想确保物体的位置良好,标志与正确车道及正确方位角相关联。大多数基础AI模型尚未对三维空间有强烈的感知,但我们预计这很快会改变。 OpenAI的CPO Kevin Weil说:“你今天使用的AI模型是你余生中使用的最糟糕的AI模型。” 我们在这里的方法是捕捉明显的定位错误,我的意思是,路中间是否有速度限制,建筑物边界内是否有电线杆,停车标志是否与交叉口不对齐,等等。这里还有其他技术,我会留到另一个帖子中再说。 3. AI再训练 Bee正在边缘运行基于推理的AI模型来构建地图。然而,我们首先在云中训练这些模型,关键在于找到有趣的边缘案例,以减少未来的错误。例如,下面显示的55 mph速度限制标志附在卡车后面,并不是一个静态的速度限制标志。围绕这些物体的上下文告诉我们很多关于这些物体本身的信息,因此我们正在教Bee的AI模型理解这些上下文。从根本上说,你需要数亿公里的道路覆盖才能看到有意义的边缘案例。Hivemapper拥有这一点真是件好事。
2.91K