AI目前发展最大的瓶颈是什么?目前普遍认识到的:
1. 算力
2. 电
这些供应短时间内很紧张,但是已经有资本和人在努力做了。相信不久的将来肯定会供应满足需求。
除此以外,另一个可能的瓶颈在于,可供训练的高质量文本。已知的人类文本数据基本都被训练遍了。从第一性原理出发,没有更多更好的数据,就很难有更好的模型。
要么我们会见到模型能力停滞不前,要么我们需要改变目前以词元token为基础的模型架构。
1. 算力
2. 电
这些供应短时间内很紧张,但是已经有资本和人在努力做了。相信不久的将来肯定会供应满足需求。
除此以外,另一个可能的瓶颈在于,可供训练的高质量文本。已知的人类文本数据基本都被训练遍了。从第一性原理出发,没有更多更好的数据,就很难有更好的模型。
要么我们会见到模型能力停滞不前,要么我们需要改变目前以词元token为基础的模型架构。