项目地址:https://docs.google.com/document/d/1irisz6f1G4oYaKojqwuU9rSDBV1-VaCh0VkeuIX0sfs/edit?pli=1
正如我们在文章《达播、店播双爆发,淘宝开始两条腿走路》中所说,淘宝多年积累的消费心智,让不少品牌相信“淘宝天猫是品牌的终点”,淘宝独有的以店铺为核心的商家经营体系,以及淘宝内容化带来的流量增量,则让淘宝店播仍然有着相当的红利可以挖掘。
该方法利用专有的大型语言模型在约100种语言的文本嵌入任务中生成了各种合成数据。与复杂的预训练阶段不同,该方法使用基本的对比损失函数,将开源的仅解码的大型语言模型在生成的合成数据上进行微调。
我认为升级到GPT-4可能会有所帮助,虽然它确实提供了略微改进的结果,但仍然无法创建一个完全功能的应用程序。因此,虽然GPT-engineer显示出一些希望,但可以说它还不能完全处理严肃的编码任务。
BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型,具备更好的性能和商用能力。BakLLaVA在多个基准测试中优于LLaVA213B,并且可以在某些数据上进行微调和推理。虽然BakLLaVA在训练过程中使用了LLaVA的语料库,不允许商用,但BakLLaVA2则采用了更大的数据集和更新的架构,超越了当前的LLaVA方法,具备商用能力。