gpt2有307200个神经元 15亿参数
据此推测,gpt3有1750亿参数 难道有3584万神经元?
这么多神经元就这么厉害了,怪不得那些蜜蜂、鸟类这么聪明,几亿神经元够够了。
像OthersideAI的CEO Matt Shumer,就试用了一下网页端的Claude-100k总结技术报告的效果。他先测了波Claude-9k的效果,发现它面对长达上百页的GPT-4技术报告,还是会出现“幻觉”;随后测试新版Claude-100k,发现它给出了有理有据的估计:GPT-4的参数量级大约在5000亿左右!
就以5000亿左右估计,难道GPT4有1.024亿个神经元?