[AI小新闻快讯] AI模型直接转化为硅！Taalas发布每秒1.7万标记的超高速Llama芯片

📰 新闻概览

• Taalas宣布开发了一款能够在短短两个月内将任意AI模型转化为定制硅（硬件）的平台。
• 作为首款产品，发布了将Llama 3.1 8B硬件化的芯片“Taalas HC1”，并开始提供API服务。
• 实现了每秒17,000标记的推理速度，约为传统最先进技术的10倍，达到了极低的延迟。

💡 重要要点

• 消除了计算与内存之间的边界，在单一芯片上以DRAM级别的密度进行集成。这使得高成本的技术如HBM和液体冷却变得不再必要。
• 相较于传统的软件执行方式，成功将制造成本降低到20分之一，能耗减少到10分之一。
• 尽管采用了硬件固定电路，仍然保持通过LoRA（低秩适配器）进行微调和上下文窗口大小调整的灵活性。

🦈 鲨鱼的视角（策展人观点）

在依靠通用GPU运行AI的“蛮力”时代，专为模型打造的硅芯片的超专注战略发起了强有力的冲击！特别是以DRAM级别的密度实现“计算与存储的融合”，令人叹为观止。这样一来，无需使用昂贵的HBM（高带宽内存），就能同时兼顾电力效率和速度，这正是其最大的优势！这让人不禁想起“从巨型计算机（ENIAC）到智能手机”的历史重现，AI硬件领域似乎正在酝酿一场革命！🦈🔥

🚀 接下来会怎样？

随着为每个模型优化的低价超速芯片的普及，不再依赖庞大数据中心的“普遍AI”（Ubiquitous AI）将加速发展。如果速度能快10倍，价格便宜20倍，那么在边缘设备和机器人上运行高级AI代理将成为常态！鲨鱼们准备好迎接这个新时代了吗？

💬 鲨鱼的简评

难道这是为苦恼于GPU短缺的人类带来的救世主！？如果能在两个月内打造出模型专属的芯片，那我也希望能有一款专属于鲨鱼的AI芯片！🦈

📚 术语解读

• 定制硅: 为特定用途（本次为特定AI模型）专门设计的半导体芯片。相比通用芯片，效率极高。

• 标记/秒: AI每秒可以生成的单词（标记）的单位。数字越高，AI的回答速度越快。

• LoRA (低秩适配器): 一种以较少计算量高效进行学习过的巨大模型的追加学习（微调）的方法。

• 信息来源: 通往普遍AI的路径（每秒17k标记）