学习资料 全部文章

该ML系统教育项目整合教科书、TinyTorch、MLSys·im、硬件套件与教学资源，构建从阅读到部署的学习闭环，旨在弥合AI构建与工程化落地差距，dev分支正拆分两卷内容，并通过分层许可支持教学、开源与受限商用。

AdaCoM用外部小型LLM为冻结Agent学习上下文删改、合并与压缩策略，缓解长任务中的上下文退化，无需训练闭源Agent；实验显示网页搜索平均相对提升39.0%，深度研究中Kimi、DeepSeek分别提升9.0%和22.3%，核心结论是强Agent适合保留较长高保真上下文，弱Agent需激进压缩，且策略可在能力相近Agent间迁移复用。

教程用PyTorch从零复现Transformer语言模型，覆盖The Pile数据下载、预处理、训练、生成与代码解析，支持1300万至20亿参数规模；项目模块化实现MLP、自注意力、因果掩码、Transformer块、嵌入和位置编码，并给出GPU显存与可训练规模参考。

LLM Sleep提出在上下文窗口满后暂停输入，执行多次离线递归前向传播，用学习规则更新SSM快速权重，再清空KV缓存继续预测；其核心判断是长上下文失败主要源于被驱逐信息缺乏足够计算转化，而非内存容量不足。实验显示睡眠循环越多，Rule 110、Depo多跳检索、GSM-Infinite和滑动窗口任务的深度推理表现越好，收益集中在难例；代价是训练成本随循环深度线性上升且更不稳定。

该开源仓库提供28个可运行生产级GenAI智能体教程，覆盖编排、RAG、记忆、工具集成、部署、多智能体协作、GPU扩展、安全护栏与可观测性，配套两本技术书籍，是包含从原型到企业级落地的技术手册。

AI正把创始人从亲自执行者推向Agent编排者，使非技术创始人也能交付生产级应用，10人独角兽具备可规划性。创业路径被重构为四阶段：Idea先验证问题与假设，MVP用最小产品、持久上下文和安全审查证明需求，Launch把牵引力转为可重复增长并系统化运营，Scale依靠领域深度、数据飞轮和工作流锁定构建护城河。AI降低了构建成本，但原型不等于验证，长期优势来自判断力、编排能力与可积累资产。

《Build a Large Language Model (From Scratch)》官方代码库提供从零实现GPT类LLM的完整教学代码，覆盖数据处理、注意力、预训练、分类微调、指令微调与推理，采用纯PyTorch、可在普通笔记本运行，并扩展Llama、Qwen、Gemma、MoE等架构，配套视频、自测、Docker、答疑及推理模型续作资源。

论文首次系统定义“表情符号语义混淆”漏洞：LLM会把日常ASCII表情误判为代码符号并执行非预期危险操作。基于3757个用例对6个模型测试发现全部受影响，平均混淆率38.6%，超90%为语法正确但语义错误的静默失败，易导致删库删文件等严重后果，且可迁移到Agent，现有提示式防护基本无效。

Claude Code 的核心仅是简单 Agent 循环，真正决定生产可用性的是占绝大多数的权限、压缩、恢复、扩展等编排基础设施，其设计围绕人类决策权、安全、可靠性与能力放大展开；与 OpenClaw 对比表明 Agent 没有通用架构，必须服从部署场景与信任模型，未来难点也从提升自主性转向在增强效率时避免人类理解与技能退化。

AI辅助虽能提升短期表现，但会显著损害独立解决问题能力与坚持性，且负面效应在仅10-15分钟交互后即显现。三项实验（数学推理与阅读理解）均显示，使用AI后测试正确率显著低于对照组，且放弃答题率更高。机制在于AI提供即时答案削弱了"独自挣扎"的体验，而坚持性是长期学业与职业成就的核心预测因子。研究警示当前AI作为"短视合作者"优化即时帮助，却可能侵蚀人类独立思考与韧性的根基。