GitHub基于大语言模型构建Copilot的经验和教训
github 在一篇文章中分享了他们在构建和扩展 github copilot——一个使用大语言模型的企业应用——过程中所学到的经验教训。
在 github 的一篇博文中，github 的 ai 产品负责人 shuyin zhao 描述了他们如何在三年多的时间里历经三个阶段——“find it”、“nail it”和“scale it”——成功推出了 github copilot。
在“find it”阶段，他们专注于找到 ai 可以有效解决的问题，通过一种足够专注的方式快速推向市场，并且足以产生影响。
这包括确定到底是为了谁而解决问题——帮助开发人员更快地编写代码，减少上下文切换。此外，他们只关注 sdlc 的一部分：ide 中的编码功能，并结合当下的 llm 的能力。这样他们就可以专注于让工具提供代码建议，而不是生成全部代码。他们还致力于确保他们所做的是对现有工具进行增强，不要求开发人员改变已有的工作流程。
“在设计产品时，我们不仅要考虑输出需要人类进行评估的模型，也要考虑正在学习如何与 ai 互动的人类。”
——idan gazit，github next 高级研发总监
在“nail it”阶段，他们基于从 a/b 测试中获得的真实用户反馈进行迭代式产品开发。他们进行快速迭代、试错和学习。在使用 copilot 的 web 接口进行了简短的实验后，他们将重点转向了 ide，以减少在编辑器和 web 浏览器之间切换，并让 ai 在后台运行。在进一步的迭代中，通过观察开发人员在编码时打开的多个 ide 选项卡，github copilot 可以同时处理多个文件。
随着生成式 ai 的迅速发展，他们开始重新审视过去所做出的决策，技术的进步和用户对它的熟悉程度有时会让过去的决策变得过时。于是，提供交互式聊天的想法开始活跃起来，他们需要基于沉没成本谬论改变决策，例如，当大语言模型的进步允许一个模型处理多种语言时，就需要改变为每种语言构建 ai 模型的想法。
最后，在“scale it”阶段，他们致力于确保 ai 模型结果的一致性、管理用户反馈，并定义了关键性能指标，以实现应用程序的普遍可用性 (ga)。他们还考虑了安全性和 ai 责任问题，使用过滤器来避免为用户建议不安全或具有冒犯性的代码。
改进质量和可靠性方面的工作包括缓解大语言模型的幻觉，即答案可能是不可预测的，并且每次查询都有所不同。解决这个问题的策略包括修改发送给大语言模型的参数，以减少响应的随机性，并缓存频繁的响应以减少变化和提高性能。
github 使用等待列表来管理技术预览版的早期用户。这意味着他们可以获得来自一小群早期采用者的评论和反馈。对真实用户反馈的深入分析使得 github 团队能够识别出有问题的更新，并改进产品的关键性能指标，例如开发人员保留了多少由 copilot 生成的代码。
最后，他们确保开发人员生成的代码是安全的，并通过过滤器来拒绝可能引入安全问题 (如 sql 注入) 的代码建议。社区也提出了一些问题，例如 copilot 的代码建议与公开的代码相重叠可能会产生许可问题或其他影响。他们为此提供了一个代码参考工具，帮助开发人员做出明智的选择。
在市场策略方面，他们向一些有影响力的社区成员展示了技术预览版，并且面向的是个人用户而不是企业。这有助于在正式发布时获得广泛的支持，从而促使企业采用它。
关键在于展示专注于特定问题的重要性、整合实验结果和用户反馈，以及在应用扩展时优先考虑用户需求。
由于生成式 ai 的采用仍处于早起阶段，github 也在密切关注市场对生成式 ai 工具的需求。感兴趣的读者可在 github 的博客上阅读全文。
浅谈封装测试行业发展态势
美国在线应用的激增正在推动着下一代网络的发展
为保护账户安全，Facebook将启动双因素认证
北美多家汽车工厂因“缺芯”停产
浅析永磁同步电机的设计和构造
GitHub基于大语言模型构建Copilot的经验和教训
VUNO正在构建由NVIDIA GPU驱动的AI产品系列
CPLD在三相PFC矩阵变换器中的应用
5GWh订单背后 海辰储能“出海”图强
小CEO用应该如何做好网格运营
ADAS/AD图像传感器需迈过的第一道门槛
同是高颜值！看完荣耀8青春版和荣耀V9的对比后，你选谁？
迈同车载放大器芯片成功应用于比亚迪汽车
喜讯 | 经纬恒润荣获一汽解放2021年度“技术支持奖”！
一种创新的存内计算架构
遥控器透气膜技术是如何实现防水又透声音的
360N5S发布会提前看：双面玻璃加骁龙653+6GB，前置双摄超大电池！360N5S价格成悬念
浅谈电子终端设备ePTFE防水透声膜设计方案的应用
中国移动牵头完成了基于网联式（C-V2X）自动驾驶功能架构标准立项
益阳积极推进5G网络建设及宽带网络接入
在 github 的一篇博文中，github 的 ai 产品负责人 shuyin zhao 描述了他们如何在三年多的时间里历经三个阶段——“find it”、“nail it”和“scale it”——成功推出了 github copilot。
在“find it”阶段，他们专注于找到 ai 可以有效解决的问题，通过一种足够专注的方式快速推向市场，并且足以产生影响。
这包括确定到底是为了谁而解决问题——帮助开发人员更快地编写代码，减少上下文切换。此外，他们只关注 sdlc 的一部分：ide 中的编码功能，并结合当下的 llm 的能力。这样他们就可以专注于让工具提供代码建议，而不是生成全部代码。他们还致力于确保他们所做的是对现有工具进行增强，不要求开发人员改变已有的工作流程。
“在设计产品时，我们不仅要考虑输出需要人类进行评估的模型，也要考虑正在学习如何与 ai 互动的人类。”
——idan gazit，github next 高级研发总监
在“nail it”阶段，他们基于从 a/b 测试中获得的真实用户反馈进行迭代式产品开发。他们进行快速迭代、试错和学习。在使用 copilot 的 web 接口进行了简短的实验后，他们将重点转向了 ide，以减少在编辑器和 web 浏览器之间切换，并让 ai 在后台运行。在进一步的迭代中，通过观察开发人员在编码时打开的多个 ide 选项卡，github copilot 可以同时处理多个文件。
随着生成式 ai 的迅速发展，他们开始重新审视过去所做出的决策，技术的进步和用户对它的熟悉程度有时会让过去的决策变得过时。于是，提供交互式聊天的想法开始活跃起来，他们需要基于沉没成本谬论改变决策，例如，当大语言模型的进步允许一个模型处理多种语言时，就需要改变为每种语言构建 ai 模型的想法。
最后，在“scale it”阶段，他们致力于确保 ai 模型结果的一致性、管理用户反馈，并定义了关键性能指标，以实现应用程序的普遍可用性 (ga)。他们还考虑了安全性和 ai 责任问题，使用过滤器来避免为用户建议不安全或具有冒犯性的代码。
改进质量和可靠性方面的工作包括缓解大语言模型的幻觉，即答案可能是不可预测的，并且每次查询都有所不同。解决这个问题的策略包括修改发送给大语言模型的参数，以减少响应的随机性，并缓存频繁的响应以减少变化和提高性能。
github 使用等待列表来管理技术预览版的早期用户。这意味着他们可以获得来自一小群早期采用者的评论和反馈。对真实用户反馈的深入分析使得 github 团队能够识别出有问题的更新，并改进产品的关键性能指标，例如开发人员保留了多少由 copilot 生成的代码。
最后，他们确保开发人员生成的代码是安全的，并通过过滤器来拒绝可能引入安全问题 (如 sql 注入) 的代码建议。社区也提出了一些问题，例如 copilot 的代码建议与公开的代码相重叠可能会产生许可问题或其他影响。他们为此提供了一个代码参考工具，帮助开发人员做出明智的选择。
在市场策略方面，他们向一些有影响力的社区成员展示了技术预览版，并且面向的是个人用户而不是企业。这有助于在正式发布时获得广泛的支持，从而促使企业采用它。
关键在于展示专注于特定问题的重要性、整合实验结果和用户反馈，以及在应用扩展时优先考虑用户需求。
由于生成式 ai 的采用仍处于早起阶段，github 也在密切关注市场对生成式 ai 工具的需求。感兴趣的读者可在 github 的博客上阅读全文。
浅谈封装测试行业发展态势
美国在线应用的激增正在推动着下一代网络的发展
为保护账户安全，Facebook将启动双因素认证
北美多家汽车工厂因“缺芯”停产
浅析永磁同步电机的设计和构造
GitHub基于大语言模型构建Copilot的经验和教训
VUNO正在构建由NVIDIA GPU驱动的AI产品系列
CPLD在三相PFC矩阵变换器中的应用
5GWh订单背后 海辰储能“出海”图强
小CEO用应该如何做好网格运营
ADAS/AD图像传感器需迈过的第一道门槛
同是高颜值！看完荣耀8青春版和荣耀V9的对比后，你选谁？
迈同车载放大器芯片成功应用于比亚迪汽车
喜讯 | 经纬恒润荣获一汽解放2021年度“技术支持奖”！
一种创新的存内计算架构
遥控器透气膜技术是如何实现防水又透声音的
360N5S发布会提前看：双面玻璃加骁龙653+6GB，前置双摄超大电池！360N5S价格成悬念
浅谈电子终端设备ePTFE防水透声膜设计方案的应用
中国移动牵头完成了基于网联式（C-V2X）自动驾驶功能架构标准立项
益阳积极推进5G网络建设及宽带网络接入