我眼中的技术世界
我们在需求阶段经常会遇到下列问题,针对直播抢购场景,假设我们要设计一款直播抢购的功能,比如某网红的直播间粉丝过亿,500万人在线,100万单商品瞬间被抢,下单并发高达200万QBS,如果当时出现评论区卡死,商品白屏,连库存服务也挂了,订单系统也崩溃了,这应该怎么办?分析:首先这是普通的技术难题,库存服务挂了,订单系统也跟着崩了,那肯定是服务依赖没处理好,或者说是这个全链路这个压测不到位,引发了连锁反应。问:系统缺乏防护机制的原因是什么?答:我认为系统缺乏防护机制的原因主要有三个。首先,流量失控没有限流措施,导致高并发直接压垮了系统。其次,服务之间的强依赖耦合太紧,一个服务出现问题,其他服务也会受到影响。最后,隔离措施不足,资源和逻辑没有有效隔离,单点故障迅速蔓延,导致整个系统瘫痪。问:如何设计以避免这种局面?答:我会采取三个主要策略来解决这个问题。首先,拦截,通过限流和熔断机制拦截和限制流量,比如设定阈值,超过阈值时进行限流或降级,以保护服务不被压垮。其次,缓解,通过缓存和排队等方式缓解流量高峰,提升系统吞吐能力。最后,隔离,通过隔离故障域,将问题限制在局部,防止故障蔓延到整个系统。问
在JavaScript中确实存在一些著名的"怪异"案例,这些都是由JavaScript的类型转换和比较规则导致的。以下是一些典型例子:相等性比较:[] == ![] // true [] == false // true '' == false // true null == undefined // true [1,2] == '1,2' // true针对第一个 [] == ![] 返回true是因为类型转换问题,其详细过程如下:首先,![] 会被计算:[] 是一个对象,转换为布尔值时为true!true 得到false此时表达式变成了[] == false当对象与布尔值比较时,两边都会被转换为数字:[] 会先被转换为原始值,调用toString()得到空字符串""空字符串转换为数字得到0false转换为数字也是0最终变成了0 == 0 ,所以返回true类型转换: [] + [] // ""(空字符串) [] + {} // "[object Object]" {} + [] // 0 true + true // 2数值
需求描述打造 特定领域知识(Domain-specific Knowledge) 问答 系统,具体需求有:通过自然语言问答的形式,和用户交互,同时支持中文和英文。 理解用户不同形式的问题,找到与之匹配的答案。可以对答案进行二次处理,比如将关联的多个知识点进行去重、汇总等。 支持上下文。有些问题可能比较复杂,或者原始知识不能覆盖,需要从历史会话中提取信息。 准确。不要出现似是而非或无意义的回答。 从大语言模型(Large Language Model, LLM)角度而言,上面的需求是在两阶段训练模式下,面向下游场景进行适配的问题。基础模型(Foundation Model),面向特定领域不能直接应用,因为领域知识不在预训练的数据集中,比如:较新的内容。同一个知识点不断变更:修改、删除、添加。如何反馈当前最新的最全面的知识。比如对于 ChatGpt 而言,训练数据全部来自于 2021.09 之前。 未公开的、未联网的内容。 方案分析基于 LLM 搭建问答系统的解决方案有以下几种:Fine-Tuning 基于 Prompt Engineering,比如 Few-Shot方式。 与普通搜索结合
ChatGPT 很智能,但是它有不足:知识库老旧,停留在2021年。另外对于企业,很多私有知识,并不希望全部暴露给GPT。因此结合ChatGPT的自然语言对话能力,加上私有知识库的数据,可以发挥更大价值。假如我们想利用OpenAI能力打造基于私有知识库的智能机器人,可以怎么做呢?实现思路当前主流解决方案是使用建立本地向量数据库,用户输入的时候先在本地向量数据库找出相似文本,然后再发给 LLM,让 LLM 帮我们整理答案。(更多内容感兴趣的查看结尾的问答)大概步骤如下:1、将知识库文档向量化(使用OpenAI中的embeddings)后存储到向量数据库(Chroma);2、对于用户输入,在向量数据库中查询相关文档(如余弦相似算法)并按相似程度排序;3、取最相关的前几个(如 top 5,需要考虑 token 数)作为背景知识,同用户请求一起发送给 LLM,让大模型根据背景知识整理并回答。实现Demo把 LangChain 的文档作为知识库,使用一个智能助手进行问答。先直接看看实现效果我们先问一下ChatGPT(gpt4):再来问一下基于LangChain文档建立的问答机器人:(效果还是很明
信息系统已经成为现代社会中不可或缺的组成部分。信息系统通过利用计算机、网络和数据库等现代信息技术,处理组织中的数据、业务、管理和决策等问题,为组织目标提供有力支持。本文通过xmind 的方式展示了信息系统分析与设计课程几个重要章节进行详细说明,探讨其基本概念、重要性、设计原则及关键要素。信息系统分析与设计的内容是软件工程中的一部门内容,是信息系统开发过程中不可或缺的一环。作为企业、工程师等不同的角色来认识信息系统的重要性,通过深入分析和精心设计,可以确保系统能够满足组织的实际需求,提高系统的可用性、可靠性和安全性。同时,良好的信息系统分析与设计还能够为系统的持续发展奠定基础,为组织提供高效、便捷的信息服务。因此,我们应该充分重视信息系统分析与设计的重要性,不断优化和完善相关技术和方法。
研发项目管理企业级研发项目管理系统是一种旨在提高研发(研究与开发)部门工作效率和生产力的综合软件工具。这种系统通常包含了项目规划、资源分配、进度跟踪、风险管理、文档共享、代码管理、协作工具和报告生成等众多功能。它对于跨国企业尤为重要,因为这些企业往往需要跨越不同的地理区域和时区来协调研发工作。通过集中的管理平台,企业能够确保所有项目参与者都能实时访问最新信息,交流想法,并协同工作。例如,特灵科技就是利用这样的系统来管理其在全球范围内的研发活动,确保“中国研发,服务全球”战略的有效实施。企业级研发项目管理系统也有助于更好地资源分配,通过优化研发流程,企业可以更有效地利用资金、人力和技术资源,从而缩短产品从概念到市场的周期。此外,这类系统还可以提供项目评估和监控的能力,使管理层能够对研发进度和成果有更清晰的视野,及时调整战略和优先级,同时也便于跟踪知识产权和合规性要求。在竞争激烈的市场环境下,企业通过使用研发项目管理系统,不仅能够提升内部沟通和协作效率,还能加快创新速度,更好地满足全球市场和客户的需求,从而在市场中保持竞争力。简介以研发管理为核心,涵盖项目规划、需求管理、开发迭代、版本控制
自20世纪末以来,华为逐渐打造而成的强大研发体系,离不开IPD(集成产品开发)的支撑。如今,许多国内科技公司正处于转型中,希望参考IPD体系的方法理念和实践经验。本文将带大家用15分钟的时间,了解IPD的真貌:一、什么是IPDIPD到底是什么?一套体系?一些流程?还是一种模式?IPD,是集成产品开发(Integrated Product Development)的缩写,它是集成了众多管理模型和理论、众多企业最佳管理实践的一整套体系,可以帮助企业快速响应市场变化、缩短产品上市时间、减少资源浪费、提高生产力,最终取得商业成功。IPD的思想最早来源于美国PRTM公司出版的《产品及生命周期优化法》一书中,该书详细描述了IPD模式所包含的各个方面。但IPD在中国的普及,源于IBM和华为的推行使用。1992年,IBM在激烈的市场竞争下,遭遇了严重的财政困难,郭士纳引入了IPD流程,扭转了这一局面。1998年,华为的产品竞争力和研发能力和其他企业相对比,有明显的劣势。在引入IPD体系后,经过20多年的产品研发体系大变革,华为最终打造出了强大的产品竞争力和研发能力。不难看出,IPD是业界很多最佳实践
前言当前业务网站已基本切换成https业务,现为大家提供两种https抓包的使用方法。两种方法的原理都是一样的利用【中间人攻击】的原理来实现。 1、前端开发Fiddler抓包指南1.1 准备工具 Fiddler(https://www.telerik.com/fiddler)willow(http://qzonetouch.github.io/commonWidget/willow)如果有代理需求可以加上1.2 Fiddler设置图 (1-1) fidder设置图 (1-2) https抓包设置左侧箭头这里一定不要忘了,建议选择 all processes,也可以根据自己的需求来选择。右侧箭头第一个箭头的意思是直接在本机安装根证书第二个箭头的意思是导出证书文件用于手机安装第三个是重置安装(不要点错了,重置了就要重新导出安装了)** 注意事项:** - 建议操作方法:点击 第三个箭头位置的选项 -> 会弹出一系列的框,基本上都是点击是 . 安装完成后PC电脑的浏览器就可以抓HTTPS的包了。pc抓包设置到此结束。 - 手机抓包点击 第二个箭头位置,导出证书,
工程伦理0、概论o1、教育意义1、提升工程师伦理素养,加强工程从业者的社会责任2、有利于推动可持续发展,实现人与自然的协同进化3、有利于协调社会各群体,确保社会稳定和谐o2、教育目标1、培养工程伦理意识和责任感2、掌握工程伦理的基本规范3、提升工程伦理的决策能力o3、课程意义1、建设创新型国家,制造强国的需求2、实施卓越工程师计划的要求3、促进国家工程伦理学科建设的一项重要举措4、高校德育改革的迫切要求(学科\理论\体系建设)1、工程与伦理o1、什么是工程工程与技术技术o发明为核心,体现人类改造世界的方法、技巧、技能工程o广义:人为达到某种目的,通过一段时间的协作的活动过程。o以建造为核心的活动o狭义:满足人类需求目标,应用各种知识与技术,调动自然和社会资源,通过人的写作,建造具有预期使用价值的产品过程工程师o研究和发展o施工和生产o操作o管理和其他职能工程的过程生命周期o计划环节:提出、决策解决:必要性、可行性o设计设计思路、设计理念、实施方案o建造实施、安装、试验、验收o使用使用、运营、维护o结束报废结束工程活动的几个维度哲学o反
问题ResizeObserver loop completed with undelivered notifications常常出现在react中 Ant-design 或 vue中使用element-ui 的Table(DataGrid)组件中,主要表现是浏览器渲染页面时,Table表格的表头表体的每个单元格宽度循环计算导致页面多次渲染。原因报错的原因:在页面绘制的时候,页面内组件或DOM循环调整大小的事件,导致了样式和布局都需要重新评估,这个调整大小导致的布局变化,将延迟到下一帧来绘制,如此循环导致浏览器告警。出现版本: antd 版本大于等于 4.0 的时候 会出现,小于antd 4.0 不会出现,【官方说展开行不能和固定列一起使用】,关于 ant design 4.0 的问题可以参考知乎专栏影响该错误对业务代码不会产生错误或中断,业务代码能正常执行。控制台不会报错。主要影响时开发阶段全屏提示,说明代码中的循环渲染影响了浏览器的性能。解决方案方法1去掉滚动属性中 x 的横向滚动:scroll={{x: 'max-content'}} ,让宽度自适应。方法2对dataSource
首乌
十年老程序员
粤ICP备2023052298号-1