Author: aitrendtrackers@rengongzhineng.io

谷歌最新发布了Imagen 3版本，这是一款AI文本生成图像的工具，目前已在美国用户中开放。根据VentureBeat的报道，这款工具可以通过谷歌的AI Test Kitchen进行体验。据说，与之前的模型相比，Imagen 3能生成更精细的细节、更加丰富的光照效果，并减少了干扰图像的瑕疵。 谷歌最早在5月的I/O大会上宣布了这款更新后的Imagen 3工具，但似乎直到最近几天才通过其Vertex AI平台正式向公众开放。上周一些Reddit用户已经开始尝试使用Imagen 3，而谷歌在本周二发布了一篇关于该工具的研究论文。 与其他AI图像生成器类似，Imagen 3可以根据用户的提示生成精美的图像。用户还可以通过突出显示某个部分并描述所需更改，来对图像进行编辑。 虽然Imagen 3的生成能力相当强大，比如轻松生成类似经典游戏角色的图像，但它还是有一些限制。这个工具不会生成公众人物的图像，例如泰勒·斯威夫特，也不会生成武器图像。尽管如此，只要描述得足够巧妙，用户还是可以绕过这些限制，生成类似于受版权保护的角色图像。 例如，有人成功生成了与索尼克和马里奥相似的图像，而另一个人则创造了类似米老鼠的角色。此外，Imagen 3还可以生成公司标志，比如苹果、梅西百货、好时巧克力，甚至是谷歌的标志，这在某些用户的图像中都得以展现。 尽管Imagen 3有一定的内容限制，但与埃隆·马斯克旗下X平台上的AI图像生成器Grok相比，这些限制显得相当温和。Grok常常用于生成各种疯狂的内容，包括涉及毒品、暴力以及公众人物的争议性图像。 不过，谷歌的AI工具也不是没有问题。今年早些时候，谷歌曾停止允许人们使用其Gemini AI聊天机器人生成图像，因为有用户发现它生成了一些历史上不准确的图像。

人工智能初创公司Perplexity AI因涉嫌从媒体平台抄袭内容而引发争议，计划在其搜索应用中于第四季度开始投放广告。据CNBC报道，这家公司正通过宣传资料推销其应用的覆盖范围和日益增长的使用量。据悉，该应用已被下载超过两百万次，每月处理超过2.3亿次查询，仅美国的查询量在过去一年增长了八倍。 今年4月，Perplexity获得新一轮融资，估值超过10亿美元，相比三个月前翻了一倍。不过，随着该应用的流行，关于其内容来源方式的担忧也随之增加。今年6月，福布斯报道，该平台曾出现未经引用福布斯的抄袭内容，页面底部仅标注了一个小“F”标志。数周后，Wired也指出Perplexity抄袭了其报道，称一家“几乎肯定与Perplexity相关的IP地址”在三个月内访问了其母公司网站超过800次。 在回应这些指控时，Perplexity表示，已对其“Pages”功能的引用方式进行了修改，并更新了生成内容中对出处的直接引用。上个月，该公司推出了一个收益共享模式，让出版商通过该搜索引擎赚钱。当用户通过引用某篇文章的问题产生广告收入时，Perplexity会与出版商分享部分收益。 包括《财富》、《时代》、《企业家》、德州论坛报、《明镜周刊》和WordPress在内的多个媒体平台已率先加入该公司的“出版商计划”。Perplexity的首席商务官Dmitry Shevelenko在7月份接受CNBC采访时表示，如果一篇回答中引用了同一家出版商的三篇文章，合作伙伴将获得“三倍的收益分成”。他还透露，公司自今年1月起便开始研发该功能，目标是年底前吸引30家出版商加入。 至于广告投放，Perplexity将采用每千次展示费用（CPM）模式。据一位知情人士透露，CPM价格将超过50美元，而根据搜索营销公司Semrush的数据，桌面广告的CPM通常约为2.50美元，移动视频广告的费率大约为11.10美元。 Perplexity的宣传材料显示，其主要广告类别包括科技、健康与制药、艺术与娱乐、金融以及食品饮料等。广告商可以赞助答案下的“相关问题”，也可以购买显示在生成答案右侧的展示广告。 此外，数据显示，超过八成的Perplexity用户拥有本科学历，三成用户处于“高层管理职位”，65%的用户属于“高收入白领职业”，如医学、法律和软件工程等。 人工智能辅助搜索被投资者视为对谷歌的重大威胁，因为它有可能改变用户获取在线信息的方式。去年引发生成式AI热潮的OpenAI，最近推出了名为SearchGPT的搜索引擎。而谷歌也不甘落后，今年5月推出了搜索中的“AI概览”功能，允许用户在结果顶部看到答案的快速摘要

微软发布了三款全新的Phi 3.5模型，分别是Phi-3.5-mini-instruct（38亿参数）、Phi-3.5-MoE-instruct（419亿参数）和Phi-3.5-vision-instruct（41.5亿参数）。这三款模型分别针对基本/快速推理、更强大的推理以及视觉（图像和视频分析）任务进行了优化。https://huggingface.co/microsoft 这些模型已在Hugging Face平台上发布，开发者可以免费下载、使用，并根据需要进行微调。值得注意的是，所有模型都采用微软品牌的MIT许可，这意味着开发者可以自由进行商业用途和修改，无需受到任何限制。 令人惊叹的是，这三款模型在多个第三方基准测试中表现出接近最先进水平，甚至在某些情况下超越了谷歌的Gemini 1.5 Flash、Meta的Llama 3.1，甚至是OpenAI的GPT-4o。结合其开放的许可条款，微软因此在社交媒体平台X上获得了广泛赞誉。 接下来，让我们简要回顾一下这些新模型，根据它们在Hugging Face上的发布说明进行分析。 Phi-3.5 Mini Instruct：优化计算资源受限环境 Phi-3.5 Mini Instruct模型是一款轻量级的AI模型，拥有38亿参数，专为遵循指令和支持128k上下文长度的任务而设计。这款模型非常适合那些需要强大推理能力但受限于内存或计算资源的场景，包括代码生成、数学问题解决和逻辑推理任务。 尽管模型体积小巧，但Phi-3.5 Mini Instruct在多语言和多轮对话任务中的表现仍然相当出色，相较于其前代产品有显著提升。在多项基准测试中表现接近最先进水平，并在长上下文代码理解的RepoQA基准测试中超过了其他类似规模的模型，如Llama-3.1-8B-instruct和Mistral-7B-instruct。 Phi-3.5 MoE：微软的“专家混合”模型 Phi-3.5 MoE模型代表微软首次推出的“专家混合”（Mixture of Experts）模型类别，结合了多种不同模型类型，每个子模型专门处理不同任务。该模型拥有42亿激活参数，支持128k上下文长度，为高需求应用提供可扩展的AI性能。 值得注意的是，Phi-3.5 MoE在各种推理任务中表现出色，尤其是在代码、数学和多语言理解方面，经常在特定基准测试中超越更大规模的模型。它在5次测试的MMLU（大规模多任务语言理解）基准测试中也表现出色，在STEM、人文、社会科学等多个学科领域都超过了GPT-4o mini。 MoE模型的独特架构使其在处理多语言的复杂AI任务时保持高效。 Phi-3.5 Vision Instruct：先进的多模态推理 这三款模型的最后一款是Phi-3.5 Vision Instruct模型，它将文本和图像处理能力结合在一起，特别适合执行图像理解、光学字符识别、图表和表格理解以及视频摘要等任务。与其他Phi-3.5系列模型一样，Vision Instruct支持128k上下文长度，使其能够处理复杂的多帧视觉任务。 微软指出，该模型是使用合成和过滤过的公开数据集训练的，重点放在高质量、推理密集型数据上。 新Phi三人组的训练 Phi-3.5 Mini Instruct模型使用512个H100-80G GPU在10天内处理了3.4万亿个token进行训练，而Vision Instruct模型则使用256个A100-80G GPU在6天内处理了5000亿个token。 至于Phi-3.5 MoE模型，由于其专家混合架构，它使用了512个H100-80G GPU，在23天内处理了4.9万亿个token。 开源MIT许可 所有三款Phi-3.5模型都以MIT许可发布，展现了微软对开源社区的支持。该许可允许开发者自由使用、修改、合并、发布、分发、再授权或销售该软件副本。 许可还包含免责声明，指出该软件“按原样”提供，不附带任何形式的保证。微软和其他版权持有者不对因使用该软件而产生的任何索赔、损害或其他责任负责。 微软发布Phi-3.5系列标志着多语言和多模态AI开发的一个重大进展。通过在开源许可下提供这些模型，微软赋予开发者将最先进的AI功能集成到其应用中的能力，促进了商业和研究领域的创新。

对于软件开发团队来说，更新基础软件是一项枯燥却关键的任务。这项工作并不像开发新功能那样令人兴奋，也不会让人觉得自己在推动用户体验的进步。因此，通常这种任务要么被团队讨厌，要么被推迟，或者两者兼而有之。 为了给这个沉重的工作带来一些亮光，Amazon推出了一个名为Q的生成式AI助手，专门帮助软件开发团队。最近，Q引入了一项全新的代码转换功能，并成功应用于Amazon内部系统，特别是处理迫切需要的Java升级任务。以下是一些成果总结： 这一切都说明了，通过利用Amazon Q，大型企业在处理基础软件维护任务时可以获得巨大的效率提升。对Amazon来说，这项技术已经彻底改变了工作方式，不仅内部团队计划进一步使用这项代码转换功能，Q团队也计划开发更多的转换功能，供开发者们使用。

AI正在颠覆各个行业，软件工程也不例外。 根据Business Insider获取的一段六月炉边谈话的泄露录音，亚马逊云服务（AWS）首席执行官Matt Garman向员工表示，AI正在改变软件工程师的工作性质，甚至会重新定义他们的工作职责。 Garman在录音中说道：“如果往前看24个月，或者某个时间点——我无法精确预测——很有可能大多数开发者不再编写代码。” 他还补充说，明年的开发者角色将与2020年大不相同。 Garman在AWS工作了近二十年，并于6月3日正式接任CEO一职。他早在2006年就加入了AWS，当时AWS全球销售团队只有三个人。 在谈话中，Garman表示，创新将取代编程，这意味着开发者需要更多地考虑最终产品。 他说：“这意味着我们每个人都必须更加了解客户的需求以及我们真正想要构建的最终产品，因为这将成为工作的核心，而不是坐下来写代码。” 目前，AWS拥有大约13万名员工。今年4月，该公司裁掉了销售、营销和全球服务部门的数百名员工。 高盛集团的首席信息官Marco Argenti在四月也表达了类似的观点——仅有技术技能不足以应对AI的发展。 为了跟上技术的步伐，Argenti建议未来的工程师，包括他在读大学的女儿，在学习工程的同时，也应该学习哲学。Argenti认为，哲学能够为工程师提供推理能力和思维框架，帮助他们应对AI，识别AI的幻觉，并质疑其输出结果。

不可否认，过去十年里，科技行业一直被视为稳定和持续发展的象征。各大企业纷纷制定了基于数字化转型的战略，国家经济依赖科技增长，甚至有些国家以此为核心进行产业布局。企业在尖端技术上大量投资，吸引了无数人跨行成为程序员，试图抓住高薪的机会。在这股势不可挡的潮流中，谁也没料到科技行业会陷入危机，更没想到这一切来得如此之快。 IT行业的危机 在2022年就业市场欣欣向荣的背景下，仅仅一年后，2023年的情况便发生了巨大的变化。到了2024年，找到IT领域的工作已成了一大挑战。 导致这一变化的原因主要是，许多公司为了应对经济困境和肆虐的衰退，开始削减运营成本和全职员工。此外，从各大新闻头条上看，人工智能和自动化似乎也被认为是罪魁祸首之一。但这就是全部真相吗？ 为了更好地了解全球其他公司是如何应对当前局势的，笔者决定展开调研，试图找到问题的根源，探讨困境加剧的原因以及危机是如何开始的。 历史总是惊人地相似 回顾当前的危机，不能忘记科技行业此前也曾经历过类似的风暴。最典型的例子莫过于上世纪90年代末和2000年代初的互联网泡沫，当时市场充斥着对互联网公司投资的狂热，许多公司承诺颠覆商业模式。1995年至2000年间，科技股为主的纳斯达克指数飙升五倍，2000年3月更是达到了5000多点的巅峰。然而，这些公司中的许多缺乏稳固的商业基础，利润微薄甚至无利可图。 泡沫破裂后，许多公司一夜之间贬值，成千上万的员工失业，投资者损失惨重。公司的倒闭显示出过度投机和缺乏可持续商业模式的危险性。 通胀：危机的幕后推手之一 写这篇文章时，笔者查阅了2023年的平均通胀数据： 国家/年份 2023年 土耳其 53.44% 瑞典 8.63% 美国 4.14% 英国 6.83% 波兰 11.4% 意大利 5.72% 中国 0.24% 尽管这些百分比乍看之下相对较低，但2023年内，美国的通胀在某些月份达到了40年来的最高水平，而波兰则达到了24年来的峰值。 相当多的高管将通胀视为导致本国乃至全球困境的罪魁祸首。物价上涨无疑削弱了购买力和投资能力，进而减少了对包括科技在内的商品和服务的需求。此外，面对不断攀升的通胀，许多世界经济体选择加息以稳定物价，但这也直接导致借贷成本的上升，进一步压缩了投资预算，拖累了经济增长。 地缘政治对IT行业的影响 通胀和高科技行业的衰退并非凭空而来。近年来，全球政治局势极其复杂且变化莫测。许多地缘政治事件对全球经济的各个领域产生了负面影响。俄罗斯对乌克兰的袭击极大地增加了能源不确定性，扰乱了贸易、资本流动、投资和原材料市场。 中东的局势（以色列和哈马斯之间的战争）、欧洲的移民危机以及美中之间围绕台湾问题的紧张关系也都不容忽视。 网络攻击的激增 除此之外，企业还面临着越来越多的网络攻击。据麦肯锡的数据显示，乌克兰战争揭示了网络威胁的新规模。2022年，乌克兰面临的攻击次数较2020年增加了250%，而北约国家的攻击次数则增加了300%。 网络攻击变得愈发复杂且激烈，不仅威胁到个别企业，还威胁到生态系统甚至国家安全。越来越多的关键基础设施，如电网和交通系统，正变得容易受到攻击。 金融危机与科技行业的融资困境 2023年，科技行业经历了前所未有的裁员潮，263,180名员工在这一年失业。硅谷自2000年代初互联网泡沫以来，从未见过如此大规模的裁员。而2024年，情况并未好转，光是上半年就有84,460名高科技行业的员工失去了工作。 与此同时，2023年的银行业危机进一步加剧了科技行业的困境。硅谷银行的倒闭对全球科技行业和更广泛的经济产生了重大影响。作为科技公司和初创企业的关键融资来源，硅谷银行的倒闭引发了金融市场的立即反应，并加剧了对其他创新型金融机构稳定性的担忧。 结语 不可否认，目前的全球形势，尤其是高科技行业，前景并不乐观。然而，笔者也不相信有一种快速且神奇的方法可以解决市场和IT行业面临的当前困境。也许第一步是远离那些主流趋势，并回归到更加理智和深思熟虑的商业策略中去。

本周早些时候，国会议员南希·佩洛西批评了新出台的加州AI法案SB 1047（旨在防止大型AI模型对人类造成“重大伤害”），称其“出发点良好但缺乏见解”，认为若法案通过，将会扼杀硅谷的创新并阻碍初创企业的发展。现在，OpenAI也加入了反对阵营，致信该法案的提出者、州参议员斯科特·维纳，表达了对法案可能“威胁增长、减缓创新步伐，并导致加州顶级工程师和企业家离开本州”的担忧。 维纳对OpenAI的信件进行了猛烈抨击，称其“毫无道理”，因为SB 1047的要求适用于所有在加州开展业务的公司，无论总部是否设在加州。 他还指出，OpenAI没有对法案的任何具体条款提出批评，因为该法案只是要求“AI实验室做他们已经承诺的事情，并对大型模型进行安全测试。” 在过去六个月中，法案经历了多次修订，加入了伪证罪的民事处罚以及更严格的执行能力，目前法案即将进行最终投票，无论结果如何，预计都会引发强烈反响。 OpenAI此前曾支持多项旨在监管AI模型的法案，最著名的是允许美国AI安全研究所制定AI模型标准和指南的法案，该法案表面上与SB 1047类似。但如今，OpenAI站在了与该州法案对立的政治家、投资者及其他AI巨头和影响力人物如Meta、谷歌、Anthropic、佐伊·洛夫格伦和a16z等同一阵线，并因担忧加州不稳定的监管环境，搁置了其旧金山办公室的扩建计划。

联邦通信委员会（FCC）对Lingo电信公司处以100万美元的民事罚款，该公司因使用AI生成的机器人电话模仿乔·拜登，企图在1月的新罕布什尔州初选中劝阻选民投票。 FCC调查发现，Lingo是由政治顾问史蒂夫·克莱默雇佣的。克莱默为竞争对手阵营工作，曾策划过类似的骗局。他因此被罚款600万美元，并面临26项刑事指控。 除了七位数的罚款外，Lingo（曾用名Ameritel、Excel和Startec等）还需要遵守更严格的规定，包括来电显示身份验证规则。 FCC还要求Lingo“彻底核实其客户和上游提供商所提供信息的准确性”，因为公众“有权知道电话另一端的声音是否如其所说”。 FCC称此次执法是针对AI驱动的深度伪造的首例，并迅速采取了强硬措施，以阻止其他政治操纵者利用AI冒充政治人物来操纵公众舆论。

过去两年里，人工智能技术呈现爆发式增长，大型语言模型（LLM）如ChatGPT、Dall-E和Midjourney已经成为日常工具。在读这篇文章的时候，生成式AI程序正在回复电子邮件、编写营销文案、录制歌曲，甚至根据简单的输入创建图像。 更令人惊讶的是，个人和企业接受AI生态系统的速度。根据麦肯锡的最新调查显示，至少在一个业务功能中采用生成式AI的公司数量在一年内翻了一番，从2023年初的33%增长到了65%。 然而，和大多数技术进步一样，这一新兴创新领域也面临着挑战。训练和运行AI程序是一个资源密集的过程，目前来看，大型科技公司似乎占据了上风，这就带来了AI集中化的风险。 AI发展的计算瓶颈根据世界经济论坛的一篇文章，AI计算的需求正在加速增长；目前，维持AI开发所需的计算能力年增长率在26%到36%之间。 另一项由Epoch AI进行的研究证实了这一趋势，预测未来训练或运行AI程序的成本将达到数十亿美元。 Epoch AI的研究员Ben Cottier指出：“自2016年以来，最大规模的AI训练运行成本每年翻两到三倍，这意味着到2027年，甚至更早，可能会出现数十亿美元的价格标签。” 事实上，这一趋势已经显现。去年，微软向OpenAI投资了100亿美元，最近又有消息称两家公司计划建设一个数据中心，该中心将由数百万个专用芯片驱动的超级计算机支撑。其成本高达1000亿美元，是最初投资的十倍。 当然，微软并不是唯一一个在AI计算资源上大手笔投入的科技巨头。其他参与AI竞赛的公司如谷歌、Alphabet和英伟达也在AI研究和开发上投入了大量资金。 虽然巨额投资可能带来相应的成果，但不得不承认，当前AI开发似乎成了一场“大科技”游戏。只有这些财力雄厚的公司才有能力为AI项目投入数十亿甚至数百亿美元。 因此，一个问题不禁浮现：如何避免像Web2创新那样，因为少数公司控制创新而导致的问题？ 斯坦福HAI副主任兼研究主任James Landay对此曾提出看法。他认为，随着大型科技公司优先使用其AI计算资源，GPU资源的争夺将推动开发更便宜的硬件解决方案。 在中国，由于与美国的芯片战争限制了中国公司获取关键芯片的能力，政府已经开始支持AI初创企业。今年早些时候，中国地方政府推出了补贴计划，承诺为AI初创企业提供14万到28万美元的计算券，以降低计算成本。 去中心化的AI计算成本从目前的AI计算现状来看，有一个共同点——整个行业高度集中。大科技公司控制了大部分计算能力和AI程序。事情越变越大，但本质却未曾改变。 不过，值得期待的是，这一次事情可能会有所不同，这要归功于像Qubic Layer 1区块链这样的去中心化计算基础设施。这种L1区块链使用了一种先进的挖矿机制，被称为“有用的工作量证明”（uPoW）；与比特币传统的PoW不同，Qubic的uPoW利用其计算能力执行诸如训练神经网络等生产性AI任务。 简而言之，Qubic通过离开当前的范式，将AI计算资源的获取去中心化，不再局限于创新者拥有的硬件或从大科技公司租借的硬件。相反，它利用其可能达到数万台矿机的网络来提供计算能力。 虽然这一方式比让大科技公司处理后台问题更为技术化，但去中心化的AI计算资源获取方式更具经济性。而且，更重要的是，AI创新应该由更多利益相关者推动，而不是依赖当前行业的少数玩家。 如果这些公司都出现问题会怎样？更糟糕的是，这些科技公司在处理影响深远的技术进步时已经被证明不够值得信赖。 如今，大多数人对数据隐私侵犯问题感到愤怒，更不用提其他相关问题如社会操纵了。有了去中心化的AI创新，监控开发进展变得更容易，同时也降低了进入的成本。 结论AI创新才刚刚起步，但获得计算能力的挑战仍然是一个阻力。更糟的是，目前大科技公司控制了大部分资源，这对创新速度造成了巨大挑战，不仅如此，这些公司可能最终掌握更多对我们数据的控制权——这可是数字时代的“黄金”。 然而，随着去中心化基础设施的出现，整个AI生态系统有望降低计算成本，并消除大科技公司对21世纪最有价值技术的控制。

今天，开发者最期待的功能之一终于上线了：GPT-4o微调功能！而且，在9月23日之前，每个组织每天还能免费获得100万个训练代币。 现在，开发者可以通过定制数据集来微调GPT-4o模型，以更低成本获得更高性能。微调可以帮助模型定制响应的结构和语气，甚至让它处理特定领域的复杂指令。仅用几打训练示例，开发者就能让应用表现出色。 从编程到创意写作，微调对各类领域的模型表现都有巨大提升。这只是个开始，未来会有更多模型定制选项供开发者使用。 如何开始？ 今天起，所有付费等级的开发者都可以使用GPT-4o微调功能。只需访问微调控制台，点击创建，并从基础模型下拉菜单中选择gpt-4o-2024-08-06。GPT-4o微调训练费用为每百万代币25美元，推理费用为每百万输入代币3.75美元，输出代币15美元。 GPT-4o mini微调也对所有付费等级的开发者开放。每天提供200万个免费训练代币直至9月23日。开始使用，访问微调控制台，选择gpt-4o-mini-2024-07-18。 想了解更多微调使用方法，访问官方文档吧。 GPT-4o微调性能登顶！ 过去几个月，官方与几家值得信赖的合作伙伴合作，测试GPT-4o的微调功能，并研究了他们的使用场景。以下是一些成功案例： Cosine公司在SWE-bench基准测试中取得SOTA成绩 Cosine的AI软件工程助手Genie，能够自动识别并解决bug、构建新功能、优化代码，与用户协同处理复杂技术问题。Genie使用了微调后的GPT-4o模型，基于真实软件工程师的工作示例进行训练，模型学会了如何以特定方式回应问题，还能输出易于提交到代码库的补丁格式。 通过微调的GPT-4o模型，Genie在上周二发布的SWE-bench Verified基准测试中取得了43.8%的SOTA成绩，在SWE-bench Full中也以30.08%的成绩刷新了之前的19.27%的纪录，成为历史上最大幅度的提升。 Distyl公司在BIRD-SQL基准测试中排名第一 作为多家财富500强企业的AI解决方案合作伙伴，Distyl公司最近在BIRD-SQL基准测试中夺得第一。Distyl微调后的GPT-4o在执行准确率方面达到了71.83%，并在查询重构、意图分类、思维链和自我纠错等任务中表现优异，尤其是在SQL生成方面表现突出。 数据隐私与安全 微调后的模型完全由用户掌控，业务数据（包括输入和输出）全权归客户所有，确保数据不会被分享或用于训练其他模型。同时，官方也实施了分层安全措施，自动安全评估微调模型，监控使用情况，确保符合使用政策。 官方期待开发者利用GPT-4o微调功能构建更多精彩应用。如果有更多定制需求，随时联系团队获取帮助！