罗分后天北京时间月日
2024-08-14 19:59
尊龙凯时平台入口计划
GPU和TPU，有何不同如果您希望可以时常见面，欢迎标星收藏哦~来源：内容由半导体行业观察（ID：icbank）编译自analyticsinsight，谢谢！硬件选择在很大程度上决定了人工智能模型的训练和部署效率和速度；其中最突出的是图形处理单元和张量处理单元！尽管GPU最初设计用于处理图形渲染，但多年来它们已发展成为适用于各种计算任务（包括AI和深度学习）的强大工具；另一方<面，TPU是Google开发的专用处理器，专门用于机器学习工作负载?本文对比了GoogleTPU与NVIDIAGPU在性能和成本问题上的差异，以及对不同基于AI的应用程序的适用性；什么是GPU?GPU是为PC和游戏机中的绘图和成像而开发的增强型协处理器;GPU以线性方<式解决问题，而GPU可以将问题分解为小的子问题，然后一次性解决这些子问题？这种图形并行处理能力随后在许多计算应用中变得至关重要，例如在创建AI模型时；NVIDIAGPU最初是在20世纪80年代作为图形处理器发明的，用于提高图像绘制速度，由NVIDIA和ATI（现为AMD）发明?由于可编程着色器的出现，它们在20世纪90年代后期和21世纪初期受到了更多关注，允许将并行处理用于非渲染目的;这种能力使得GPU被用于一般用途？计算还可以使用算法，例如使用NVIDIA的CUDA和AMD的StreamSDK进行科学模拟和数据分析等；最初，GPU用于渲染3D图形;然而，随着人工智能和深度学习的进步，这些设备在训练和部署深度学习模型方<面发挥着关键作用，因为它们能够处理大数据和并行计算;TensorFlow和PyTorch等深度学习框架使用GPU进行加速，以便世界上越来越多的研究人员和开发人员能够获得更好的深度学习体验?TPU是Google为满足➨机器学习算法日益增长的计算需求而设计的ASIC；TPU并非基于与GPU相同的原理构建，最初设计为图形处理器，但后来被重新用于机器学习！GoogleTPU专为张量计算而设计，现代深度学习算法就是基于此构建的？它们的架构专为矩阵乘法而设计，这些运算对于神经网络的工作至关重要，使它们能够处理大量数据以及复杂的神经网络！由于这种专业化，TPU对AI非常有用，并促进了机器学习的研究和部署；GoogleTPU与NVIDIAGPU对比1计算架构GPU包含数百万个小型、高效的处理核心，适合大规模并行处理？它们非常适合那些可以轻松分解为独立子任务的任务，这些任务通常以并行性的形式进行讨论，例如渲染、游戏和以矩阵计算形式出现的AI；这种架构使GPU既通用又可用于各种需要处理大型数据集或大量计算的AI任务？TPU收集张量计算，以便在需要使用大量张量的任务（例如深度学习）中表现出色？虽然TPU包含的内核通常比GPU少，但这些芯片的设计是针对张量计算量身定制的，在某些AI任务上可以超越GPU？2性能：速度和效率GPU在所有AI驱动的任务中都是多用途的，无论是在训练阶段还是在推理阶段？例如，使用BERT模型，在NVIDIAV100GPU上需要3.8毫秒？尽管如此，TPU是为张量处理量身定制的，有时可以在与深度学习相关的各种计算任务中超越GPU?使用相同的BERT模型批次，在TPUv3上仅需要1.7毫秒；例如，在NVIDIATeslaV100GPU上，在CIFAR-10数据集上训练ResNet-50模型十个epoch大约需要40分钟，但在GoogleCloudTPUv3上只需15分钟；3成本和可用性至于成本和可获得性，GPU甚至更容易获得；它们可以单独购买，也可以在所谓的云端订购订阅服务，每台起价为8,000至15,000美元?这意味着，要在云端使用类似于NVIDIATeslaV100和A100的GPU，每小时需要分别花费约2.48美元和2.93美元；TPU仅限于云端，主要在GCP中提供？通常，TPU的小时使用成本相对较Ξ高，TPUv3为4美元?所有CU变体都比TPU便宜，TPU每小时约2.50美元，TPUv4每小时约8.00美元!尽管设置了更高的小时费率，但TPU的速度在兆瓦级机器学习操作中创造了整体成本效益?4生态系统和开发工具TPU与Google开源机器学习框架TensorFlow高度耦合!它们还支持☂JAX，这是一个用于高性能数值计算的库！XLA编译器来自TensorFlow，它编译TPU的计算以简化处理器的使用；GPU存在于不同的行业中，可以容纳更多框架，例如TensorFlow、PyTorch、Keras、MXNet和Caffe？它们都不太复杂，而且很容易集成到ML和/或数据科学中，因为它们利用了广泛的库，例如CUDA、cuDNN和RAPIDS;5社区支持☂和资源GPU得到了NVIDIA和AMD等公司提供的密集社区论坛、代码教程和全方<位文档的良好支持☂！TPU在Google领域内得到更集中的支持☂，GCP文档、论坛和支持☂中提供了参考和资源;尽管官方<资源（例如TensorFlow文档）可以提供很多帮助，但TPU社区的支持☂可能不如GPU那么大；6能源效率和环境影响总体而言，GoogleTPU与NVIDIAGPU相比，TPU据称比GPU更节能;例如，GoogleCloudTPUv3每芯片约120-150W，而TeslaV100为250W，A100为400W；GPU采用了诸如电源门控和动态电压和频率调节(DVFS)等特性来提高能源效率?虽然GPU的能源效率不如TPU，但它们采用了减少大规模AI流B程中能源消耗的措施；7企业应用程序的可扩展性TPU为大多数行业的大型AI项目和连接流B程提供了出色的解决方<案，GCP与AI应用程序部署中的按需基础设施和托管服务相关联！GPU非常灵活，可用于本地和云模型，可从AmazonWebServices和MicrosoftAzure等主要云服务提供商处获得!它可以处理大数据并调整大多数机器学习算法所需的计算资源；8以下情况请选择GPU：您需要一系列不同的计算能力，例如计算机图形/显示以及科学计算?这些选项让您可以精确控制性能调整和优化?您需要在不同环境中灵活地部署应用程序;9以下情况请选择TPU：您的项目通过TensorFlow得到提升，并且在与TensorFlow交互时具有高性能?需要确保高吞吐量的训练时间和非常快的推理时间;关于技术的选择，能源效率和低功耗是参数;您需要一个能够轻松访问所需TPU资源的通用托管云服务提供商;开发者体验：GoogleTPU与NVIDIAGPU在AI开发计算中的比较Ξ比较ΞTPU和GPU的使用：开发人员对设备的体验可能因与ML框架的兼容性、SW工具/库的可用性等而异？张量处理单元(TPU)针对TensorFlow进行了进一步优化，TensorFlow是Google的开源机器学习框架;TensorFlow包含非常灵活且高效的接口来管理神经网络的高级操作，因为开发人员无需编写低级代码即可利用TPU！此外，Google还提供了有关如何使用TPU和TensorFlow的详细文档和指导材料，这可能有助于开发人员克服学习曲线?除了TensorFlow，TPU还可以与另一个Google机器学习库JAX配合使用？JAX具有构建和训练神经网络的接口，并且支持☂通过梯度进行区分和GPU/TPU计算，这是在AI开发中使用TPU的另一种方<式!GPU支持☂更广泛的机器学习框架，例如TensorFlow、PyTorch、Caffe等，这让开发人员可以选择最合适的框架进行部署！著名的GPU生产商是NVIDIA!他们提供CUDA，这是使用GPU进行并行计算的软件开发工具包！这可以让人们对计算进行更精细的控制，但它需要对硬件有深入的了解！NVIDIA还提供了文档和课程，详细介绍了如何将GPU与不同的机器学习库结合使用，以及一套用于测量和诊断GPU增强程序的工具；这些资源对于那些有兴趣增强AI解决方<案以利用GPU硬件的开发人员非常有用;TPU和GPU都与云环境兼容;Google的CloudTPU与GoogleCloud兼容，因此初创公司或大型企业可以轻松提升其AI使用率？同样，NVIDIAGPU可以通过许多云提供商访问，包括AmazonWebService、MicrosoftAzure或GoogleCloud?此外，通过与NVIDIA的竞争和与英特尔的合作，AMD已成为AI加速市场❁的一股主要力量，这推动了AI和大数据分析领域竞争优势的进一步发展；行业中GoogleTPU与NVIDIAGPU的集成可改善AI开发TPU和GPU在AI行业的广泛使用表明它们在促进不同类型的AI任务方<面发挥着巨大作用?许多组织部署这些技术来改善其AI运营?例如，开发了TPU的谷歌在其解决方<案和产品中大量使用这些处理器？TPU的用例是人工智能模型，即谷歌搜索、谷歌照片和谷歌翻译，它们需要大吞吐量和低延迟的人工智能推理;这使得谷歌每天能够管理数十亿次搜索查询，分析数百万张照片，并翻译数百万篇文本！OpenAI是一家致力于推动AI发展的组织，它使用GPU来训练其大规模AI模型;最重要的标准之一是需要训练的参数，而最大的语言模型之一GPT-3的训练包含1750亿个参数!如此大的模型的训练需要大量的计算资源，在这种情况下，GPU可以满足➨这些资源的需求;如今，Alphabet旗下Waymo正在使用张量处理单元，该公司专注于控制自动驾驶汽车？这些算法涉<及处理来自各种传感系统的大量输入，并具有实时处理和决策功能;因此，TPU是最好的，因为它们经过优化以支持☂AI推理!最著名的GPU硬件制造商是NVIDIA，该公司将制造的硬件应用于其AI研发；NVIDIA使用GPU设计AI解决方<案、调整算法使用的数学配方<以及比较Ξ其软件和硬件;该公司还将GPU纳入其人工智能产品；自动驾驶汽车中心和视频分析系统;微软还为集成人工智能及其机器学习等组件的发展做出了贡献!它不断应用上述基础设施来支持☂公司生产力工具和云服务中分析和人工智能的集成；这些例子描述了TPU和GPU在AI行业中的广泛实际用途，展示了这些设备在提供大规模Web服务、训练高度发达的AI模型以及创造更多独特的AI相关技术方<面的重要性和作用！结论在AI开发中，选择GoogleTPU还是NVIDIAGPU需要考虑很多因素，比如项目本身、成本以及要使用到的全球基础设施！因此，尽管GPU也具有很高的兼容性，并且几乎所有框架都支持☂，但TPU更擅长基于TensorFlow的商业化项目，并且能效更高?了解这些差异对开发人员和组织很有用，因为他们可以组织任务流B程来完成人工智能项目，从而提高效率和降低成本？值得注意的是，这两种选择都有各自的优点，并被积极用于推动机器学习和人工智能的发展!://.analyticsinsight.net/artificial-intelligence/google-tpus-vs-nvidia-gpus-for-ai-development点这里加关注，锁定更多原创内容*免责声明：本文由作者原创?文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持☂，如果有任何异议，欢迎半导体行业观察；今天是《半导体行业观察》为您分享的第3847内容，欢迎关注！『半导体第一垂直媒体』实时专业原创深度公众号ID：icbank喜欢我们的内容就点“在看”分享给小伙伴哦!硅谷芯片公司的运营之道，藏在这本新书中？如果您希望可以时常见面，欢迎标星收藏哦~2021年，一本名为《我在硅谷管芯片：芯片产品线经理生存指南》的新书出版?在此之前在市场❁上几乎没有有关芯片产品管理和市场❁营销的书籍，因此本书相当热销，据说是国内在芯片行业从事产品定义<，管理和营销工作的必读之书！到了2024年的今天，《生存指南》的姐妹B篇《我在硅谷管芯片：芯片设计公司运营之道》再次出版？这几年在硅谷和全世界范围内，芯片工业发生了巨变，业务类型在不断兴旺衰亡，供应链在不断整合拆散，市场❁在不断兴起湮没，对芯片公司的运营形成重大挑战，从业者当有深刻感受？这两本书的作者俞志宏在美国的电子和芯片行业从业近15年，从研发工程师做到产品线总监，负责的产品线年销售额达到数亿美元，定义<和量产了数十种芯片，具丰富实战经验；以下是他新书的出版感言：在《芯片产品线经理生存指南》出版以后，因为疫情影响，全球的芯片供应链发生了剧烈的动荡，大公司经常供应中断，从而诞生了许多小公司的历史™机遇!而几乎同时，国家又出具了大量对芯片行业利好的扶持☂政策，包括设立科创板，使社会上有更多投资芯片行业而成功退出的渠道，因而出现了大批的初创公司?在国内芯片投资暴热数年以后，现在因为宏观经济调整，和上市门槛的提高，市场❁上较Ξ好的标的已经很少，于是投资兴趣又开始冷却！如果我们的视线转向硅谷，其实自从80年代以后的漫长岁月里，大型投资机构对于芯片行业失去了兴趣，一般的认为是这个行业已经发展成熟，变成像钢铁或者化工这样的产业，拼的是生产，而不多的一些芯片投资主要集中在EDA等少数方<向!而相反，90年代以来，中国台湾的芯片代工业和设计业则受到当地政府的扶持☂而得到了大规模的发展，使美国在芯片市场❁上的份额在不断减少;但是在2007年，iphone出现以后，对移动处理器，存储芯片等产业，带来极大变局，高通，AMD，ARM等公司吃到红利，一举超过那还坚守在PC端的老大哥英特尔;在2012年，特斯拉的ModelS量产以后，给功率芯片，自动驾驶，图像处理等领域带来大量热度，于是随之诞生了一批初创企业;仅以碳化硅行业举例，本来规模非常小，而在特斯拉Model3采用意法电子的碳化硅之后，迅速成为几十亿美元的较Ξ大市场❁!近几年来在硅谷乃至全世界芯片业界的最大热点，莫过于英伟达和随之而来的AI芯片热潮，英伟达不止™提供AI芯片本身，而且提供基于不同集成度的大量系统方<案和整体生态，已成垄断之势?更重要的是，英伟达的各种板卡☂和系统上不可能只有一两颗自己的芯片，因而也带动其他芯片供应商的业绩一路飘红，比如存储，运算，通讯，电源，等等，都大有想象空间，最近遇到的一位华人创业者，就在GPU的分区运算方<面做很多创新工作!我们知道在未来，也许由无人驾驶，边缘计算，AR/VR等汇集而成的AI社会，需要大量的能源和算力，将使人类的生产力再上一个台阶，在人类不需疲于生产时，又由此诞生大量的消费力量，从中诞生的芯片机遇，实在难以衡量!我们再展开想象，这个地球如果主要的物质是金属，大概没有多少生物能够存活，仅仅雷电就能造成极大的破坏!而如果地球主要的物质是玻璃，那么我们生存的世界应该是个接近石器时代的沉默社会?今天地球的主要物质是硅酸盐，看似毫无作用，但是在提炼以后，我们可以通过化学和物理手段来控制其成为导体或者绝缘体，从而实现了一切的电力输送，科学计算，无线通讯，数据存储和宇宙飞行;今天人类的科技进步无不依赖于芯片技术，而我们感叹于造物的奇妙和人类的智慧，简直是奇异之恩典（AmazingGrace）？在苹果公司带给芯片业界10年的增长以后，特斯拉又给业界10年增长，现在也许英伟达要接棒了，而华为公司，更是全国芯片行业最重要的扶持☂者?希望每10年有这样一家或数家快速成长的伟大企业，让我们时刻体会到时代的脉搏；俞志宏在发表新书出版感言时，还公开了一段因宣传原因未收入《运营之道》的内容，其中的观点在行业当中也非常具备启发性，大家不妨来看一下！以下是正文：这几年因为设立科创板和国家资本对芯片领域的扶持☂，民间资本有了更易退出的渠道，因而对芯片的投资极其火热，简直没有机构不投芯片，甚至以往看互联网和娱乐项目的投资人也在转换赛道？但是到了2023年的今天，曾经因缺货导致的短暂繁荣不再延续;因为国内多数芯片公司都着重于消费电子市场❁，因为经济周期的影响，业绩萎靡不振，许多投资者就开始打退堂鼓了？在互联网时代成长起来的投资人和管理者，对芯片工业的特质缺乏了解，抱着多招人→迅速出产品→降价抢市场❁→上市的想法来希望改造此产业，对于创新的需求却考虑不周；今天因为EDA,IP，设计产业等大发展，如果不需要创新，则绝大部分功能模块不用从头做起，初创公司如果能投入足➨够多的资金，尽可以站在前人肩膀上快速做一款大芯片，但是这样设计出的大芯片也只是亦步亦趋，欲速则不达，在市场❁上没有竞争力；今天比较Ξ成功的芯片公司，不论国内外，当初成立时总是抱着基业长青的目标，争取在极细分市场❁内有竞争力，再徐图发展;ADI公司在2018年时写了一部取名《创新引擎：ADI的最初50年》的小书，ADI公司专注于高性能模拟和混合信号芯片，在2022年的收入是120亿美元，毛利高达7成，净利高达5成，在大型芯片公司里独树一帜，甚至可以比肩最成功的部分互联网广告公司？这里摘录一部分50年来令人深思的故事而加以转述；作为公司基业长青的印♛证，可以看到公司发展不可能一帆风顺，ADI经历过许多次重大的公司转型和竞争者挑战，唯一不变的是坚持☂以人为本和以创新为本的发展战略!1产品战略的几次重大转型ADI很早就认识到在高科技领域是适者生存的，公司或者选择进化，或者被淘汰？为保证长期发展，公司必须是个不断学习的组织，感受到商业环境发生的变化，从而适应和进化；从模块到集成电路ADI在60年代成立时的产品是将离散器件装配成模拟功放模块，只是电子公司而非芯片公司;而在集成电路发明以后，虽然当时的性能还远比不上模块，但是创始人RayStata意识到体积极小的集成电路必然代表未来，公司必须学习如何设计和制造集成电路！当时公司已经上市，董事会觉得模块业务非常赚钱，并不喜欢投资集成电路的风险，而且仙童，国半等公司已经走在前面，ADI又毫无这方<面的经验?Stata于是以自己在ADI的股票为抵押，向银行借钱成立了一家初创公司NovaDevices，其产品由ADI销售!两年后Stata以成本价将此公司卖给ADI，到70年代时集成电路已经贡献了ADI的一半销售额，而今天再看，原来那古老的的模拟功放模块早已退出市场❁数十年;如果在60年代末没有开始转型，ADI可能早已消失在历史™长河中！从电路组装到全面转型进入集成电路行业，这样能够成功的公司极其罕见？其变化之大，大约和诺基亚放弃，转而在电信市场❁里大获成功类似!从中小客户到大客户，从工业市场❁到消费市场❁ADI在早期的成功之道，是设计普适的高性能标准产品，销售给数千家中小客户，这些客户集中于航空，军工，仪器和工业市场❁，虽然采购数量少，但是追求最高性能，愿意支付高价，而且十年以上都不会切换供应商？这种模式类似于几十年后《Wired》主编ChrisAnderson提出的长尾理论；当时ADI的策略是只要产品性能是最好的，那么无所谓开发要花多久，也无所谓成本是多少，也无所谓什么时候量产，因为永远有客户在等着用；然而当电脑<，通讯和消费类市场❁在80年代开始井喷以后，此类市场❁的特点是：单一客户的规模极大，要求更针对性的开发，有类似ASIC，ASSP，SoC的需求必须在特定的时间窗口内量产，并能够生产大批量的产品每年有降价的压力，对生产良率和供应链有较Ξ大挑战?在兼顾ADI的传统客户群和新兴市场❁的过程中，ADI经历了相当大的变化？80年代时索尼为CD机的设计而找到ADI，为数模变换器AD569询价！当时ADI报价15美元一颗，索尼只愿付几美元，ADI就拒绝了这笔生意;然而竞争者Burr-Brown公司（后为TI收购）接受了挑战，在很短时间内就设计出了更便宜的版本，而出货数百万颗;这件事就像是煤矿里的金丝雀一样给ADI管理层以警示，认为自己在成本控制和市场❁策略上需要做出调整!过了几年，当索尼又为了手持☂摄像机设计而找来时，ADI创造性地集成了更多性能，而最终创造了模拟前端这类全新芯片种类?不但拿下了索尼，而且进军了数字相机，数字打印♛机，彩色扫描仪等多个市场❁！设计师Chris后来回忆道“索尼让ADI从各个角度都变得更好，包括设计，制造，质量管理，客户服务等各方<面”?从此以后，ADI的常规做法是以标准产品打入客户，了解到客户的细节需求，再用性能更加优化的特制产品去紧紧绑定客户？从零部件到系统方<案在电子工业的全球化进程开展以后，ADI的客户越来越不需要在公司内部整合全产业链，许多公司专注于经营渠道和品牌，而将部分甚至全部产品的设计和生产都外包到其他国家?这样带来的机遇，是客户需要芯片公司对具体应用有更深入的了解，能够提出整体的解决方<案，这样便于系统整体优化和供应链的简化，而芯片公司也能够出售更多芯片给同一客户？因此，ADI以及其他大型芯片公司，决定将产品战略从只做零部件，到提供目标市场❁的整体解决方<案！在公司规模极大以后，采用整体方<案战略的问题是，需要所有产品部门的更多协作;产品部门原来各有投资的侧重点，整合协作有一定难度！因此今天ADI不再以具体零部件而划分业务部门，而以具体应用划分;比如在官网上可以看到，分为工业，汽车和通讯，消费者，数字业务，医疗健康等五大业务部门!如此各部门可以深耕具体应用，开发更高集成度的产品方<案，而非只是简单零部件的累积;从IDM到Fab-Lite在芯片工业的早期，每家公司都是IDM，然而ADI非常清楚自己很难与那些有大资本加持☂的IDM公司比规模；因而在台积电创立以后，ADI很快成为其最早的客户之一，90年代早期时其所有DSP产品都由台积电代工，张忠谋先生曾一度加入过ADI的董事会！也许不为人知的是，根据2015年的记录，ADI是使用过最多台积电的工艺，流B片过最多产品的公司（而且可能今天仍然是），与台积电有互相交换工艺等深度合作？ADI并未完全成为无厂设计公司，因为仍然有相当多的独特工艺，因此现在与代工厂还是各取所长，来灵活配置自己的供应链?1长期主义
