跨界的危险

最近几个月断断续续在读介绍 NVIDIA 和黄教主发家史的传记：The Nvidia Way: Jensen Huang and the Making of a Tech Giant。虽说整本书读下来就像一篇巨长的科技报道，有极强的流水账之感，不过还是有不少值得自己深思的地方。后面会陆陆续续记一些下来，这篇主要是针对第 10 章 The Engineer‘s Mind 中四位 CEO 的经历谈谈跨界的危险：当一位不太懂技术的领导者领导一家技术公司时可能出现的问题。

首先是 Gerald Levin。他于 2000 年主导了著名网络公司美国线上（AOL，America Online）与时代华纳（Time Warner）的合并，维基百科把这次合并称为“the biggest train wreck in the history of corporate America”。在 The Nvidia Way 中，当作者询问 Levin 关于他打算如何使用合并后企业的技术和平台时，他只是一个劲地在向作者介绍 AOL Instant Messenger（一款即时通讯软件） 功能是如何如何强大，并不了解 AOL 的产品实际是如何运作的，因此作者便合理地怀疑这位不太懂技术的企业经理人（business executive）能否掌舵 AOL 这艘巨轮。从 AOL 合并结果来看，作者的担心得到了印证。

第二位是曾任微软 CEO 的 Steve Ballmer。对于 NBA 球迷来说，他比较知名的一个身份就是洛杉矶快船队老板。实际上 Ballmer 的身份不止这一个：他曾在宝洁（Procter & Gamble）做过市场经理，后来在斯坦福读了 MBA，1980 年比尔盖茨则亲自将其招募麾下。虽然 Ballmer 有丰富的市场经验，但是在技术领域却是个小白。2000 年他代替比尔盖茨成为了 CEO，但作者提到在任职期间 Ballmer 不仅错过了移动计算（主要是智能手机和平板电脑），而且还发起了一系列失败的收购（包括针对 aQuantive 和诺基亚），Ballmer 在微软任职的十四年内微软的股票下跌了 30%多。

第三位是曾任苹果 CEO 的 John Sculley。可能有的人听说过“你是想卖一辈子糖水，还是想要改变世界”这句话，其实就是乔布斯当年招募 Sculley 来苹果时对他说的话，谁知因为意见不合 Sculley 在 1985 年把乔布斯从苹果董事踢了出去。Sculley 本身是市场专家，在执掌苹果公司最初的确也把销售额提升了不少（书中提到他通过不断加价的方式销售苹果电脑），但随后却因为对技术路线的错误决策（比如推出看起来很酷炫但实际使用体验很糟糕的掌上电脑 Apple Newton）而导致苹果的市场份额迅速下滑。

最后一位是曾任英特尔 CEO 的 Bob Swan。财务背景出身的 Swan 以首席财务股的身份加入了英特尔并在 2016 年成为了 CEO。Swan 就任期间，英特尔不仅在芯片技术的发展上落后于对手，而且他在 AI 芯片领域也未制定一个坚实而长久的计划，大量的资金耗费在收购来的几家无法往同个方向一起出力的初创公司上，据说是因为 Swan 由于没有技术背景，所以很容易就华而不实的 presentation 给打动。2019 年英特尔又收购了以色列 AI 芯片初创公司 Habana Labs，同时又叫停了于 2016 年收购的初创公司 Nervana 正在研发的一款芯片，相当于前功尽弃。其实在收购 Habana 之前，英特尔就已经致力于多个 AI 芯片解决方案（CPU、FPGA、自研 GPU 等），再加上一个 Habana，实在无法集中精力干大事。

因此，本书作者就提到了一个叫做“anti-Darwinian”的理论，它是由美国投资者 Carl Icahn 提出的。作者是这么形容这个理论的：Much of corporate America mismanages the succession process in choosing new CEOs. Icahn observed that competent executives often get sidelined in favor of more likeable but less capable ones because of behavioral incentives inside companies. The personalities who ascend the corporate ranks resemble college fraternity presidents. They become friendly with the board of directors and are not threatening to the current CEO. They’re not prodigies, but they’re affable, always available for a drink when you are feeling down. As Icahn put it, these figures (they are mostly men) are “not the smartest, not the brightest, not the best, but likeable and sort of reliable.”

相比之下黄教主则属于技术狂和工作狂，书中提到这么几个例子：

  • 一位 NVIDIA 的早期投资者 Tench Coxe 说：“When you meet Jensen Huang, even with dozens of other graphics companies, you realize this is a guy you want to do business with. What made him great is he is an engineer and he is a computer scientist”

  • 前销售主管 Kevin Krewell 曾在 2016 年机器学习顶会 NeurIPS 召开的地点偶遇黄教主，他问黄教主来这干嘛，毕竟有没有安排他做演讲，黄教主回答说：“I'm here to learn”。原来是来了解最前沿的 AI 技术，顺便来会议上挖一些牛人去自己公司（的确是个挖人的好办法）

  • 一位营运高管形容 NVIDIA 的工作强度比24/7 还要狠——25/8。这位高管说：“I’m not kidding. I wake up at 4:30 a.m., and I’m on the phone until 10:00 p.m. It’s my choice. It’s not for everybody”。正是黄教主的工作态度塑造了这种公司文化：比如他出去度假大部分时间在酒店的阳台上发邮件，去看电影根本不记得电影讲了什么因为全程都在想工作的事（好吧，该玩的时候还是得好好玩，陪伴家人也很重要），难怪他能说出“I work every day. There’s not a day that goes by I don’t work. If I’m not working, I’m thinking about working. Working is relaxing for me”这种话（这是在凡尔赛自己旺盛的精力吧）

  • 有次在做一个 Wi-Fi 有关的项目时，产品经理 Ali Simnad 如此回忆黄教主对该项目的理解：“Jensen was very scary. You would go to a meeting and he would know more about the product than you do. He knew everything. In every meeting we attended, he was probably the most prepared person”

评论

发表评论

此博客中的热门博文

NVSHMEM官方文档部分内容总结

图片
Using NVSHMEM 1、NVSHMEM 简介 针对 CUDA 设备实现的基于 OpenSHMEM 的规范（PGAS 并行编程范式，partitioned global address space） OpenSHMEM 和 NVSHMEM 的区别 NVSHMEM 通信过程中所有的 buffer arguments 必须是对称的 Block 中线程进行 fetch 操作时只能保证数据的 weak ordering（如需强制顺序则要显式调用 nvshmem_fence，其会保证在 fence 之前的所有操作以保证内存一致性） 支持单边通信的方式：通过 Verbs API 或者 UCX 进行 IB 或 RoCE 传输 2、NVSHMEM 优点 支持多 GPU 间直接进行 data movement 或 synchronization，而无需考虑和 CPU 之间的互动之类的操作带来的 overhead 支持通过 composite kernel 实现 comp 和 comm 的 overlap 3、MPI 的问题 可能会引起 shared data 读写的 high locking/atomics overheads Message ordering 会引起 serialization overheads 接收方在发布描述符之前收到数据会引起 protocol overheads 4、NVSHMEM 对应的 addressing model（类似 PGAS） 一个 NVSHMEM job 中的所有 PE 必须同时被初始化，在 job 退出前也需要同时 finalize 通过 CPU-side NVSHMEM allocation API 可以在 GPU 上分配（必须是）大小相同的 shared symmetric memory（而其他方式开辟的内存则属于 private memory） 每个 PE 上的 symmetric memory 对其他 PE 均可见且可操作（通过 NVSHMEM API） 通过 NVSHMEM 分配 API（如 nvshmem_malloc ）返回的对称内存地址对于调用该 API 的 PE 对应的 GPU 来说，是一个可以通过 CUDA API 或者 Load/Store 操作直接访问的有效内存地址。因此如果仅需要对本地 PE 的对称内存进行...
阅读全文

DeepEP原理分析（一）：low latency模式特点总结

图片
 一、双缓冲模式 双缓冲模式是一种常见的提升数据发送效率的方法，数据的发送和接收往往有延迟。如果只用一块缓冲区，必须等通信完成后才能复用这块内存。而使用双缓冲则让通信任务和数据准备任务同时进行，有效隐藏通信延迟，提高整体吞吐。该方法涉及两块缓存，第一块缓存用于当前数据收发时，也会对第二块缓存会进行清理以准备下一轮的数据发送。例如下面的 low latency dispatch 代码中第一块缓存为 buffer，第二块为 next_buffer，它们均为 LowLatencyBuffer 结构体，位于显存（rdma_buffer_ptr ）上 当 dispatch kernel 利用多个 SM 和 buffer 进行数据收发时，最后一个 warp 中的第一个 SM 也会对 next_buffer 进行清零操作，这样当下一次进行 combine 时可以直接复用刚刚完成的 dispatch 过程中准备好的 next_buffer，而 combine 过程同样也会为下一次的 dispatch 准备好 buffer。buffer 和 next_buffer 见的切换通过“异或”操作进行（^= 1），每进行一次异或操作 low_latency_buffer_idx 的值就会从 0 变为 1 或 1 变成 0，这样每轮 dispatch 和 combine 的过程就能错开利用两块 buffer 二、zero copy 原理 在 test_low_latency 测试脚本中有个叫做 test_func 的函数，该函数允许调用者手动设置是否使用 zero copy 模式来进行 combine。顾名思义 zero copy 指在 combine——也就是各专家将 dispatch 过程中收到的 token 计算完后的结果发回 token 所在的原 rank——该过程中无需将 token 计算结果拷贝至 RDMA 发送缓冲区，而是直接将让 combine 发送缓冲区（combine_rdma_send_buffer_data_start）指向计算后结果（simulated_gemm_x） 其关键作用的便是 get_next_low_latency_combine_buffer 函数，里面会使用 from_blob 方法，该方法会根据传入的原始数据指针创建一个引用（而非复制） 指向...
阅读全文

用时间对抗时间

图片
虽说这篇随想的标题叫“用时间对抗时间”，但实际上每个人都明白没有人能赢过时间——从死亡的角度来说，没有人能够让时间停止或倒流，每个人都不可避免得不断逼近自己死亡的时刻。说什么医学或科技能让人永生的那都是扯淡的，这些最多只能延寿。从技术和哲学意义上来看肉体“永生”这件事是很荒谬的，比如瑞典哲学家 Martin Hägglund 认为如果人类获得了永生，反而会发现人生不再有什么是值得为之过活的（ there was nothing left to live for） ，想要战胜死亡的人如果真的美梦成真，那么他们付出的代价比死亡更严重，即失去人生意义。 扯远了。其实我是在一个周末在家撸铁的时候突然想到这件事的。时间是魔法，它让少男少女越发俊美，拥有不断增长的体力精力，却也让中年人的容貌变老、身体机能变得衰弱，活的越来越无精打采；它有时候能够抚平一个人内心的创伤，有时候也能让一个人的痛苦越发剧烈（前段时间看到的一篇文章《 那些父母离世的年轻人 》里提到许多人在多年后仍然无法对年轻时失去父母这件事感到释怀）。那么面对这样的魔法我们是否就无能为力，任由它操控我们的身心状态？这是虚无主义者的借口罢了，我们虽然无法打败时间，但我们可以用时间对抗时间、用魔法对抗魔法。 从锻炼身体的角度来说，五个工作日中，我尽量安排两天晚上能够做下 Zone 2 范围内的有氧（主要就是用壶铃做中等强度的有氧，我的本体感觉告诉我高强度有氧对自己的绝对力量有一定影响，是否真的如此有待后面看看专业人士怎么说），一天晚上做对于神经没有那么大压力的上肢力量训练；同时周末两天分别进行大重量力训（深蹲+硬拉）。作为九零后我已经过了三十岁的年纪了，从正常生理机能的发展来看，心功能、肌肉量和骨密度等指标即将（甚至已经）开始走下坡路，面对这一事实我无法坐以待毙，于是我选择用时间去不断维持甚至提高我的肌肉量、骨骼强度（我发现我最近一段时间体重略微有些涨幅，感觉似乎增肥增肌了）。我知道有一天我的腿还是会变成细狗样，但尽可能延缓身体机能衰退的时间这一行动本身我认为还是挺有意义的，套用里尔克的名言：面对时间的侵袭，有何胜利可言？挺住就是一切。前几天我还收到了 Stronglifts 5X5 训练法创始人 Mehdi Hadim 的一封 newsletter，里面如此回应年轻时不想练腿的人： 除了锻炼，每天保证营养丰富的饮食、拿...
阅读全文