如何打造一個拖垮公司的大模型？

Question

來源：特大號作者：小黑羊今年大模型實在太火**如何打造一個拖垮公司的大模型？ **不多不少，共分10步![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-4087b95206-dd1a6f-6d2ef1) ▼做大模型，要有大格局捨不得孩子套不著狼![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-9027209382-dd1a6f-6d2ef1) 什麼X100、Y100…專挑算力強的買![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-bc5ac2bd38-dd1a6f-6d2ef1) 正規通路沒貨了？不能慫！加價也要整起來![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-45fceffe81-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-01c60ca40f-dd1a6f-6d2ef1) ▼必須是業界扛把子級別的大牛就職於頂流AI公司如“CloseAI”經常在各種會議上打亮出鏡的那種![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-e7034c98d4-dd1a6f-6d2ef1) 能把整個團隊帶過來最好成建制、好管理、出活兒快![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-e167a28434-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-a94a5ad0a4-dd1a6f-6d2ef1) ▼模型參數至少要萬億級別當不成捲王，就只能被捲死![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-523bede472-dd1a6f-6d2ef1) 再來個「智算中心」算力至少達要1000PFLOPS自己訓練完大模型還能把算力開放出來給同行![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-8df6cf7c95-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-cd423b3019-dd1a6f-6d2ef1) 數據不夠怎麼整？公開一部分，自有一部分，交易一部分![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-dfa2eb5ff2-dd1a6f-6d2ef1) 拿到資料後，得清洗處理全體動員做標註老闆親自下場，主打一個陪伴![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-ef19d2c0ee-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-2336657667-dd1a6f-6d2ef1) 伺服器掛了，儲存速度跟不上了跨卡性能不行、梯度消失、梯度爆炸....![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-72995f643e-dd1a6f-6d2ef1) 什嗎？ ！ Checkpoints沒保存？反覆回退，反覆調參，反覆排雷![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-3d14a59d14-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-51e13aba67-dd1a6f-6d2ef1) 問題一多，團隊就亂了人都變得很浮躁![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-b3c20db4ea-dd1a6f-6d2ef1) 公司原有的主要業務停滯不前，業績下滑![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-89226483c2-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-d3bfaf0464-dd1a6f-6d2ef1) “**我們來了**”廣告要全通路、全媒體覆蓋![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-6562ae48e1-dd1a6f-6d2ef1) 必須要業界感知到我們來勢洶洶的霸氣![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-95019cbc7f-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-bab4ecaecf-dd1a6f-6d2ef1) 先結盟5000個合作夥伴達成意向合作![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-35a8caeaba-dd1a6f-6d2ef1) 第二天大家聯合發新聞稿必須讓吃瓜群眾充滿期待![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-319aa1945a-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-e57e0e340e-dd1a6f-6d2ef1) 練是練出來了看起來有點不對勁莫不是個「大傻子」吧![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-89e3cdb552-dd1a6f-6d2ef1) 落地實施，那叫一個難不知道給誰用，不知道去哪裡用![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-0fcc5b58a7-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-d15a28957a-dd1a6f-6d2ef1)  ![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-35a31317c5-dd1a6f-6d2ef1) 然後開始複盤多麼痛苦的領悟![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-a7fe682622-dd1a6f-6d2ef1) **大牛來了又走了****算力卡買了又賣了****智算中心建了又拆了****大模型煉了又廢了**![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-a60491b4e4-dd1a6f-6d2ef1)