美股財報週,各大科技巨頭如 Google、微軟、Amazon 等皆舉行了法說會。在這些法說會中,AI 再度成為了眾所矚目的話題,不論是公司或是分析師都圍繞著此議題展開討論。我們除了解析各家科技巨頭在法說會上所提及的 AI 技術外,也分享了我們對自身的觀點。此外,在台積電的法說會中,我們從法人的提問中,挖掘其中的弦外之音。
你可以在以下平台訂閱收聽:
- Apple Podcast
- Spotify
- Google Podcast
- 其他任何你收聽 Podcasts 的平台
這邊是一些訪談精華片段
市場對 AI 熱度不減
04:45 本季電話會議中提到 AI 的頻率明顯增加。台積電法說也被問到相關議題。
08:04 隨著使用人數增加,AI 能夠應用的情境也會變廣,Low Code 風潮降低 AI 對於 Coding 的需求。
15:00 自從 ChatGPT 導入 New Bing 後,Bing 的每日活躍用戶已超過 1 億。
18:55 在美國後續景氣不明的狀況下,儘管 AI 在長期趨勢看好,但目前的營收占比尚小。
台積電法說弦外之音
21:24 台積電出乎市場預期不調降資本支出。
24:10 台積電表示 AI 營收貢獻無法估計,但透過對於市場先進封裝的回應,可以推論出對於 HBM、AI Server 明年之後的長線趨勢樂觀看待。
AI 浪潮將拉動記憶體長線需求
25:35 多間企業表達 AI 產業的興起,將帶動長期的記憶體的需求成長。
30:14 AI 如果要發展在 Edge 端的應用,與記憶體、ASIC 有重要關係。
訂閱財報狗新聞: https://statementdog.substack.com/
Podcast 業務合作聯絡信箱: business@statementdog.com
財報狗社群
本集逐字稿
威宇:歡迎收聽財報狗 Podcast,我是主持人威宇。在我旁邊的是財報狗的投資總監 Sky。
Sky:哈囉大家好。
威宇:之前康友-KY 做假帳、涉嫌掏空,這件事情就是自救會出來。
Sky:看起來是沒救了。
威宇:每次只要有什麼地雷爆掉,或者是任何人、什麼公司出問題,都會有自救會出來。這次也有這個自救會,這次的這個投保中心求償了 53.4 億。它的一審在 4 月 20 日出爐了,連簽證財報的勤業眾信會計事務所也要擔負 25% 責任,兩名會計師各約罰了 13.35 億賠償金,總共是 26.7 億,會計師欸。
Sky:這好像是會計師罰最多的一次。
威宇:我不確定有沒有那麼多,可是你就想,哇。
Sky:你說台灣。
威宇:當時出來其實大家沒有人在可憐康友,反正那個錢大概也很難追回來了。這個董座都不知道去哪裡了,抓不到人了這樣,會計師有點慘。
Sky:對,會計師已經好像是他生涯最後一役,然後就爆掉了。
威宇:真的是爆掉了。
Sky:說實在的這個會計師看不出來,被判罰活該。
威宇:什麼?
Sky:沒有,它那個其實,它是高階假帳。你如果純粹看財報也看不出來。所以這個真的是會計師要把關的,自己覺得。
威宇:所以其實就是他現場查核不夠。
Sky:對,他就是沒有揪出來,它那個純看財報是真的看不出來,我記得以前好像討論過。
威宇:就是你純看數字看不出來。
Sky:對,你看數字是看不出來。因為它那個數字是假的,所以你看不出來。
威宇:你一定要現場看到東西,那也不可能一個一個點。比方說存貨,也不可能一個一個點,你就要去推估;你也要知道它擺了那麼多箱,到底是不是裡面都有東西。
Sky:它連錢都是假的,像這種就最難,固定資產現金都是假的。這個你要去查帳才知道,不然怎麼知道?
威宇:這個要查帳,也很難查到。
Sky:固定資產一定要勾稽,現金那個一定要函證,還要分析這個函證是函真的、函假的,大家搞什麼飛機,這個你都是要去當場可能會有一些端倪。我們沒有去,我們不知道。但是我覺得這個算是看財報看不太出來,這是高級班。
威宇:我是沒有看過這個判決書,不過看到會計師被判罰 10 幾億,這個也是滿辛苦的。
Sky:對,你懂,民事求償到最後,不一定會拿那麼多錢。
威宇:這個真的是會計師要繳嗎?還是勤業會出來?
Sky:勤業應該要負責任,因為畢竟它是合夥制,你知道嗎?合夥。
威宇:所以其實它是對公司。
Sky:不是,它是合夥,事務所是合夥,合夥就是無限責任。
威宇:所以這個錢是一定要繳出來的錢?
Sky:不一定,不一定會罰這麼多,但合夥制的這個法令我不清楚。合夥制理論上都要付,付不出來,公司就倒了,合夥不一樣喔。
威宇:對,因為有限公司就是有限責任,我能夠付的付,我沒有錢了,那我就倒閉。
Sky:這要看它們要付多少錢,我不是很清楚。我只是說以過去學的,合夥看起來比較麻煩,因為它等於是合夥人。我想事務所就是負擔一定程度的責任,事務所又不會倒。
威宇:事務所不能倒,勤業一倒這個也很精彩。
Sky:沒有,會計師法一定有其他規範,我不是很確定,但這真的判很多。
威宇:好,另外一個是我們最近在財報狗學院的 PressPlay,我們有上架 DRAM 產業循環、網通產業升級 400G 的投資機會,還有 NVTS 的報告,有興趣的朋友都可以訂閱。
接下來進到今天的主題,這週是美股財報週,其實這週比較多的是科技股。各種 Google、微軟、Meta,像特斯拉也有。
Sky:特斯拉應該是上一週。
威宇:對,可口可樂漲價了,漲一波。
Sky:漲一波,可口可樂可以說是最抗通膨了,你有種不要喝感冒糖漿啊?不是。
威宇:可口可樂最近出了一個新的口味,你有喝過嗎?蘋果口味的可口可樂。
Sky:青蘋果嗎?
威宇:不是,就是黃色的蘋果。
Sky:那不就是蘋果西打?
威宇:看起來那個顏色很像維大力。
Sky:我看過,金蘋果,那個我喝過。
威宇:好喝嗎?
Sky:我覺得沒有什麼記憶點。
威宇:它說是經典可口可樂,加上蘋果尾韻。
Sky:不是,它長得有點像啤酒,百威有出過一個金色的包裝。
威宇:它長得很像維大力。
Sky:也是沒錯。對,反正就不像可口可樂。
威宇:我最近在幾個販賣機有看到這個包裝,覺得很想買回去。而且像剛剛那張照片,你知道我是在健身房裡面看到的。
Sky:一邊減肥一邊增肥。
市場對 AI 熱度不減
威宇:滿期待的,這幾天找時間來買一下喝喝看。回到這個財報週,你有沒有對哪些公司的財報說你覺得滿有趣的,可以來看一下?
Sky:有趣,我們最關注的就是 Google 跟微軟,我就是很期待它們瘋狗相咬,大家互相罵對方的 AI 很廢。
威宇:這次很像沒有講對方的 AI 廢不廢。
Sky:對,沒有,我有點失望。
威宇:因為它們這個畢竟是電話會議,比較是對投資人,我覺得在技術上面的說明也比較少。
Sky:幾乎沒有說明,但是還是一樣有秀一下大家的肌肉。
威宇:有嗎?
Sky:有,我先講一個有趣的數據,早上看到有人統計了它這次法說會講幾次 AI。超白癡,Google 比較多,Google 50 幾次。
威宇:你說法說會講 50 幾次 AI?
Sky:對,等一下這張圖一定要給大家看一下,太白爛了,我就覺得大家對 AI 真的是很有熱情呢。
威宇:對,現在不講都不行了。
Sky:算這些有的沒的。
威宇:其實看起來沒有變多。
Sky:有,這個是上一季。你說它是相比 Q4,像 Google Q4 是 32 次,Q1 就 55 次,大幅成長,不愧它 Earning 是有 Beat;這個 Microsoft 也是有提高,變 40 幾次,所以現在就是看誰講的多就贏。
威宇:我覺得應該這很明顯會是一個滿大的變革,不管是提供 AI 給別人的產品使用,或者是在自己的產品裡面加入 AI,我覺得微軟跟 Google 在這方面,其實的確就是這兩家是最有機會的。
Sky:對,但我們這是開玩笑。因為其實你就算聽台積電法說。
威宇:它也不再講了。
Sky:就算它不講,分析師也狂問,一直問你說你有 AI 嗎?你懂 AI 嗎?AI 你覺得怎麼樣?讚不讚?你這個 AI 可以賺多少錢?直白一點,裡面有多少晶片,對不對?狂問,聽一聽我就想說我是不是來錯場了?
威宇:最近亞馬遜 AWS 在台灣也一直有在辦這個 GenAI、深層式 AI 的工作坊。
Sky:有,上次 AI Expo 有看到它們在分享。
威宇:那個 IG 廣告打超兇的,我每天滑都會看到。我就直接問我們工程師說,有沒有興趣去報名一下?
Sky:我以為是因為是妹子,所以才問他。
威宇:不是,問我們工程師好不好?大家都了解一下怎麼樣去使用這些東西,因為亞馬遜跟 Google、微軟,一直都是不一樣的策略。Google 跟微軟的策略一直都是我提供 API 讓你用,或目前為止。
Sky:讓你用爆。
威宇:對,就你就是直接借我 API,可是亞馬遜一直都不是。亞馬遜看起來它們的策略都是你把這個模型建在我的 AWS 上面,它好像還是會有一點點在架模型的這件事情,而不是直接 Call 一個 API 來回就好了。
Sky:我記得以前它那個生態系的 Tool 是最完善的,AWS 那個東西。
威宇:以前是,可是我覺得這一波的 AI 浪潮之所以起來,主要真的還是因為像我們在跟李宏毅老師的那一集裡面有聊到,我覺得主要一個很大的關鍵還是在 OpenAI。它們開放了很多的 API,讓很多不會建模型的人也可以玩這件事情,其實是關鍵的。亞馬遜還是不走到這一步,我就會覺得我可以想像它們終端應用就會比較少。
Sky:所以我們早上其實有討論,你要不要會寫 Code?如果不會寫 Code,可不可以用 AI?我覺得這件事情是很重要的,它其實代表的是你創業的門檻是高是低。
威宇:沒錯。
Sky:但你說寫 Code,如果寫 Code 是一個很籠統的一個說法,你說我們每個人多多少少會寫一些程式?會,但是你要會寫多難的程式、多精細的程式或是哪一種語言的程式?這個就是進入門檻的高低。
威宇:像這幾年其實很流行一個詞叫 No Code。
Sky:是。
威宇:No Code 就是不用寫任何一行程式碼,你就能夠去做出一個產品,背後其實就是各種的 Integration,你就是接一接、接一接。再到後來大家發現說你要 No Code 做出來,真的是有點難度,不然我們寫一點點叫 Low Code,就是一點點的 Code。
Sky:平常就是 High Code。
威宇:前幾天我就有看到一個 YouTuber,他在教學一個東西滿有趣的。你把你的音檔放到 Google Drive,或者是放到 Dropbox,然後你放完以後,它就自己會把這個流程全部接起來。不用寫程式碼,它就直接幫你產生一個 Notion 的頁面,這個頁面就會有它的摘要跟這個音檔的逐字稿。
如果你的音檔不長,比方說可能 20 分鐘以內吧,我的印象中,20 分鐘以內,你就是直接上傳。你不用寫程式碼,它就全部幫你做好。可是如果今天你的音檔比較長,可能兩個小時,那你就再寫一點點程式碼,它也可以幫你做好。
Sky:聽起來非常棒。
威宇:我覺得它很棒。
Sky:感覺就是每一個動作本來都要寫一個程式去做。
威宇:對,它全部幫你串好,而且這有好幾個步驟,你音檔要先變逐字稿,逐字稿要再摘要,然後你要再把摘要跟逐字稿全部都放到 Notion 裡面。其實有好幾個動作,那這個影片就教你把它怎麼樣全部串起來,基本上程式碼就寫一點點或者是不用寫,我覺得滿方便的。
Sky:我自己覺得 No Code 這個東西,滿大程度降低了所謂的進入障礙,創業。
威宇:對。
Sky:為什麼我會覺得終端產品會有一波的這種興起,就是因為真的是隨便來弄,你只要有好的想法。
威宇:沒錯。
Sky:你去 Call 它的 API 來用,你可以把它包裝成一個好的產品,賣得出去,你真的就是一個創業題目。
威宇:不過我自己會覺得,也是因為很好用、很容易建一個產品。所以你的產品要有差異化就很難,到最後很有可能在比拼的是什麼?比拼的是你的行銷手段,因為大家其實在做的東西都一模一樣,你要怎麼樣讓別人快點抓到更多的客人?
比方說我們就舉一個例子就是 Linktree。你知道像 IG 不是有很多人點一個網址,然後底下就會秀出很多我的 YouTube 連結、我的 IG 連結、我的 TikTok 連結。像這個東西最早應該就是 Linktree 開始很紅,這個其實很簡單,所以其實有很多人都可以做,所以它一做之後,就開始有一大堆,國外有一大堆,台灣也有一些公司在做類似的服務。因為它就很單純,這個功能其實超級超級簡單的。
Sky:就抄就對了。
威宇:對,然後大家就會抄,可是抄到後來,像這種服務最多人用的就還是最多人用。因為反正都免費,所以大則很大。因為我一 Google,大家都推薦它、它又免費,那我當然就用它。最後其實我覺得這種很容易搭載的服務,比拼的其實是行銷。
Sky:這個我同意。但用在這些公司,它們很樂見這個創業的風潮。
威宇:沒錯,沒錯。
Sky:因為你的 Loading 就會變多,甚至微軟就很樂意你去串 OpenAI,因為反正伺服器在我這裡,要賺也是我賺。
威宇:而且這邊我可以 Update 一個我對微軟的誤解嗎?其實我不記得有沒有提過,有沒有在 Podcast 上面提過?我不太知道為什麼一般人會有意願使用 Azure 的 OpenAI API,應該說今天你去使用 Azure 的主要的原因,可能是報帳、或者是你公司可能在審你使用哪些服務。OpenAI 我知道它很紅,可是這個要經過一些流程什麼的;Azure 沒問題,這個我們已經審過了,有可能是這種像是內規或者是報帳等等的,會讓你想要使用 Azure 的 OpenAI API。
可是像我們不太有這方面的需求,那我們也使用 OpenAI 的 API 很久了,我就不一定會想要使用微軟?我本來就這樣想。直到最近,像我們這個禮拜我們要去申請 Azure 的 OpenAI API 了,為什麼?第一個原因是目前看起來,很像你從 Azure、從微軟那邊使用 OpenAI 的 API,它真的會比較厲害一點點,什麼意思呢?如果今天我們去 OpenAI 的網站,我們要去 Finetune Model,大家其實不太會做 Finetune,為什麼?因為 OpenAI 只讓你 Finetune GPT-3 的 Model,3.5 跟 4 都不讓你 Finetune。
Sky:太舊啦。
威宇:對,3 再怎麼 Finetune 會比 3.5 或 4 好嗎?可能很難,它們還是有些階段落差。可是 3.5 Finetune 在特定的情境下,有可能比 4 好。 OpenAI 只讓你去 Finetune GPT-3,但是如果你去使用 Azure 的OpenAI,它好像可以 Finetune GPT-3.5。
Sky:所以這就是它價值所在。
威宇:第一個是這個,第二個是什麼?大家都知道其實在模型的升級上面,我們之前有提過,對開發者或對使用的人來說,我們最大的一個興奮點是什麼,是 Token 變多,Token 就是字數。那 GPT-3 的 Token 是 2,000、3.5 是 4,000,GPT-4 目前主要是 8,000;可是 OpenAI 在發表會上面,其實有另外一個 Model 叫 GPT-4 32K,就是 32,000。
原本我以為,我們只要通過 GPT-4 的申請,我們就是 32K 那個也可以用,結果發現不是。就是我們去申請 GPT-4,我們能夠用的就是只有 GPT-4,像財報狗現在是不能夠使用 GPT-4 32K 的,怎麼申請,不知道?
Sky:拿錢?不是。
威宇:我們給它很多錢,我們給 OpenAI 很多錢了。你不知道怎麼樣去申請 GPT-4 32K。直到前幾天,一樣是微軟的顧問跟我說他們可以用,你去申請 Azure OpenAI 的企業版,你就可以使用 GPT-4 32K。我們就馬上申請,他直接給我表單,就說你去申請就對了,我就申請這樣子。所以我覺得真的看起來,微軟它們所能夠提供的 OpenAI 的服務,比你直接去跟 OpenAI 要來得更多。
包含現在 GPT-4 一般人使用的,它是不能夠解析圖像的。我們都知道 GPT-4 它是多模態、Multimodal,所以它能夠看得懂文字,它也能夠看得懂圖。可是現在大家去使用 GPT-4,你是沒有辦法讓它看圖的。
Sky:簡單來說開給你的是一個刪減版。
威宇:對,閹割版的,可是微軟內部都是可以看圖的。
Sky:我們必須要透過它們。
威宇:看起來是,看起來微軟在這一波不錯。
Sky:它這個是獨占的東西,有獨占的窗口。
威宇:看起來這個 Partnership, OpenAI 真的是給它們滿多牛肉的。
Sky:所以懂了。
威宇:懂什麼?
Sky:沒有,因為這個東西就是牽涉到 AI 這個產品要怎麼深化。因為其實如果你去看它的法說,它當然會說我們 AI-Powered 的 New Bing,那可能是未來的 Office 365。短期來說它這個東西,就是所謂的 Bing 導入 ChatGPT 的時間還不夠長。那當然看起來,它有提到說我們 100M 的這個 DAU,相比之前一定是有成長的,我會覺得大家在關注的一定是你在 Search Engine 這邊,到底可不可以提升你的市占率。
威宇:真的嗎?是 Search 嗎?
Sky:就 Search 跟廣告是一起的。
威宇:真的嗎?因為我會比較在意 Office365。
Sky:365 那是之後的,Office365 一定會是它的 Killer 的,這個它真的主要賺取 AI 的這個訂閱費的重點。可是你前段一定要 Prove 這個東西是有用的。比如說你第一個首發的產品要有用,那再來是說那 Office365 這東西如果導入了,它會造成什麼樣的影響嗎?大家會比較注意的是你可不可以在一個劣勢的狀況下,扳回一些市占率?
大家就會覺得你論述有效,會更期待你 Office365 真的導入了 Copilot 以後,Copilot 就是它的 AI 的那個服務,它會造成怎麼樣的躍升?我覺得可以用 Notion 這個東西去想,Notion 一般的服務費跟加 AI 的服務費,我覺得那個可能會是一個很好的指標。
威宇: Notion 加 AI 是 8 元美金,一個月。
Sky:對,而且是另外加 8 元。
威宇:對,另外加 8 元美金。
Sky:本來應該是 10 元。
威宇:對。
Sky:所以你這個是 80% 的躍升。
威宇:可是微軟 365 一個月是多少?
Sky:忘記了,沒有在看月。
威宇:因為老實說 AI 其實真的用多了,還是滿貴的。
Sky:所以它如果幫你整合到裡面,簡單說就是訂閱費會大幅上升。
威宇:對,可是一樣就是願意付的人的多寡。
Sky:就是企業付。以微軟的策略來說,它就是要企業付錢;個人隨便你弄,你要怎麼搞隨便你,對不對?你用習慣了,你去企業我就要你付 License,抓到就付錢,企業一定有高機率要轉 365,這個滲透率會慢慢地提高,因為舊的東西越來越沒用了。那你看到它幫你做 PPT 的時候,你就會覺得很興奮,希望它幫你做。
威宇:我前兩個禮拜有拿到微軟 Designer 的服務,它們叫做什麼?好像就是 Microsoft Designer,你就輸入一行字,它就直接幫你做一個海報或者做一張卡片,我覺得這個東西,應該就是 PPT 的…… 。
Sky:前導。
威宇:對,就是閹割版的 PPT,因為你知道 PPT 就是一份……。
Sky:還要做好多頁。
威宇:更長的文件變成更多頁,現在不是,現在是一句話變成一頁,一個可能是 IG 的圖、或者是一張海報、或者是你直接可以印出來的卡片,叫 Microsoft Designer,然後它也是有 Waitlist。反正我就前兩三週拿到了,它說我可以去用,我是還沒用,不過我大概用一下可以想像說,這可能就是未來 PowerPoint 的樣子。
Sky:可能的樣子。
威宇:對,不過我自己會覺得有點,不知道,我們還是事先玩玩看,因為它背後接的是 DALL-E,OpenAI 的另外一個服務,其實財報狗新聞現在也都是 DALL-E。其實我們老闆或者我們家工程師也還是在那邊碎嘴,說這個沒有很好看,這個圖、這個線條、這個樣子。因為 DALL-E 比起像更紅的 Midjourney 或者是 Stable Diffusion,我覺得 DALL-E 的確圖的精緻度比較低。它們其實最近有一個升級,可是這個升級也沒有全部開放,到底微軟這邊使用的 DALL-E……。
Sky:我忘記是哪一個 Train 起來,它用比較多 Ready 的東西來 Train,所以這三個裡面其中有一個會弄出比較梗圖的。
威宇:真的嗎?
Sky:對。
威宇:我沒有印象。
Sky:我們可以改用那個比較白爛的。
威宇:直接做梗圖就對了,梗圖 AI。
Sky:我們以梗圖為主,我們不需要精細。
威宇:所以回到這個美股的財報週,這次你比較關心的還是在 AI 的部分。
Sky:對,因為其實我會覺得,現在大家都是覺得 GDP 往下走,我說往下走是有可能進入衰退。
威宇:你說誰?
Sky:美國,美國的 GDP 往下走,大家就覺得會衰退。但以我們自己來說,我們自己誰看現在這個廣告這種東西,其實它就是跟消費趨勢走。
威宇:對。
Sky:對,所以你現在高機率容易不如預期。因為你現在的消費曲線是往下走,那你往下走的時候,其實我會對那些 Online 的這種,因為我一直都覺得搜尋跟廣告那個是密不可分的。廣告這個部分是很容易被人家認為劣於預期,當然這一季這兩家都優於預期。不得不說,其實好像它們都在法說會有提到說,其實長期趨勢還是壓力滿大的。對,我們也只好關注下一個黎明,這些 AI 的東西會不會成為你下一個成長動能?
威宇:應該說到底什麼時候可以有一個顯著的貢獻?因為我們大家都知道它成長超快或者是它在一般人裡面超紅,可是講真的對這些公司來說就是杯水車薪。
Sky:對,像 Google 有提到,看起來 Google 要花很多錢來把這個東西商品化,看起來它們就是在學校裡面,弄了很多奇怪的東西。我學院資料超強、我論文超棒,但是我真的拿出來跟人家弄產品的時候,感覺還是會有一些需要 Finetune 的部分。
威宇:它們最近做了一個非常震驚的事,就是把這個 Google Brain 跟 DeepMind 結合了。
Sky:它終於要大幹一票了。
威宇:對,因為這兩個應該在過去都是最頂尖的。
Sky:最頂尖的研究,我覺得比較像研究機構其實。
威宇:對,它們其實算是研究機構,就是 Google Brain 跟 DeepMind。DeepMind 是它們後來買的一間公司,現在把這樣一個部門把它們合併。
Sky:DeepMind 就是下棋的那個。
威宇:對,就是 AlphaGo 那個。
威宇:現在把它弄在一起,而且你知道其實 OpenAI 很多人是 Google Brain 過去的?
Sky:我知道。
威宇:包含說現在 ChatGPT,或是說 GPT-4 一個主要的貢獻者叫 Jason Wei,他以前其實就是在 Google Brain,是在今年年初才過去。
Sky:我是覺得它們就是大家都有看到這東西,一定會顯然改變目前的一些現況;不論是生產力、不論是所謂社會的消費模式、廣告模式,一定會大幅改變。所以關注它們的這些技術的進程,我覺得是滿重要,因為包含了其實要 Link 到台積電也是有關係的,說實在是真的有關係。
威宇:但是目前都還是題材。
Sky:對,目前還是題材。
威宇:對,還是題材。
Sky:不過這次有提到,這次有特別提,這個我們等下可以提。
台積電法說弦外之音
威宇:我們就來看一下台積電的法說會,因為在上週我們錄節目的時候,台積電法說會還沒有開。那過了一週我們來看一下,其實比較意外的應該就是資本支出不調降跟這個高雄廠。
Sky:高雄廠就跟你講我們不要建 28 囉。
威宇:這有一點微妙。
Sky:我覺得滿有趣的,因為一開始原文是講 Advanced Nodes,我們換到 Advanced Nodes,就想說什麼是 Advanced?因為它本來是停掉 7 奈米,就是本來高雄是建 7 奈米跟 28 奈米。之前說要停掉 7 奈米,然後現在又說 28 還是不要建好了,我們改建 Advanced Nodes,那到底是多少?
威宇:所以它沒有說嗎?
Sky:沒有說。原文是 Advanced Nodes,可是市場有猜測,當下聽我會覺得 7 奈米復活了。看起來好像不是,好像是 3 或更前面,後面又有接受採訪。
威宇:這不是很微妙嗎?
Sky:對,所以我覺得滿有趣的,我覺得這個有很多可以解讀的東西。
威宇:你會怎麼解讀它?
Sky:我覺得這不就是一招緩兵之計嗎?
威宇:為什麼?
Sky:我們高雄好不容易,大家都買好房子。不是,高雄好不容易有個台積電要來了,今天這樣搞我。
威宇:所以緩兵之計是什麼意思?是說我現在說我要蓋 3 奈米?
Sky: 3 奈米、2 奈米之類的隨便。
威宇:我也沒有設備,反正我先跟你說我會蓋,可是可能沒那麼快。
Sky:反正它就是慢慢地調控,我們以它法說的官方說法為準,比它想像中的還要差,會到 Q3 才會調整完。在這樣的狀況之下,它沒有辦法貿然地跟你說我覺得要大賺了。以這個角度來看的話,它還是要資本支出,但是它只能慢慢來了。28 奈米看起來每個地方都要建,那不如我先來換一個,我只能換一個先進製程。
威宇:它可以說我都不要蓋?應該不行。
Sky:應該不行,因為已經是在蓋了,所以裡面總是要放東西。
威宇:總是要放東西。
Sky:對,我覺得這個就大家都在臆測這東西很好玩。
威宇:可是有辦法把 3 奈米搬過去嗎?
Sky:沒有,它可以建其他的。
威宇:像什麼?
Sky:例如 2 奈米。
威宇:可能嗎?
Sky:可能,蓋在哪裡都可以,至少在台灣很近。
威宇:真的嗎?
Sky:對,至少在台灣比較容易。
威宇:因為我想像的是,先進製程那批人應該就是那批人吧?
Sky:台南離高雄很近。
威宇:台南是幾製程?
Sky:台南 3。反正這個還有分廠的,大家都記得很細,這個我們就不細講了,有點智障。但就是說它這個資本支出,看起來是會丟,只是會丟得比較慢。它一直改來改去的,你就知道它其實內部壓力一定是有的,我覺得可以從這個方向去看、去思考一下。
威宇:感覺它們壓力很大。
Sky:壓力滿大的,然後我們剛有提到 AI 那個東西,有看的人不知道大家有沒有聽到它有一些很奇妙的說法,因為有很多人問它 AI 的問題,它一直說它算不出來,我不知道,但是未來會很好。然後問一問這些問題,就有人問它說你怎麼看先進封裝呢?想說這個好像沒有什麼關係。
可是我不知道以前有沒有提過,其實我覺得所謂的先進封裝 Chiplet 東西到底用在哪裡?這其實是用在比如說像高頻寬記憶體 HBM,那個就是所謂的先進封裝在用的,那個東西用在哪裡?那個東西用在 GPU 上面,而且是用伺服器用的加速卡,就是拿來做 Training 的那些加速卡 H100,像 NVIDIA 這些產品,它是用這樣的東西。那你像 AMD 呢?它甚至是用 3D 封裝,所謂 SoIC。
其實這些東西拿來幹什麼的?它是拿來做繪圖卡的。這些 Memory 為什麼要用 HBM?因為繪圖卡需要速度要很快,我們在 AI 那集有提到記憶體會是 AI 算力的瓶頸。所以這個東西其實是有相關的,所以大家都會換個方式問它,那你覺得先進封裝怎麼樣呢?它就說今年看起來不怎麼樣,現在看起來跟去年比去年稍微衰退一點,但明年看起來會有一個長期的成長。它其實是告訴你什麼?這樣你就懂了吧?
AI 浪潮將拉動記憶體長線需求
威宇:記憶體其實大家現在都是這樣講。你看那個半導體設備廠講的話方向也都是這個樣子。
Sky:而且不光是美國那幾家,因為包含東京威力科創也是跟你講下半年記憶體廠商開始雄厚的信心,它們覺得 AI 這個東西會讓記憶體發光發熱,那占比超低,也沒有到超低,就是不多。相比來說比較不多,但這個是指純粹 HBM。
美光有提出來它的 AI 的 Server 用的記憶體,其實一般 Server 的 6 倍,所以其實不管怎麼樣,它就是會用比較多沒錯,這是對的。但是你要等這個東西有量,你看台積電法說就是講說,我們大家在那邊推了老半天,推產能利用率,各種消息滿天飛。5 奈米到底滿不滿?5 奈米好像沒有大家想的這麼好,其實代表什麼?其實多數的 GPU 都下在 5 奈米,表示那個需求至少在上一季還沒看到,投片到產出是需要時間的。
所以我們一直覺得可能是明年、可能是下半年開始,看到這些 AI,大家發現真的很熱。你看從 Google 的法說或 Microsoft 法說,看起來真的大家要開始大舉地部署、大舉地投入,如果這些大模型或者是說這些模型,有更多的需求被使用、更多的創業需求被使用,Inference 的需求也提高了;自然地 Server 這邊的部署還是要提高的,晶片的部署也要提高,所以是這樣的一個非常長的一個過程。
我自己會覺得它有幾個問題很有趣,最有趣的是有人問它有人問它先進封裝,我會覺得這個可能就是跟所謂 AI 的熱潮是有關係的。
威宇:其實講到記憶體,最近有一篇論文很紅,大概就是這兩、三天,在推特上面超多人分享這篇論文的。它就是在講我們剛有提到,目前的這個語言模型一個瓶頸就是 Token,就是你的字數,所以為什麼我們在說從 3 到 3.5 到 4,就是很大的進展在 Token,從 2,000 到 4,000 到 8,000,然後 GPT-4 是有 32,000。可是你想它的這個成長就是倍數,就是 1 倍、1 倍,2,000 到 4,000 1 倍、4,000 到 8,000 1 倍、8,000 到 32,000 這個 4 倍,雖然說倍數已經是很誇張的一個數字了。
Sky:太慢了。
威宇:你就想 32,000 個 Token 是什麼樣?就是 OpenAI 大概 17 頁的 A4 PDF。可是很多時候,比方說我們真的想要去了解一個產業,假設我們今天想要去寫一份產業報告好了,我們可能要去看很多很多資料,這個資料堆起來也是好幾本書,17 頁 PDF 顯然是不夠的。這種時候,以目前來說其實它會透過很多技巧處理這個問題,比方說我就是分段去索引,然後檢索,就是一個搜尋引擎的概念。有沒有什麼辦法不要這樣子做?
最近出來一個論文引起大家的關注,它是使用 BERT 模型,BERT 是 Google 的一個模型,我不太確定 BERT 一次可以 Prompt 裡面所能夠塞的 Token 是多少,我不太確定;可是一定是比 GPT-4 少的,所以應該就是幾千個 Token。它使用 BERT 模型,然後它用了一種技術叫做 RMT。然後也是用什麼 Transformer 這樣子的一個方法,它說我可以塞到 200 萬個 Token。
Sky:很厲害。
威宇:很猛,當然 BERT 的 Token 判斷方法,跟 OpenAI 是不一樣的,它們的這個 Encoder 的模型是不一樣的;不過差也不會差太多,可能就 10% 以內的差距。今天從 32,000 個 Token 到 200 萬個 Token,這個差距是極大。而且這樣子等於你是有辦法直接就丟給它可能 10 幾本、100 本書,它不用分段索引,就根據這 10 幾本書內容直接回答你問題。
Sky:不只,這個有機會解決長文本的問題。
威宇:它就是在解決長文本問題,200 萬個 Token。
Sky:就是長文本,GPT 寫小說寫得不好,因為前面忘記了。
威宇:對,沒錯。就是讓很多人在 GPT 寫小說,它要分章節寫,為什麼?因為它記不得以前寫的內容。所以你可能在寫每個章節,都要再去回顧一下前情提要是什麼?可是你未來這種大型語言到 200 萬 token,其實你就不用了。
Sky:它就有機會幫你完成更多事情。
威宇:它甚至不是寫一本小說,直接寫一部魔戒三部曲。
Sky:魔戒可能有。
威宇:時光之輪有沒有?十幾本全部寫出來,全部一次寫完。
Sky:因為我是不知道它用什麼技術,中間有什麼革新是跟記憶體有關就對了。
威宇:其實它就是用到了記憶體密集型應用的技術,這樣的研究其實就會很多。
Sky:很多。
威宇:所以可以想像未來記憶體的發展,需求會應該非常非常高。
Sky:因為剛好聊到這個,目前來說我們現在提到這種 AI 都是 Cloud 型的,就是放在雲端上面的,或是說大模型;其實我自己是滿關注 Edge 端的AI。
威宇:我有聽,可是我自己覺得今天 Edge 端的 AI,可能還是在影像比較有機會。
Sky:對,它就是小影像,它不是大模型。它是小的 AI,當然它也是需要做 AI 的這些 Training、Inference 這些東西。但是它會部署在這些地方,其實它就跟你智慧音箱一樣,你現在 Siri 還是送回網路另外一端幫你問,未來它可能就直接回答你了,它就不需要這樣搞了。
威宇:對。
Sky:這些還有跟什麼有關係?跟車子有關係,自駕也是會這樣。你說 Edge 端會怎麼樣?這個是很有趣的,這是第一個。第二個是速度的關係, Edge 端一定會比較快,這個就跟記憶體有直接的關係。
現在是說你有瓶頸是因為記憶體的關係,甚至有人就提出來,你現在弄什麼 GDDR、用什麼 HBM?我直接在記憶體裡面算到爆,就是 In-Memory Computing,所以其實各種這樣的技術,現在就因為這個 AI 這個東西開始熱;大家錢投進來了,所以會有更多的研究一直不斷不斷地推陳出新。看起來這是有機會再進一步改變我們的生活,所以才會覺得說這個是不是應該要多多研究。
威宇:尤其像台灣有很多的硬體廠,硬體廠在這邊就會有非常多的參與機會。你就想 ASIC 比重就是大幅拉高,Edge 端都是 ASIC。
Sky:Edge 一定是 ASIC,因為會很需要特規的。
威宇:沒錯,不可能通用一顆在那邊,太貴了。
Sky:對,你通用一顆,開一顆這麼大的。我這樣講比較簡單,你就放一個顯示卡在你的攝影機上面,IP-CAM 裡面。
威宇:怎麼可能我一台自駕車裡面十幾個攝影機。
Sky:現在顯示卡很貴,那個 IP-CAM 才多少錢而已,是什麼爛東西?你還放一個超貴的顯示卡,你覺得有可能嗎?
威宇:所以基本上它們都使用 ASIC,ASIC 占比就大幅拉高,Edge 基本上都會是使用 ASIC。
Sky:對,那這邊有很多東西要換。那也包含很多公司推出來 AI 晶片,其實它要的是耗能。還有一個參數好像是 TOPS,就是操作次數除以瓦數。其實耗能是很重要的,反正這些東西其實重點是說,為什麼一直在關注這個?因為它是軟體,但是為什麼你一直關注軟體問題,因為軟體的後面是硬體。
威宇:對。
Sky:因為包含了以前我們也有聊過,支持這些軟體的進程其實是跟硬體的技術進步是有關係的。
威宇:沒錯。
Sky:而且是有很巨大的關係,不是說我覺得軟體好強,硬體都不用管。
威宇:大家不要覺得現在這個提出這些語言模型,什麼 Google、OpenAI,都是國外公司最遠的,沒有。
Sky:你不要來買 GPU,你不要來這邊製造可以。
威宇:沒有,這個背後台灣的廠商其實是非常有機會在這邊賺到不少錢的,它們可能不會拿到一個非它不可的地位,但它們一定會跟著起來的。
Sky:所以又回到台積電剛剛講的這些東西。為什麼是先進封裝?它們要做這件事情需要一個軍火的供應,先進封裝為什麼會有人去問說你產能到底占幾 %?它一定是預期未來假設 AI 的需求爆發,爆發得如它預期假設成長 Maybe 1 倍,你的先進封裝產能現在才這樣而已,是不是有可能要擴產?或者先進封裝的現在的營收可能占 6%、7%,未來是不是有可能變 15%?這就會是一個很直接的成長,而且這個東西的成長跟先進製程不一樣。
因為這個東西你已經相對是有 Cook 過了,就是說你良率還行,雖然說大家訓練出來良率都不怎麼樣;但是台積電在先進封裝的市占率是高的,所以其實它在這一塊的市占、這一塊相關的廠商都有可能受到這個影響。因為過往先進封裝是一個比較貴的東西,誰沒事會把晶片疊在一起?
威宇:現在還是很貴。
Sky:現在還是買不起,反正如果講到硬體端,它就是影響了這些東西。所以硬體端假設今年所有的,就我們之前一直在提到,我們覺得 AI 一定會影響這個產業,但是什麼時間爆發?應該不會這麼快,因為它沒有辦法馬上扭轉,因為它占比還低。
但你對它的成長率是毋庸置疑的,產值有沒有辦法快速拉升?我覺得這是有可能的。只是說不是會馬上拉升,有可能是要一年之後,發現很多人出來創業、很多人出來做這個模型,很多錢投進這個產業、投進這個維度的創業,才會有很多需求。假設隨便舉個例子好了,Google 或微軟,其實它們在 Office 這個東西也是有在對打的,一個是 Google Sheet 的、一個是 Google 它的文件。
威宇:就是 Google Doc、Google Spreadsheet 這樣子。
Sky:這些東西其實對標就是微軟的這些 365 。它們如果都導 AI 你覺得會怎麼樣?
威宇:而且還有另外一個,我們在跟李宏毅老師的那集 Podcast 裡面好像有聊過,未來到底大家會自己架模型,還是都使用 API?
Sky:是。
威宇:李宏毅老師的 YouTube,在我們錄音的前兩天上傳一個新的影片,在講說如何低成本打造自己的 ChatGPT,可以去看一下。其實就是說你在一個別人已經釋放出來的預訓練好的模型裡面,你其實是有辦法,其實滿容易的,你就能夠去打造一個自己的模型。如果這件事情成真的話,其實我覺得有可能,因為我原本以前一直在說,大家以後都是只 Call API,可是到現在其實你要去 Finetune 自己的模型,其實很容易的,或者說有一套標準作法。
Sky:是。
威宇:在這個情況下面,我覺得滿有可能會有更多人自己建模型,這已經是以前只有 AI 工程師在做的,那現在可能會有更多人有辦法去做這件事情。當然會比能夠使用 API 的人少,可是會比之前使用 AI 的人多。
Sky:就是市場還是持續在變大中,各種各樣的 Solution 不斷被提出。
威宇:沒錯。
Sky:這個就是一個大家在投入,有可能會有很多人去投入創業的一個跡象,這是我個人的觀察。因為反正只要當你 Finetune 模型變容易,企業自建模型的機會就會變高。因為有些東西不能傳出去,你如果都可以放到網路上給人家看沒差,用公有雲就好了是在中邪,你一定是有東西不想給別人看,所以才需要私有雲,對不對?
威宇:對,或者是價格,價格也是。
Sky:價格也不可以給你看。
威宇:因為其實 OpenAI 講真的,你用 GPT-4 用久了,還是滿貴的。
Sky:像你沒事打那麼多 Token 亂測一些有沒有的。
威宇:我們現在一個月也是,我們的上限是設定 1,000 元美金這樣子。
Sky:你應該打滿了。
威宇:對,就是我們其實是用滿兇的,所以未來如果有辦法去降低這個價格,我覺得對企業來說都還是滿有吸引力的。
Sky:沒錯。
威宇:好,今天的題目就先到這邊。我們最後來回答一個問題,有粉絲在問產業顧問培訓可以線上嗎?因為他在台中,怕上課遲到。其實我們未來有可能線上,可是在目前都不會有線上,因為對我們來說這不是上課,雖然說上面是講培訓,可是其實它並不是在上課,它是一個社群。
Sky:對,因為我覺得它叫產業顧問培訓,你比較難理解;有個簡單的方法跟你講,它比較像 EMBA。
威宇:對。
Sky:它其實不只是你要來接受一些訓練,其實你是要產出的。
威宇:應該說對參與者來說就是 Connect。
Sky:你們這些同儕有需要有一些活動。
威宇:然後資訊交流等等,所以以目前來說,它好像還沒有很好的線上方式,就還是要用實體的方法。
Sky:我暫時還沒想到,等我想到再告訴你。
威宇:有任何建議告訴我們。如果有辦法去線上去凝聚,或者是說有看到哪一些 EMBA 或者是我們講各種社團,什麼獅子會、扶輪社,它們線上然後怎麼樣弄得很成功,都可以跟我們分享。
Sky:對。
威宇:以上就是今天的內容。喜歡的聽眾記得按下訂閱、分享給親朋好友、給我們五星好評。對節目有任何建議或者是有任何的問題,都可以在 Apple Podcast,或者是 YouTube 底下留言;有業務合作的需求,請參考資訊欄的業務合作信箱,感謝大家收聽,我們下集再見,拜拜~