))
數位關鍵字140.數大便是美！AI廠商在比的算力TOPS是什麼意思？
Manage episode 424878225 series 2904100
Content provided by 數位時代 Business Next. All podcast content including episodes, graphics, and podcast descriptions are uploaded and provided directly by 數位時代 Business Next or their podcast platform partner. If you believe someone is using your copyrighted work without your permission, you can follow the process outlined here https://player.fm/legal.
全球瘋AI，要能應用，還得同步有算力與資料。主流廠商NVIDIA、AMD、Qualcomm、Intel、Apple等各家常見的數字單位TOPS究竟是在衡量什麼？數位時代創新長黃亮崢James，邀約派仕科技產品與技術總監蔣鐙緯Ernest，解析現代AI算力的衡量單位，並說明在消費級產品AI算力意義。
TOPS是Tera Operations Per Second的縮寫，1TOPS代表處理器每秒鐘可進行一萬億次（10的12次方）操作（可先簡化為加減乘除來思考）。
TFLOPS（TeraFLOPS, Tera Floating-point Operations Per Second）等於每秒一萬億次的浮點運算（更精確、更複雜的運算方式，尤其適用於科學運算領域）。
人工智慧的應用中，訓練模型和推理過程都需要大量複雜的矩陣運算，其中訓練模型更依賴數據中心的大型硬體算力，TFLOPS和TOPS都是衡量硬體的運算能力的關鍵指標。推理應用更集中在終端消費性產品，例如電腦、筆電或手機，TOPS已經成為產業共識的衡量指標，也是各家晶片、硬體廠商比拼的重點。
目前，微軟所推出的CoPilot+PC最低要求在40TOPS的算力，蘋果將在秋季正式上線的Apple Intelligence則需要在M1晶片（Mac 2020-）或A17晶片（iPhone 15 Pro/Max）以後的晶片才能運行，其最低TOPS數反而只需11TOPS（M1），但最低要求的記憶體（8G）反而成為運行關鍵。
儘管TOPS是衡量AI運算能力的重要指標，但它並非唯一參考依據。電腦、手機的AI性能其實還受到記憶體頻寬、儲存速度、作業系統與軟體最佳化等多方影響，也另外會受到功耗、散熱等硬體約束的限制。多數廠商目前所公布的TOPS提供的只是理論或實測的最大值，目前業界其實還沒有統一的TOPS運算標準，單純追求數字大小並沒有意義。但在可見的未來，TOPS會繼續在人工智慧、高性能運算應用和產業中扮演重要的衡量指標。
Powered by Firstory Hosting
611 episodes
Share
