Skymizer Taiwan Inc.發表突破性架構 單卡實現超大型LLM推論

(中央社財經訊息服務20260424 09:17:56)提供業界領先的效能功耗比，單張PCIe介面卡即可執行700B參數模型，無需GPU叢集，亦無須密集散熱

於COMPUTEX 2026展前，AI推論解決方案先驅Skymizer Taiwan Inc.（臺灣發展軟體科技股份有限公司）今日預先揭露其在地端AI部署的重大突破－HTX301推論晶片，內建於COMPUTEX 2025首次發表的軟硬體協同設計平台HyperThought™。HTX301為HyperThought IP的首款參考晶片，該IP為AI推論定義了長期的架構願景。此首版矽晶片在大幅簡化超大型模型推論所需基礎設施的同時，亦帶來卓越的效能功耗比。

打破GPU對超大型模型推論的壟斷

一直以來，在地端部署超大型模型皆需仰賴龐大的GPU叢集、NVLink/NVSwitch等高速互連技術，以及密集的散熱系統，導致成本高昂且維運複雜。

Skymizer於業界首次將此願景化為可能。

僅需一張PCIe介面卡，搭載6顆HTX301晶片與384GB記憶體，企業即可於本地執行700B參數模型推論，每卡功耗僅約240W。

HyperThought針對不同尺寸與形式的彈性擴展而設計，可封裝為SoC或介面卡，自邊緣到迷你資料中心皆可部署。單卡可由1顆晶片擴展至6顆晶片，記憶體容量介於32GB至384GB，支援4B至700B參數的模型，讓企業依實際工作負載需求，精準規劃部署規模，避免過度配置。

「推論已成為AI的主要工作負載，基礎設施也必須反映此一現實。」

「仰賴超大規模GPU叢集執行超大型LLM的時代已經結束。HyperThought讓AI從僅屬於雲端巨擘的複雜工程，轉變為每一家企業皆可擁有的單卡級簡潔方案。」－William Wei,Skymizer行銷長

消除企業AI的隱藏稅負

其結果是：企業在享有資料隱私、低延遲與完整營運掌控權的同時，亦可擺脫GPU叢集所帶來的基礎設施負擔。

地端推論亦消除了「按token計費」所帶來的支出焦慮，此焦慮已成為企業導入AI的無形稅負。雲端推論迫使團隊必須精打細算每筆查詢，並限縮Agent的使用。HyperThought則徹底解除此限制：一旦部署完成，企業便可在固定的基礎設施成本下，執行無上限的推論。

HyperThought 為企業既有的GPU基礎設施提供互補，而非取代。透過將解碼（decode）密集的推論工作自GPU卸載，企業可提升整體叢集的利用率與電力效率。

驅動企業跨領域的Agentic AI工作流程

HyperThought與HTX301專為agentic AI工作負載而設計，此類工作負載正快速成為企業自動化的核心基石。搭配OpenClaw等agent harness框架，HTX301能提供這些系統所需的推論吞吐量，並同時具備完整的資料自主權與可預期的延遲表現。

此一架構可驅動跨產業與跨領域的agentic工作流程與自動化，包括：金融服務（法遵、詐欺偵測、投資組合推理）；醫療與生命科學（臨床決策輔助、藥物交互作用分析）；製造業（預測性維護、品質檢測）；法律與專業服務（合約審閱、機密知識檢索）；政府與國防（主權 AI、機密分析）；零售（客服自動化、庫存推理）；軟體工程（私有code copilot、自主CI/CD），以及半導體與IC設計（地端RTL copilot、驗證agent、針對自有IP的設計知識檢索）。

焦點應用：地端AI Coding。AI輔助編碼已成為現代軟體團隊的基本配備，且在「原始碼即公司命脈」的領域中，需求增長最為快速。IC設計公司無法將自有RTL上傳至雲端編碼助手，否則將面臨價值數十億美元矽智財外洩的風險；軟體公司在面對機密程式碼與客戶資料時，亦有相同的考量。HTX301能提供足以支撐完全地端執行私有code copilot、RTL生成器與驗證agent的吞吐量，既消除雲端外洩風險，又完整保留AI輔助工程所帶來的生產力效益。

除了agentic工作負載之外，單顆HTX301晶片亦支援裝置端推論，涵蓋語音轉寫、翻譯、視覺理解與多模態AI，適用於邊緣伺服器、AI工作站、智慧NAS系統及各類智能端點。

由LISA™與HyperThought™驅動

HyperThought由 LISA™（Language Instruction Set Architecture，語言指令集架構）所驅動，此為Skymizer自主研發、專為Transformer推論最佳化的語言中心指令集架構。LISA在效能、功耗效率與擴展性方面,全面支援自邊緣裝置至企業叢集的各類部署。

地端部署的HTX301介面卡，與HyperThought裝置端LPU共用相同的LISA架構基礎－一套 ISA、一套部署流程，自邊緣至資料中心，一以貫之。

Prefill/Decode分離：HyperThought P/D策略

LLM推論包含兩個本質上截然不同的階段：prefill（處理輸入提示，屬 compute-bound）與decode（逐一生成 token，屬 memory-bandwidth-bound）。以GPU為核心的基礎設施強迫兩者共用同一塊矽晶片，在任一時刻總會造成運算資源或頻寬資源的閒置。HyperThought自架構設計之初，即將此兩階段加以分離。

硬體堆疊－Decode優先的專屬矽晶片。HTX301為decode階段量身打造，此階段是主導真實世界推論延遲、對記憶體頻寬極度敏感的token生成過程。既有GPU處理compute密集的prefill；HTX301介面卡則負責decode。每一塊矽晶片皆對應其最適合的階段。

軟體堆疊－統一的P/D調度。Skymizer的統一軟體堆疊，涵蓋KV-cache管理員、具階段感知能力的排程器，以及動態配置引擎可協同調度prefill與decode資源池，於節點之間傳遞KV-cache狀態，並隨工作負載變動即時重新平衡P:D比例。

「專為decode打造的硬體，搭配能協調每一份推論工作負載的智慧軟體堆疊，這才是在規模化場景下分離P/D的真正做法。」
－Luba Tang, Skymizer 技術長

定義AI部署的下一個世代

隨著模型規模自數十億參數邁向兆級參數，業界對暴力式GPU擴展的依賴正面臨瓶頸。Skymizer的存在，正是為了超越此一瓶頸，結合深厚的編譯器專業與針對decode最佳化的矽晶片，定義AI基礎設施的下一個世代。

有關HyperThought延伸平台的完整藍圖，將於Skymizer在COMPUTEX 2026的記者會中公布。

申請HTX301早期存取權：skymizer.ai/press

關於Skymizer Taiwan Inc.

Skymizer（臺灣發展軟體科技股份有限公司）成立於2013年，是一家專注於AI推論的公司。其旗艦平台HyperThought結合編譯器驅動的軟體堆疊與針對Transformer最佳化的硬體，可於裝置端、邊緣端與地端部署環境中，提供高效能的推論服務。