TensorFlow.js 快看不到 LiteRT.js 的車尾燈了

TensorFlow.js 快看不到 LiteRT.js 的車尾燈了 不久前 Chrome更新，也號稱把 Gemini Nano 塞進瀏覽器來讓大家使用， 接著又在月初 Google 官方宣稱 LiteRT.js 配上 WebGPU 後，速度「最高可比 TF.js 快 3 倍」。 說實話，我第一時間是半信半疑的 XD 可能是過去的 PTSD ，經驗上在瀏覽器上跑這些模型都點懷疑人生，不過還是覺得可以來踹踹，結果試玩後讓我有點驚訝。 在 MobileNetV2 上，LiteRT.js 跑 WebGPU backend 的單次推論時間只有 0.41 ms，換算下來是驚人的 2,439 FPS，對比 TensorFlow.js 在 WebGL 下的 10.82 ms（92 FPS），這結果好像根本不止官方講的 3 倍... 接著，我又把模型換成 EfficientNet-Lite4（17M params）時，latency 也只從 0.41ms 稍微上升到 0.62ms，模型增加接近 5 倍，速度居然只慢了 50% ？ LiteRT.js 是什麼 簡單來說， LiteRT.js 就是…