範例
台灣台南
臺灣
熱鬧 (在這個分詞器上會切開一個字元)
鯖 (在這個分詞器上會切開一個字元)
龜 (在這個分詞器上會切開一個字元)
𰻝 (在這個分詞器上會切開一個字元)
👩👩👧 (在這個分詞器上會切開一個字元)
🇹🇼 (在這個分詞器上會切開一個字元)
❤️
日本語のテキスト
東京都渋谷区のラーメン屋さん (在這個分詞器上會切開一個字元)
Hello 台灣! 東京タワー
2024年10月
I'm here code();
ㄅㄆㄇㄈ ㄊㄞˊㄨㄢˇ˙ㄉㄜ (在這個分詞器上會切開一個字元)
ｆｕｌｌｗｉｄｔｈ ＡＢＣ１２３ (在這個分詞器上會切開一個字元)
繁體中文段落 (在這個分詞器上會切開一個字元)
日文段落 (在這個分詞器上會切開一個字元)
英文段落
預設範例。在 cl100k、Claude 1/2、Grok-2 與 Grok-1 上，「灣」會在字元中間被切開（E7 81 | A3）；o200k、Llama 與 Gemma 則保持完整。
- 4 碼位
- 4 字位簇
- 12 位元組
- 4 詞元
- 0 部分字元詞元
對照圖
檢視面板
聚焦、滑過或點一下格子，就能在這裡檢視它。
對照圖
檢視面板
聚焦、滑過或點一下格子，就能在這裡檢視它。
對照圖
檢視面板
聚焦、滑過或點一下格子，就能在這裡檢視它。
對照圖
檢視面板
聚焦、滑過或點一下格子，就能在這裡檢視它。
對照圖
檢視面板
聚焦、滑過或點一下格子，就能在這裡檢視它。