Serve para ver como a DeepSeek serve seu modelo em escala. O release traz kernels otimizados, paralelismo de atenção e de especialistas (MoE), decodificação com tokens-rascunho, agendamento assíncrono, inferência invariante ao lote, amostragem determinística e saídas estruturadas. Hoje só suporta o DeepSeek-V4.1-Flash, em GPUs Nvidia SM100 ou NPUs Huawei Ascend 950.

Clone o repositório e peça a um agente de código para ler o README e listar o que vem incluído, o que falta para um serviço completo e as variáveis DEEPINFER_*. Não rode o build: ele exige hardware de data center.

Não vale se você não tem GPUs Nvidia SM100 ou NPUs Ascend 950, ou se usa outro modelo além do V4.1-Flash. Também não é um serviço completo: faltam cache KV, separação entre prefill e decode e balanceamento de carga. Nenhum terceiro mediu ainda os ganhos de eficiência.