| { | |
| "schema_version": 1, | |
| "model": { | |
| "name": "nv-embedqa-1b", | |
| "family": "embedding", | |
| "dsp_arch": "v81", | |
| "tokenizer_pre": "llama3" | |
| }, | |
| "params": { | |
| "hidden": 2048, | |
| "vocab": 128256, | |
| "n_layers": 16, | |
| "head_dim": 64, | |
| "max_ctx": 64, | |
| "eos_token_id": 128001 | |
| }, | |
| "artifacts": { | |
| "contexts": { | |
| "encoder": { | |
| "bin": "nvembedqa_enc.bin" | |
| } | |
| }, | |
| "embed": "nvembedqa_embed_f16.bin", | |
| "tokenizer": "tokenizer.json" | |
| }, | |
| "plan": { | |
| "steps": [ | |
| { | |
| "host": "llama_embed", | |
| "params": { | |
| "encoder": "nvembedqa_enc_f16", | |
| "rope_factor": 32.0, | |
| "neg": -50000 | |
| } | |
| } | |
| ] | |
| } | |
| } | |