Model garden

CodeLlama 70b Instruct hf

Direct via de EU-router of als dedicated GPU-deployment. Data blijft in Europa.

CodeLlama 70b Instruct hf is een open-source taalmodel van Meta met 69B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.

meta-llama/CodeLlama-70b-Instruct-hf
text->text · meta-llama · EU-hosted
69B
Parameters
Contextvenster
159GB
Minimale VRAM
POST /api/v1/chat/completions200 OK

Specificaties

Parameters 69B
Minimale VRAM 159 GB
Architectuur LlamaForCausalLM (vLLM)
Licentie llama2
Modaliteit text->text
Uitgebracht March 2024
Uitgever meta-llama ↗

Prijzen

€0.40
Input (per 1M tokens)
€0.60
Output (per 1M tokens)

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend — zie prijzen.

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/CodeLlama-70b-Instruct-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik CodeLlama 70b Instruct hf in de EU draaien?

Ja. HostYourAI draait CodeLlama 70b Instruct hf op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is CodeLlama 70b Instruct hf hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost CodeLlama 70b Instruct hf?

Via de gedeelde EU-router betaal je €0.40 per miljoen input-tokens en €0.60 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je CodeLlama 70b Instruct hf ook als dedicated GPU-instance per uur draaien.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van Meta

Probeer CodeLlama 70b Instruct hf gratis

Account aanmaken duurt een minuut. Test CodeLlama 70b Instruct hf direct in de playground.

Start gratis