rubenamtz / law2entity

Turn text from the law in Spanish to structured data to feed support building a knowledge graph

  • Public
  • 4 runs
  • L40S
Iterate in playground

Input

*string
Shift + Return to add a new line

Input text

integer

Max new tokens

Default: 5000

Output

entities": [{"entity_name": "Morales", "entity_type": "person", "entity_description": "Persona mencionada en el texto."}, {"entity_name": "artículo 163 del Código Penal del Estado", "entity_type": "legal document", "entity_description": "Artículo del Código Penal del Estado mencionado en el texto."}, {"entity_name": "Código Penal del Estado", "entity_type": "legal document", "entity_description": "Código Penal del Estado mencionado en el texto."}, {"entity_name": "delito de robo", "entity_type": "crime", "entity_description": "Delito mencionado en el texto."}, {"entity_name": "apoderamiento", "entity_type": "action", "entity_description": "Acción de toma o aprehensión material mencionada en el texto."}, {"entity_name": "cosa", "entity_type": "object", "entity_description": "Objeto mencionado en el texto."}, {"entity_name": "corte de las cien gruesas de coco aproximadamente", "entity_type": "action", "entity_description": "Acción atribuida a la peticionaria de garantías."}, {"entity_name": "artículo 753 del Código Civil para el Estado de Guerrero", "entity_type": "legal document", "entity_description": "Artículo del Código Civil para el Estado de Guerrero mencionado en el texto."}, {"entity_name": "frutos pendientes de las plantas y árboles", "entity_type": "object", "entity_description": "Frutos mencionados en el texto."}, {"entity_name": "artículo 750 del ordenamiento sustantivo civil", "entity_type": "legal document", "entity_description": "Artículo del ordenamiento sustantivo civil mencionado en el texto."}, {"entity_name": "Tribunal Colegiado", "entity_type": "organization", "entity_description": "Tribunal que emite la sentencia."}, {"entity_name": "autoridad recurrente", "entity_type": "person", "entity_description": "Autoridad que recurre la sentencia."}, {"entity_name": "Juana de la O", "entity_type": "person", "entity_description": "Persona amparada y protegida por la Justicia de la Unión."}], "relationships": [{"source_entity_name": "Morales", "target_entity_name": "artículo 163 del Código Penal del Estado", "relationship_type": "instance of", "relationship_description": "Morales no encuadran en la hipótesis legal a que se refiere el citado artículo 163 del Código Penal del Estado."}, {"source_entity_name": "artículo 163 del Código Penal del Estado", "target_entity_name": "Código Penal del Estado", "relationship_type": "part of", "relationship_description": "El artículo 163 es parte del Código Penal del Estado."}, {"source_entity_name": "delito de robo", "target_entity_name": "apoderamiento", "relationship_type": "instance of", "relationship_description": "El apoderamiento es una acción que puede cometerse en el delito de robo."}, {"source_entity_name": "apoderamiento", "target_entity_name": "cosa", "relationship_type": "applies to", "relationship_description": "El apoderamiento se realiza sobre una cosa."}, {"source_entity_name": "corte de las cien gruesas de coco aproximadamente", "target_entity_name": "peticionaria de garantías", "relationship_type": "perpetrator", "relationship_description": "El corte de las cien gruesas de coco aproximadamente se atribuye a la peticionaria de garantías."}, {"source_entity_name": "artículo 753 del Código Civil para el Estado de Guerrero", "target_entity_name": "Código Civil para el Estado de Guerrero", "relationship_type": "part of", "relationship_description": "El artículo 753 es parte del Código Civil para el Estado de Guerrero."}, {"source_entity_name": "frutos pendientes de las plantas y árboles", "target_entity_name": "artículo 750 del ordenamiento sustantivo civil", "relationship_type": "instance of", "relationship_description": "Los frutos pendientes de las plantas y árboles son considerados inmuebles conforme a lo dispuesto en el artículo 750 del ordenamiento sustantivo civil."}, {"source_entity_name": "Tribunal Colegiado", "target_entity_name": "sentencia", "relationship_type": "issued", "relationship_description": "El Tribunal Colegiado emite la sentencia."}, {"source_entity_name": "autoridad recurrente", "target_entity_name": "sentencia", "relationship_type": "appeals to", "relationship_description": "La autoridad recurrente apela la sentencia."}, {"source_entity_name": "Juana de la O", "target_entity_name": "Justicia de la Unión", "relationship_type": "protected by", "relationship_description": "La Justicia de la Unión ampara y protege a Juana de la O."}], "claims": [{"claim_description": "Morales no encuadran en la hipótesis legal a que se refiere el citado artículo 163 del Código Penal del Estado.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "El apoderamiento en el delito de robo puede realizarse de muy diversas maneras.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "El corte de las cien gruesas de coco aproximadamente no puede encuadrarse dentro de la clasificación de los bienes muebles.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "Los frutos pendientes de las plantas y árboles son considerados inmuebles hasta que no sean separados por cosechas o cortes regulares.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "El Tribunal Colegiado arriba a la conclusión de que no le asiste la razón a la autoridad recurrente.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "Se confirma la sentencia recurrida.", "claim_status": "afirmado", "claim_time_bound": "presente"}, {"claim_description": "La Justicia de la Unión ampara y protege a Juana de la O.", "claim_status": "afirmado", "claim_time_bound": "presente"}]}
Generated in

Run time and cost

This model runs on Nvidia L40S GPU hardware. We don't yet have enough runs of this model to provide performance information.

Readme


license: llama3 library_name: peft tags: - axolotl - generated_from_trainer base_model: meta-llama/Meta-Llama-3-8B model-index: - name: llama-3-8b-lora-law2entity results: [] datasets: - rubenamtz0/law_entity_recognition


Built with Axolotl

<details><summary>See axolotl config</summary> axolotl version: `0.4.1`
base_model: meta-llama/Meta-Llama-3-8B
model_type: LlamaForCausalLM
tokenizer_type: AutoTokenizer

load_in_8bit: true
load_in_4bit: false
strict: false

datasets:
  - path: rubenamtz0/law_entity_recognition
    type: alpaca
dataset_prepared_path:
val_set_size: 0.1
output_dir: ./outputs/lora-law
hub_model_id: rubenamtz0/llama-3-8b-lora-law2entity

sequence_len: 4096
sample_packing: true
pad_to_sequence_len: true

adapter: lora
lora_model_dir:
lora_r: 32
lora_alpha: 16
lora_dropout: 0.05
lora_target_linear: true
lora_fan_in_fan_out:

wandb_project: entity-relationship-claim-ft
wandb_entity:
wandb_watch:
wandb_name:
wandb_log_model:

gradient_accumulation_steps: 4
micro_batch_size: 2
num_epochs: 4
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 0.0002

train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: false

gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true
s2_attention:

warmup_steps: 10
evals_per_epoch: 4
eval_table_size:
eval_max_new_tokens: 128
saves_per_epoch: 1
debug:
deepspeed:
weight_decay: 0.0
fsdp:
fsdp_config:
special_tokens:
   pad_token: <|end_of_text|>
</details>


llama-3-8b-lora-law2entity

This model is a fine-tuned version of meta-llama/Meta-Llama-3-8B on the rubenamtz0/law_entity_recognition dataset. It achieves the following results on the evaluation set: - Loss: 0.1490

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training: - learning_rate: 0.0002 - train_batch_size: 2 - eval_batch_size: 2 - seed: 42 - distributed_type: multi-GPU - num_devices: 3 - gradient_accumulation_steps: 4 - total_train_batch_size: 24 - total_eval_batch_size: 6 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: cosine - lr_scheduler_warmup_steps: 10 - num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.2735 0.05 1 0.2923
0.2852 0.25 5 0.2742
0.2007 0.5 10 0.2015
0.1742 0.75 15 0.1807
0.1854 1.0 20 0.1688
0.159 1.1125 25 0.1630
0.1444 1.3625 30 0.1592
0.1479 1.6125 35 0.1565
0.1505 1.8625 40 0.1538
0.1369 2.1125 45 0.1518
0.1348 2.2125 50 0.1512
0.1287 2.4625 55 0.1510
0.1359 2.7125 60 0.1498
0.1367 2.9625 65 0.1491
0.1218 3.075 70 0.1491
0.1285 3.325 75 0.1493
0.1307 3.575 80 0.1490

Framework versions

  • PEFT 0.11.1
  • Transformers 4.41.1
  • Pytorch 2.1.2+cu118
  • Datasets 2.19.1
  • Tokenizers 0.19.1