๋ณธ ์ ์ฅ์๋ ํ๊ตญ๊ฐ์ค๊ณต์ฌ์์ ์ฃผ์ต ๋ฐ ์ฃผ๊ดํ๊ณ , ๋ฐ์ด์ฝ์์ ์ด์ํ๋ ๊ฐ์คใป์๋์ง๋ถ์ผ ๋ฌธ์์์ฝ ๋ชจ๋ธ๊ฐ๋ฐ ๊ฒฝ์ง๋ํ์ ์ฐธ์ฌํ ์ด์ผ๊ธฐ์ฐ๊ตฌ์ ์ฃผ์ํ์ฌ
ํ์ ๊ฒฐ๊ณผ ๋ฐํ ์๋ฃ์
๋๋ค. SKT-AI์์ ๋ฐฐํฌํ KoBART PLM์ ๋ํด, AI Hub์์ ์ ๊ณตํ๋ ๋ฌธ์์์ฝ ํ
์คํธ์ ์ ๋ฌธ๊ธฐ์ฌ ์ฝ 30๋ง๊ฑด์ผ๋ก Fine Tuning์ ์งํํ์์ต๋๋ค.
๊ฒฝ์ง๋ํ๊ฐ ์ํ ๋ด์ฉ์ ๋ณธ ์ ์ฅ์๋ฅผ ํตํด ๊ณต์ ํ๋ ์ฃผ์ ๋ชฉ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ๊ฒฝ์ง๋ํ 1์ฐจํ๊ฐ ์ ์ถ
- ๋ํ์์ ์ํํ ์คํ ๊ณผ์ ๋ฐ ๊ฒฐ๊ณผ์ ์ ๋ขฐ์ฑ ํจ์
- ์๋ฃ ๋ฐ ์ฝ๋์ ํฌ๋ช ํ ๊ณต์ ๋ฅผ ํตํด ๊ด๋ จ ๋ถ์ผ์ ๋ํ ์ ์ง ์ฐ๊ตฌ์๋ค์ ์ ๊ทผ ์ฅ๋ฒฝ ์ํ
๊ฒฝ์ง๋ํ ๊ฐ ์งํํ๋ ์ธ๋ถ์ ์ธ ๋ด์ฉ์ 2์ฐจ ํ๊ฐ ๋ฐํ์๋ฃ์์ ํ์ธํ์ค ์ ์์ต๋๋ค.
Github ์ ์ฅ์๋ฅผ ๋ด๋ ค๋ฐ์ ๊ด๋ จ๋ ์ฝ๋๋ฅผ ์ค๋นํฉ๋๋ค.
$ git clone https://github.com/cawandmilk/gas.git
$ cd gas
์ดํ, ํ์ด์ฌ ๊ฐ์ ํ๊ฒฝ์ ๋ง๋ค๊ณ , ํ์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํฉ๋๋ค.
๊ธฐ๋ณธ์ ์ผ๋ก, ์ฌ์ฉ์๋ Python 3.8
์ด์์ ๋ฒ์ ์ด ํ์ํฉ๋๋ค.
$ python -m venv venv
$ source ./venv/bin/activate
$ pip install -r rquirements.txt
๋ณธ ์ ์ฅ์์์ ํ๋ จ ๋ฐ ๊ฒ์ฆ์ฉ์ผ๋ก ์ฌ์ฉํ ๋ฐ์ดํฐ์ธํธ๋ ๊ณผํ๊ธฐ์ ์ ๋ณดํต์ ๋ถ๊ฐ ์ฃผ๊ดํ๊ณ ํ๊ตญ์ง๋ฅ์ ๋ณด์ฌํ์งํฅ์์ด ์ง์ํ๋ ์ธ๊ณต์ง๋ฅ ํ์ต์ฉ ๋ฐ์ดํฐ ๊ตฌ์ถ์ฌ์
์ผ๋ก ๊ตฌ์ถ๋ ๋ฐ์ดํฐ๋ก, ์ ์๊ถ ๋ฐ ๊ด๋ จ ์ด์ฉ์ ์ฑ
์ ๋ฐ๋ผ ๊ฐ์ธ์ด ์์๋ก ๋ฐฐํฌํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ ์ฌ์ฉ์๊ฐ ์ง์ ๊ณต์ ํํ์ด์ง์์ ์น์ธ์ ๋ฐ์ ํ์ผ์ ๋ด๋ ค๋ฐ๊ณ , ์์ถ์ ํด์ ํ๋ ๊ณผ์ ์ด ํ์ํฉ๋๋ค.
ํ๊ฐ์ฉ ๋ฐ์ดํฐ๋ ๋ฐ์ด์ฝ ๊ฒฝ์ง๋ํ ํํ์ด์ง์์ ๋ฐ์์ง๋ง, ๋ํ ๊ท์น์ ๊ณต์์ ์ธ ์ฐธ์ฌ์๊ฐ ์๋ ๊ฒฝ์ฐ ๋ค์ด๋ก๋๊ฐ ์ ํ๋ ๊ฐ๋ฅ์ฑ์ด ์์ต๋๋ค.
์ด๊ธฐ ๋ฐ์ดํฐ๋ ์๋์ ๊ฐ์ด ์์ถ ํด์ ๋์ด ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค.
$ tree ./data
./data
โโโ [ 52] raw
โโโ [ 94] Test
โ โโโ [129K] new_sample_submission.csv
โ โโโ [ 21M] new_test_.json
โ โโโ [ 34M] new_test.jsonl
โ โโโ [ 53] old
โ โโโ [ 81K] sample_submission.csv
โ โโโ [ 19M] test.jsonl
โโโ [ 231] Training
โ โโโ [ 90M] ๋ฒ๋ฅ _train_original.json
โ โโโ [346M] ์ฌ์ค์ก์ง_train_original.json
โ โโโ [1.2G] ์ ๋ฌธ๊ธฐ์ฌ_train_original.json
โ โโโ [ 18M] ๋ฒ๋ฅ _train_original.zip
โ โโโ [ 83M] ์ฌ์ค์ก์ง_train_original.zip
โ โโโ [296M] ์ ๋ฌธ๊ธฐ์ฌ_train_original.zip
โโโ [ 231] Validation
โโโ [8.5M] ๋ฒ๋ฅ _valid_original.json
โโโ [ 35M] ์ฌ์ค์ก์ง_valid_original.json
โโโ [140M] ์ ๋ฌธ๊ธฐ์ฌ_valid_original.json
โโโ [1.6M] ๋ฒ๋ฅ _valid_original.zip
โโโ [7.9M] ์ฌ์ค์ก์ง_valid_original.zip
โโโ [ 34M] ์ ๋ฌธ๊ธฐ์ฌ_valid_original.zip
5 directories, 17 files
๋ชจ๋ธ์ ๋ถ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น ๊ฒ์ผ๋ก ์์๋๋ ์ผ๋ถ ํ
์คํธ์ ๋ํ ์ ์ ์์
์ ์ํํฉ๋๋ค. ์ด๋ ๋ชจ๋ธ์ ๋ถ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น ๊ฒ์ผ๋ก ์์
๋๋ ๋๋ถ๋ถ์ ๋ฐ์ดํฐ๋ค์ ์ด๋๊น์ง๋ ๊ฐ๋ฐ์์ ์ฃผ๊ด์ ์์กดํ๋ฏ๋ก, ๊ทธ ๋ฒ์๋ฅผ ์ ์ ํ ์กฐ์ ํด๊ฐ๋ฉฐ ์ฌ๋ฌ ๋ฒ ํ๋ จ์ ์งํํด์ผ ํ ํ์์ฑ์ด ์์ต๋๋ค. ๊ฐ๋ น, ์๋์ ๊ฐ์ ๋ด์ฉ์ด ์์ ์ ์์ต๋๋ค.
-
์ผ๋ถ ๊ธฐ์ฌ์์๋, ๋ค์๊ณผ ๊ฐ์ ๊ด๊ณ ๋ฌธ๊ตฌ๋ค์ด ๊ธฐ์ฌ ๋ง์ง๋ง์ ์ถ๊ฐ๋์ด ์๋ ๊ฒฝ์ฐ๊ฐ ์กด์ฌํฉ๋๋ค.
- <"id": "350912775", "media_name": "๋ถ์ฐ์ผ๋ณด">
- โถ ๋ค์ด๋ฒ์์ ๋ถ์ฐ์ผ๋ณด ๊ตฌ๋ ํ๊ธฐ ํด๋ฆญ!
- โถ ๋ถ์ฐ์ผ๋ณด ๊ตฌ๋ ํ๊ณ ์คํ๋ฒ ์ค Get ํ์!
- <"id": "329454903", "media_name": "์ด๋ฐ์ผ๋ฆฌ">
- ๋ค์ด๋ฒ์์ ์ด๋ฐ์ผ๋ฆฌ [๊ตฌ๋ ํ๊ธฐโถ]
- ๋นก์นจํด์! ์ฒญ์ถ๋์ฐ์ค~ [์ค๋ ํ์โถ]
- <"id": "350912775", "media_name": "๋ถ์ฐ์ผ๋ณด">
-
์ผ๋ถ ์ธ๋ก ์ฌ์์๋, ๋ค์๊ณผ ๊ฐ์ด ์ธ๋ก ์ฌ์ ์ข ์์ ์ธ ๋ฌธ๊ตฌ๊ฐ ๋ฐ๋ณต์ ์ผ๋ก ๋ฑ์ฅํฉ๋๋ค.
- <"media_name": "์ถฉ์ฒญ์ผ๋ณด">
- ์จ๋ผ์ธ์ถฉ์ฒญ์ผ๋ณด
- <"media_name": "์ค๋ถ์ผ๋ณด">
- ์ฐํฉ
- <"media_name": "์ ๋จ์ผ๋ณด">
- ๋ด์์ค
- ํธ์ง์๋ํฐ
- <"media_name": "์ถฉ์ฒญ์ผ๋ณด">
-
์๋น์์ ๊ธฐ์ฌ์์๋, ๊ธฐ์ ์ ๋ณด(์ด๋ฆ, ์ด๋ฉ์ผ์ฃผ์)๋ฅผ ํฌํจํ์ฌ ๋ค๋์ ๊ฐ์ธ์ ๋ณด๊ฐ ํผ์ฌ๋์ด ์์ต๋๋ค.
๋ณธ ์ฝ๋์์๋, ๋ชจ๋ ์ ๋ฌธ ๊ธฐ์ฌ์ ์ ์ฉ๋๋ ๊ณตํต์ ์ธ ์ ์ฒ๋ฆฌ ๋ฐฉ๋ฒ ๋ฐ media_name
์ ์ข
์์ ์ธ ์ธ๋ถ ์ ์ฒ๋ฆฌ ๋ฐฉ๋ฒ์ ๊ตฌํ ๋ฐ ์ ์ฉํ์์ผ๋, ๊ทธ ์ฑ๋ฅ์ด ์ค์ํ์ง ์์ ์ต์ข
์ ์ผ๋ก๋ ๋ฐ๋์ ํ์ํ ์ ์ฒ๋ฆฌ๋ง ํฌํจ์์ผฐ์ต๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, ์๋ ๋ด์ฉ์ด ์ ๊ทํํ์(regular expression)์ ์ด์ฉํ์ฌ ์ ์ฉํจ์ผ๋ก์จ ๋ฏผ๊ฐ์ ๋ณด ์ด์๊ฐ ๋ฐ์ํ์ง ์๊ฒ ๋
ธ๋ ฅํ์์ง๋ง ์ค์ ์ฑ๋ฅ(rouge score)์ด ์ข์ง ์์ ์ต์ข
์ ์ผ๋ก๋ ์ ์ฉํ์ง ์์์ต๋๋ค. ์๋ ๊ตฌํ ๋ด์ฉ๋ค์ ์ฌ๊ธฐ์์ ํ์ธ ๊ฐ๋ฅํฉ๋๋ค.
- ๊ธฐ์ ์ด๋ฉ์ผ์ ํ์ฑํ์ฌ ํด๋น ์ค(line)์ ํฌํจ๋์ด ์๋ ๊ธฐ์ ์ ๋ณด๊น์ง ๊ฐ์ด ์ญ์
- ์น ํ์ด์ง ๋งํฌ(URL) ์ ๊ฑฐ
- ์ ํ๋ฒํธ ์ ๊ฑฐ (์ง์ญ๋ฒํธ, ํด๋ํฐ๋ฒํธ ๋ชจ๋ ํฌํจ)
์ดํ Dataloader ๊ตฌ์ฑ์ ์ํด ํ๋ จ, ๊ฒ์ฆ, ํ๊ฐ์ฉ tsv ํ์ผ์ ์์ฑํ๋ฉฐ, ํน๋ณํ tsv ํ์ผ๋ก ๋ง๋๋ ์ฃผ์ ์ด์ ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ๋ค์์ ๋ฌธ์ฅ์ด ํ๋์ ์ ๋ ฅ์ ๊ตฌ์ฑํ๋ ๋ฌธ์ ์์ฝ ํ ์คํฌ์ ํน์ฑ์ ์ฝค๋ง(,)๋ฅผ ๊ตฌ๋ถ์๋ก ํ๋ csv ํ์ผ์ ์ ์ ํ์ง ์๋ค๊ณ ํ๋จ
- ์ถํ
pandas.DataFrame
๋ก tsv ํ์ผ์ ํธ์ถํจ์ผ๋ก์จ ์ ๋ ฅ(text) ๋ฐ ์ถ๋ ฅ(summary) ์์ด ์ด๊ธ๋์ง ์์์ ๋ณด์ฅ - ๋ฌธ์ ์์ฝ์ ์ํ ํ ์ ์ฅ์์์ ์ ๋ ฅ ๋ฐ์ดํฐ ํธํ์ฑ ์ ์ง
(venv) $ python preprocess.py \
--raw_train ./data/raw/Training \
--raw_valid ./data/raw/Validation \
--raw_test ./data/raw/Test
์ ์ฒ๋ฆฌ๋ ๋ฐ์ดํฐ๋ค์ ์๋ ๋ช ๋ น์ด๋ฅผ ํตํด ํ์ธํ์ค ์ ์์ต๋๋ค.
$ wc -l ./data/*.tsv
6597 ./data/test.tsv
271086 ./data/train.tsv
30123 ./data/valid.tsv
307806 total
ํ๋ จ ๊ณผ์ ์ HuggingFace
์ Seq2SeqTrainingArguments
๋ฐ Trainer
์ PyTorch
๋ฅผ ์ด์ฉํ์ฌ ๊ตฌํ๋์์ต๋๋ค.
์๋์ ๊ฐ์ ๋ช ๋ น์ด๋ก ํ๋ จ์ ์งํํ์ค ์ ์์ผ๋ฉฐ, ์ธ์์ ๋ํ ๊ตฌ์ฒด์ ์ธ ์ค๋ช ์ ๋ค์์ ์ฐธ๊ณ ํด์ฃผ์ธ์.
(venv) $ python finetune_plm_hftrainer.py \
--train ./data/train.tsv \
--valid ./data/valid.tsv \
--pretrained_model_name gogamza/kobart-base-v1 \
--per_replica_batch_size 16 \
--lr 5e-5 \
--weight_decay 1e-2 \
--gradient_accumulation_steps 8 \
--n_epochs 10 \
--model_fpath model
์ฌ์ฉ์๋ ์์ ์ ์ปดํจํฐ ๋ฐ GPU ์ฌ์์ ๋ง๊ฒ per_replica_batch_size
์ epoch
์๋ฅผ ์ ์ ํ๊ฒ ์กฐ์ ํด์ฃผ์๋ฉด ๋ฉ๋๋ค. HuggingFace
์ Trainer
๋ ํ์ ์์คํ
์์ฌ ์ฌ์ฉ ๊ฐ๋ฅํ ๋ชจ๋ GPU๋ฅผ ๋์ด๋ค๊ฐ ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์, GPU๊ฐ 2๊ฐ ์ด์์ด๋ผ๋ฉด ์๋์ผ๋ก ๋ถ์ฐ(distributed) ํ์ต์ ์งํํฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก Mixed Precision Policy
(=Automatic Mixed Precision
)๊ฐ ์ ์ฉ๋์ด ์์ต๋๋ค.
์คํ ๊ฐ ๋ฐ์๋๋ ๋ก๊ทธ๋ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ./logs/{CURRENT_DATETIME}
์, ์ฒดํฌํฌ์ธํธ๋ ./ckpt/{CURRENT_DATETIME}
์ ์ ์ฅ๋์ด ์์ผ๋ฉฐ, ํ์ต์ด ์ข
๋ฃ๋ ์ดํ ๊ฐ์ฅ ์ข์๋ latest model์ ์๋์ผ๋ก ./ckpt/{CURRENT_DATETIME}/{MODEL_FPATH}.pth
๋ก ์ ์ฅํฉ๋๋ค. ํด๋น ํ์ผ์๋ ๋ชจ๋ธ์ ๊ฐ์ค์น ๊ฐ(key=bart
), configuration ํ์ผ(key=config
), ํ ํฌ๋์ด์ (key=tokenizer
)๊ฐ ๊ฐ์ด ํฌํจ๋์ด ์์ต๋๋ค. ํ๋จ์ ์ ์ฅ ์์๋ฅผ ํ์ธํด์ฃผ์ธ์.
torch.save({
"bart": trainer.model.state_dict(),
"config": config,
"tokenizer": tokenizer,
}, Path(model_dir, ".".join([config.model_fpath, "pth"])))
์คํ ์งํ์ฌํญ์ ์๋์ ๊ฐ์ ๋ช
๋ น์ด๋ฅผ ์ฌ์ฉํ ๋ค {SERVER_IP}:8888
์์ ์ค์๊ฐ์ผ๋ก ํ์ธ์ด ๊ฐ๋ฅํฉ๋๋ค. ๋ง์ฝ ๋ก์ปฌ์์ ํ์ธํ๋ค๋ฉด, bind_all
์ธ์๋ฅผ ์ ๊ฑฐํ์ ๋ค localhost:8888
๋ก ์ ์ํด์ฃผ์ธ์.
(venv) $ tensorboard \
--logdir ./logs \
--port 8888 \
--bind_all
๊ฒฝ์ง๋ํ์ฉ ํ๊ฐ ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํ์ฌ ์ถ๋ก ํ๋ ๋ฐฉ๋ฒ์ ์์๋ ์๋์ ๊ฐ์ต๋๋ค.
(venv) $ python summarize.py \
--test ./data/test.tsv \
--model_fpath ./ckpt/{SOME_DATETIME}/model.pth \
--gpu_id 0 \
--length_penalty 0.8 \
--batch_size 64
model_fpath
์ธ์๋ก๋ *.pth
ํ์ผ์ ๊ฒฝ๋ก๋ฅผ ์ ๋ฌํด๋ ๋์ง๋ง, HuggingFace
์ Trainer
๋ก ์ธํด ์์ฑ๋๋ ์ฒดํฌํฌ์ธํธ ๋๋ ํ ๋ฆฌ๋ฅผ ์ง์ ์ ๋ฌํ๋ ๋ฐฉ๋ฒ ๋ํ ๊ฐ๋ฅํฉ๋๋ค.
(venv) $ python summarize.py \
--test ./data/test.tsv \
--model_fpath ./ckpt/{SOME_DATETIME}/checkpoint-{SOME_ITERATIONS} \
--gpu_id 0 \
--length_penalty 0.8 \
--batch_size 64
์ธ์์ ๋ํ ๊ตฌ์ฒด์ ์ธ ์ค๋ช ์ ๋ค์์ ์ฐธ๊ณ ํด์ฃผ์ธ์.
- id: 472779093
type | text |
---|---|
source | ์ฑ์ฅ ์๋๊ฐ ๋๋๊ณ ์๋ณ์น๋ ๊ฐ ๋ง์ ์์ด ๋ฑ๋ฑ ๋ถ๋ชจ ๋์๋ ํญ์ ๊ฑฑ์ ์ด ์์ ๋ค. ์ด๋ด ๋ ์ ๋ฌธ๊ฐ์ ๋์์ ๋ฐ์๋ณด๋ ๊ฒ๋ ์ข๋ค. ๋ค๊ฐ์ค๋ ๊ฒจ์ธ ๋ฐฉํ์ ์์ด์ ์ฑ์ฅ์ ์ฒดํฌํด ๋ณผ ์ข์ ๊ธฐํ๋ค. ์ด์ ๋ถ๋น ์์ํ๋ฐฉ๋ณ์์ ๊น๋์ฐ ๋ณ์์ฅ์ ๋ง๋ '์๋ ์ฑ์ฅ'์ ๋ํ ๊ถ๊ธ์ฆ์ ํ์ด๋ณด์๋ค. ์ฐ์ ์ ์ ์์ค๋ ์ด๋ฅผ ์ฐ์ด ์ฑ์ฅํ ๊ฒ์ฌ๋ฅผ ํ๊ณ ์ฒ์ถ ์ธก๋ง์ฆ๊ณผ ๊ฐ์ด ์ฑ์ฅ์ ๋ฐฉํด ๋ ๋งํ ์์ธ์ ์ฐพ์๋ณด๊ฒ ๋ฉ๋๋ค. ์ฑ์ฅ์ด ๋๋ ์์ด๋ค์ ์ฑ์ฅํ์ ๋ผ ๋์ด๊ฐ ์๋ฆฌ์ ์ธ ๋์ด๋ณด๋ค ๋์ ๊ฒฝ์ฐ๊ฐ ๋ง๊ณ ํ์ ์์ธ๊ฐ ์ข์ง ์์ ์ฑ์ฅ์ ํจ์จ์ฑ์ ๋จ์ด๋จ๋ฆฌ๋ ๊ฒฝ์ฐ๊ฐ ํํฉ๋๋ค. ๊ทธ ๋ฐ์ ์ฑ์ฅ์ ์ํฅ์ ์ฃผ๋ ์ํ ์ต๊ด๋ ์ฒดํฌํฉ๋๋ค. ์ธ์ ์ฑ์ฅ๊ฒ์ฌ๋ฅผ ํด ๋ณด๋ ๊ฒ์ด ์ข์๊น์? ์์ฆ ์์ด๋ค์ ์ฑ์ฅ์ด ๋น ๋ฅด๋ฏ๋ก 2์ฐจ ์ฑ์ง์ด ๋ํ๋๊ธฐ ์ ์ ํ๋ ๊ฒ์ด ํจ๊ณผ์ ์ ๋๋ค. ์ผ๋จ ์ฑํธ๋ฅด๋ชฌ์ด ๋ถ๋น๋๋ฉด ์ฑ์ฅํธ๋ฅด๋ชฌ ๋ถ๋น๊ฐ ์ค์ด๋ค๋ฏ๋ก ํนํ ์ฌํ์์ ๊ฒฝ์ฐ ์ฒซ ์๋ฆฌ ์ด์ ์ ๋ฐ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ํ ์์ด ๋น์ฅํด์ผ ์์ฅ์ด ์ข๋ฏ, ์์ด ๋ชธ๋ ๊ธฐํ์ด ์ถฉ์คํ๋ฉด ์ฑ์ฅ์ ์ ํ๊ฒ ๋ฉ๋๋ค. ๋๋ฌธ์ ์กฐ๊ธ์ด๋ผ๋ ์ด๋ฆด ๋ ๊ด๋ฆฌ๋ฅผ ํ๋ฉด ์๊ฐ์ ์ธ ์ ์ฝ๋ ๋ํ๊ณ ํจ๊ณผ๋ ๋ ํฌ๊ณ ์ข๊ฒ ๋ํ๋์ง์. ๋ง์ฝ ์ฑ์ฅ์ด ์ ๋๊ณ ์์ง ์๋ค๋ ๊ฒฐ๊ณผ๊ฐ ๋์ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํ ๊น์? ํ๋ฐฉ์์๋ ์์(้ค็)์ ๊ธฐ๋ณธ์ผ๋ก ํฉ๋๋ค. ์ฆ ๋ชธ๊ณผ ๋ง์์ ๊ฑด๊ฐํ๊ฒ ํ์ฌ ์ง๋ณ์ ์๋ฐฉํ๊ณ ์๋ช ๋ ฅ์ ๊ธธ๋ฌ ๊ทผ๋ณธ์ ์ธ ๋ฌธ์ ๋ฅผ ์ ๊ฑฐํจ์ผ๋ก์ ์ฑ์ฅ์ ๋๋ ๊ฒ์ธ๋ฐ์. ์ฌ๊ธฐ์ ๊ฐ์ธ ๊ฐ์ธ๋ง๋ค ๋ค๋ฅด๊ฒ ์ ์ฉ๋๋ ์ต์ ์ ์น๋ฃ์๋ฒ์ ๋์ํฉ๋๋ค. ์นจ ์น๋ฃ, ์ถ๋์๋ฒ, ์ฝ, ์ด๋ ๋ฑ ์ฌ๋ฌ ๋ฐ์๋ฅผ ๋ง์ถ๊ฒ ๋์ง์. ๋จ์ํ ์์ ์ฑ์ฅ๋ง์ ์ถ๊ตฌํ๋ ๊ฒ์ด ์๋๋ผ ์ ๋ฐ์ ์ธ ๋ชธ์ ์ํ๋ฅผ ์ข๊ฒ ํด์ฃผ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๋ํ ์๋ณ์น๋ ๋ ์ํ๋ถ๋ ๋ฑ์ ํ๋ณต์์ผ ํ์ ์ฑ์ฅ์ ๋ฐฉํดํ๋ ์์๋ฅผ ์์ ์ค๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ํ ์ต๊ด๋ ์ค์ํฉ๋๋ค. ์ง์์ ํ ์ ์๋ ๊ณจ๊ฒฉ์ ์ง์ด๋, ์ ์ฒด์ ๋ฐ๋์ค๋ฅผ ์ก์์ฃผ๋ ์ด๋, ์์ต๊ด, ์๋ฉด, ์คํธ๋ ์ค ๋ฑ์ ์ฒดํฌํ๊ณ ๋ณด์ํ์ฌ ๋ฐฉํฅ์ ์ก์์ค๋๋ค. ๊ฒจ์ธ ๋ฐฉํ์ ์ฑ์ฅ ์น๋ฃ๋ฅผ ๋ฐ์ผ๋ฉด ์ข์ ์ ์ด ์๋์? ์ผ๋จ ์๊ฐ์ ์ฌ์ ๊ฐ ์๊ธฐ ๋๋ฌธ์ ์ง์ค์ ์ธ ์น๋ฃ๊ฐ ๊ฐ๋ฅํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ณ์ ์ค ๊ฒจ์ธ์ ์ฑ์ฅ์ด ๋๋ ๊ณ์ ์ ๋๋ค. ํฌ๊ฒ ์ฑ์ฅํ๊ธฐ ์ํด ์ ์ฅ์ ํ๋ ์๊ธฐ์ ๋๋ค. ๋ฐ๋ผ์ ์ด ์๊ธฐ์ ์น๋ฃ๋ฅผ ๋ฐ๊ฒ ๋๋ฉด ์ฑ์ฅ์ ํ์ํ ์์๋ค์ ์์๋๋ฉด์ ๋์ค์ ํฐ ๋์์ด ๋ ๊ฒ์ ๋๋ค. Tip ์ฐ๋ฆฌ์์ด ์ฑ์ฅ ์ ์ ํธ ์ฒดํฌ๋ฆฌ์คํธ 1. ์ ์ด ์งง๊ณ , ํธ์์ ํ๋ค. 2. ๊ณ ๊ธฐ, ๊ธฐ๋ฆ์ง ์์, ์ฐฌ ์์์ ๋จน์ผ๋ฉด ์ํ๊ฐ ์ ์ ๋๋ค. 3. ์ด๊นจ ๋์ด๊ฐ ๋ค๋ฅด๊ฑฐ๋ ๋ฑ์ด ๊ตฌ๋ถ์ ํ๋ ๋ฑ ์ฒดํ์ด ๋ถ๊ท ํํด ๋ณด์ธ๋ค. 4. ์๋ฉด ์ต๊ด์ด ๋ถ๊ท์นํ๊ณ ๋ฆ๊ฒ ์๋ค. 5. ๊ต์ฐ๊ด๊ณ๋ ํ๊ต์ํ์์ ์คํธ๋ ์ค๋ฅผ ๋ง์ด ๋ฐ๋๋ค. 6. ์น๊ตฌ๋ค์ ๋นํด ์ฝ๊ฒ ์ง์น๊ณ , ์ถ์๋ฅผ ๋ง์ด ํ๋ค. 7. (๊ฐ๊ธฐ, ์ฒด ๋ฑ)์๋ณ์น๋ ๊ฐ ์์ฃผ ๋๊ณ ์ ๋ซ์ง ์๋๋ค. |
label | ๋ถ๋น ์์ํ๋ฐฉ๋ณ์์ ๋ฐ๋ฅด๋ฉด ๋ค๊ฐ์ค๋ ๊ฒจ์ธ ๋ฐฉํ์ ์๊ฐ์ ์ฌ์ ๊ฐ ์๊ธฐ ๋๋ฌธ์ ์ง์ค์ ์ธ ์น๋ฃ๊ฐ ๊ฐ๋ฅํด ์์ด์ ์ฑ์ฅ์ ์ฒดํฌํด ๋ณผ ์ข์ ๊ธฐํ์ด๋ฉฐ, ํ๋ฐฉ์น๋ฃ๋ฅผ ํ๊ธฐ ์ ์ ์ ์ ์์ค๋ ์ด๋ฅผ ์ฐ์ด ์ฑ์ฅํ ๊ฒ์ฌ์ ์ฑ์ฅ๋ฐฉํด์์ธ ๊ฒ์ฌ๋ฅผ ํ๋ ๋ฑ ์ฑ์ฅ๊ฒ์ฌ๋ฅผ ์งํํ๋ ๊ฒ์ด ์ข๋ค. |
prediction | ์ฑ์ฅ ์๋๊ฐ ๋๋๊ณ ์๋ณ์น๋ ๊ฐ ๋ง์ ์์ด ๋ฑ๋ฑ ๋ถ๋ชจ ๋์๋ ํญ์ ๊ฑฑ์ ์ด ์์ ๊ฐ์ด๋ฐ ๋ถ๋น ์์ํ๋ฐฉ๋ณ์์ ๊น๋์ฐ ๋ณ์์ฅ์ ๋ง๋ '์๋ ์ฑ์ฅ'์ ๋ํ ๊ถ๊ธ์ฆ์ ํ์ด๋ณด์๋๋ฐ, ์ฑ์ฅ์ด ๋๋ ์์ด๋ค์ ์ฑ์ฅํ์ ๋ผ ๋์ด๊ฐ ์๋ฆฌ์ ์ธ ๋์ด๋ณด๋ค ๋์ ๊ฒฝ์ฐ๊ฐ ๋ง๊ณ ํ์ ์์ธ๊ฐ ์ข์ง ์์ ์ฑ์ฅ์ ํจ์จ์ฑ์ ๋จ์ด๋จ๋ฆฌ๋ ๊ฒฝ์ฐ๊ฐ ํํ๋ค. |
- id: 472779095
type | text |
---|---|
source | ์ฃผ์ ๊ธ์ต๊ทธ๋ฃน ํ์ฅ ์ ๋ ์ฌ, ์ฌํด ๊ฒฝ์ ์ํฉ ์ฌ๊ฐ ์ธ์ โฆ ๊ณ์ด์ฌ๊ฐ ์๋์ง ๋์ด๊ณ , ์์ ์๊ตฌ ๊ธ์ต๊ถ์ 2์ผ ์๋ฌด์์ ์ด๊ณ ์ผ์ ํ ์ํด ์ ๋ฌด๋ฅผ ์์ํ๋ค. ์ฃผ์ ๊ธ์ต์ง์ฃผํ์ฌ ํ์ฅ๋ค์ ์ฌํด ์ ๋ ์ฌ๋ฅผ ํตํด ์ด๋ ๋๋ณด๋ค ํ๋ํ ๊ฒฝ์ํ๊ฒฝ์ ์ฒํ์์ ๊ฐ์กฐํ๋ฉด์ ๋ด๋ถ์ 'ํตํฉ๊ณผ ํ์ '์ ๊ฐ์กฐํ๋ค. ๋ค์์ ๊ธ์ต๊ถ ์์ฅ๋ค์ ์ฌํด ์์ ํ๊ฒฝ์ด ์ด๋ ค์ธ ๊ฒ์์ ์๊ณ ํ๋ค. ์ค์ข ๊ท KB๊ธ์ต์ง์ฃผ ํ์ฅ์ 2์ผ ์ ๋ ์ฌ์์ ""์ฌ ํํด ๊ธ์ต์์ฅ์ ๊ฒฝ์์ด ๋์ฑ ์ฌํ๋๊ณ , ์๊ธฐ๊ฐ ์ผ์ํ๋๋ ๋ฑ ์ง๊ธ๊ป ์ ๋ก์๋ ์ ๋ฐฉ์์ ์๋ฐ์ด ์ง์ ๋ ๊ฒ""์ด๋ผ๋ฉฐ ""์๋ง์กด, ํ ์ผํธ ๋ฑ ๊ธ๋ก๋ฒ ICT๊ธฐ์ ์ด ๊ณ ๊ฐ๊ธฐ๋ฐ๊ณผ ๊ฐ๋ ฅํ ํ๋ซํผ์ ๋ฐํ์ผ๋ก ๊ธ์ต์ ์ ์ง์ถํ๊ณ ์์ด ์ ์ ๋ ๊ฑฐ๋ํ ์ํ์ผ๋ก ๋ค๊ฐ์ค๊ณ ์๋ค""๊ณ ๋ฐํ๋ค. ๊น์ ํ ํ๋๊ธ์ต์ง์ฃผ ํ์ฅ๋ 1์ผ ๋ฐํํ ์ ๋ ์ฌ์์ ""2018๋ ๋ถํฐ ์ธ๊ณ๊ฒฝ์ ์ ๊ฒฝ๊ณ ์ ํธ๊ฐ ๋ํ๋๊ณ , 2019๋ ์๋ ๊ธ์ต์์ฅ์ด ๋ถ์ํด์ง ๊ฒ์ด๋ผ๊ณ ์ธ๊ธํ๋ ๋ฐ ํ์ค๋ก ๋ค๊ฐ์ค๋ ๋ฏํด ์ํ๊น๋ค""๋ฉด์ ""์๋ ์ ์ด์ด ์ฌํด๋ ๊ฐ๋ ฅํ DSR ๊ท์ ์ฌํ๋ก ๊ฐ๊ณ๋์ถ ์ฆ๊ฐ์ธ๋ ๋ํ๋๊ณ , ์ค์๊ธฐ์ ๊ณผ ์์์ ์์ ํดํ์ ์ด ๋์ด๋๋ฉด์ ๋์์ถฉ๋น๊ธ์ ๋ ์ฆ๊ฐ๋๊ณ , ์นด๋์์๋ฃ ์ธํ๋ก ์์ต ์ถ์๋ ์์๋๋ค""๊ณ ํ๋ค. ๊ธ์ต๊ถ ๋ฆฌ๋๋ค์ ์ด๋ฌํ ์๊ธฐ์ ์ํฉ์ ๋๋นํด ๊ทธ๋ฃน๋ด ํตํฉ๊ณผ ํ๋ ฅ์ ๊ฐ์กฐํ๋ค. ๊ธ์ต๊ถ 1์ ์๋ฆฌ๋ฅผ ๋๊ณ ๋คํฌ๋ KB๊ธ์ต๊ณผ ์ ํ๊ธ์ต์ ๋์์ 'One KB'์ 'One ์ ํ'์ ๋ด๊ฑธ์๋ค. ์กฐ์ฉ๋ณ ์ ํ๊ธ์ต์ง์ฃผ ํ์ฅ์ 2์ผ ์ค์ ์๋ฌด์์์ ๋ฐํ ์ ๋ ์ฌ๋ฅผ ํตํด ""์ํด์๋ ์กฐ์ง๊ณผ ์ฑ๋, ์ธ๋ ฅ, ์ํยท์๋น์ค ๋ฑ ๋ชจ๋ ๊ฒ์ '์ ์ ํ'์ ๊ด์ ์์ ํตํฉํด ๊ทธ๋ฃน ์ ์ฒด๊ฐ 'ํ๋์ ๋ชฉํ'์ 'ํ๋์ ๋ฐฉํฅ'์ผ๋ก ์ผ๊ด๋๊ฒ ๋์๊ฐ์""๋ฉด์ ""์์ผ๋ก๋ ๊ธ๋ก๋ฒ๋ถ๋ฌธ๊ณผ ์์ฐ๊ด๋ฆฌ๋ถ๋ฌธ ๋ฑ 'One ์ ํ' ๋งคํธ๋ฆญ์ค์ ์ฑ๊ณผ๋ฅผ ๋์ฌ ๊ทธ๋ฃน ์๋์ง๋ฅผ ๋์ฑ ๋ฐํํ๊ณ , ์ธ์์์ ์ ์งํ ์ค์ธ ์ค๋ ์ง๋ผ์ดํ์ ์์์์ ํ ์ญ์ ์ต๊ณ ์ ์ ๋ฌธ์ฑ์ ๋ฐํ์ผ๋ก ๊ธฐ์กด ๊ทธ๋ฃน์ฌ์ ๊ธด๋ฐํ ํ์ ์ ๊ฐํ์ํฌ ๊ฒ""์ด๋ผ๊ณ ํ๋ค. KB๊ธ์ต ์ค ํ์ฅ๋ ์ด๋ ์ ๋ ์ฌ์์ ""์ง๋ ํํด ๊ธฐํ์ ๋ค์ง 'One KB'์ ๊ฐ์์ ์ธ ์ฑ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ์๋์ ์ธ ๋ฆฌ๋ฉ๊ธ์ต๊ทธ๋ฃน์ผ๋ก ๋์ฝํด์ผ ํ๋ค""๊ณ ํ๋ค. ๊ธ์ต๊ถ ์ ๋ ์ฌ์์ ๊ฐ์ฅ ๋ณดํธ์ ์ด๊ณ ๊ฐ๋ ฅํ ์ฃผ๋ฌธ์ฌํญ์ผ๋ก ๋ด๊ฒจ์ง ๋ด์ฉ์ '์์ '์ด๋ค. ๋ชจ๋ ๊ธ์ต์ง์ฃผ ํ์ฅ๋ค์ด ์ ๋ ์ฌ์์ ์ค์ค๋ก ๋จผ์ ํ์ ํ์ง ์์ผ๋ฉด ์ด์๋จ๊ธฐ ์ด๋ ต๋ค๋ ์ ์ ๊ฐ์กฐํ๋ค. ๊น๊ด์ ๋ํ๊ธ์ต์ง์ฃผ ํ์ฅ์ 1์ผ ๋ฐํํ ์ ๋ ์ฌ์์ ""๊ณผ๊ฑฐ ๊ฒฝ์์ฒด์ ์์๋ ํ๊ฒฝ๋ณํ๊ฐ ์กฐ์งยท์ธ๋ ฅ์ ํ์ถฉ์ผ๋ก ์ฐ๊ฒฐ๋ผ ์ด๊ฒ์ด ๊ด๋กํ๋๊ณ ๊ณ ์ฐฉํ๋๋ฉด์ ๊ณ ์ ๋น์ ์ฆ๊ฐ๋ก ์ด์ด์ ธ ์ง์๊ฐ๋ฅ ๊ฒฝ์์ ๊ฑธ๋ฆผ๋๋ก ์์ฉํ๋ค""๋ฉด์ ""๋์งํธํ์ ๋ฐ๋ผ ๋ฐ์ํ๋ ์์ฌ ์ธ๋ ฅ์์์ ์์ฐ์ฑ์ ์ ๊ณ ํ๋ ๋ฐฉํฅ์ผ๋ก ๊ฐ์ ํ๊ณ , ์ ์ฌ ์ฌ์ ์ ํ๋ ๊ณ์ด์ฌ๊ฐยท์ฌ์ ๋ถ๋ฌธ๊ฐ ๊ฒฝํฉ์ ์์๋ฅผ ์กฐ์ ํ๊ณ ๋นํจ์จ์ ์ ๊ฑฐํ๊ฒ ๋ค""๊ณ ํ๋ค. ์ฌํด ์ด ๊ธ์ต์ง์ฃผ์ฌ๋ก ์ ํ์ ์๋ ์ํ์น ์ฐ๋ฆฌ์ํ์ฅ๋ 1์ผ ์ ๋ ์ฌ์์ ""์ฌํด ์ฐฝ๋ฆฝ 120์ฃผ๋ ์ ๊ธฐ๋ ํด 'ํํ์ตํต(่ฒจๅนฃ่้)์ ์๋ฌดํฅ์(ๅๅ่ๆบ)์ ๋ณธ(ๆฌ)'์ด๋ผ๋ ์ฐ๋ฆฌ์ํ์ ์ฐฝ๋ฆฝ ์ด๋ ์ ๋์๊ธฐ๊ณ ๊ณ์นํด ๊ฒฝ์ ์ ํ๋ ฅ์ ๋ถ์ด๋ฃ๊ณ ์ฌํ์ ์ํ, ์ง์ ๋ชจ๋๊ฐ ๊ฑด๊ฐํด์ง๋ 2019๋ ์ ๋ง๋ค์ด ๊ฐ๊ฒ ๋ค""๊ณ ๋ฐํ๋ค. ํํธ ๊นํ์ ์ํ์ฐํฉํ์ฅ์ 1์ผ ์ ๋ ์ฌ๋ฅผ ํตํด '๋ฟ๋ฆฌ๊ฐ ๊น์ผ๋ฉด ๊ฐ์ง๊ฐ ๋ฌด์ฑํ๋ค'๋ '๊ทผ์ฌ์ง๋ฌด(ๆ นๆทฑๆ่)'๋ผ๋ ์ฌ์์ฑ์ด๋ฅผ ํตํด ""์ฌํด ์ฐ๋ฆฌ ๊ธ์ต์ฐ์ ์ด ๊ธ๋ก๋ฒ ๋น์ฆ๋์ค์ ์ง์ ์ฑ์ฅ๊ณผ ๋์งํธ ์ ํ ์ง์์ ํตํด ๋ด์ค์ ํผํผํ ๋ค์ ธ ํ๊ตญ ๊ธ์ต์ด ์ฑ์ฅ์ ์ง์ํด ๋๊ฐ๋ ํ ํด๊ฐ ๋๊ธฐ๋ฅผ ๊ธฐ๋ํ๋ค""๊ณ ๋ฐํ๋ค. |
label | ์ฃผ์ ๊ธ์ต์ง์ฃผํ์ฌ ํ์ฅ๋ค์ ์ฌํด ์์ ํ๊ฒฝ์ด ํ๋ค ๊ฒ์์ ์๊ณ ํ๊ณ , ์ ๋ ์ฌ๋ฅผ ํตํด ํ๋ํ '์๊ธฐ'์ ๊ฒฝ์ํ๊ฒฝ์์ ๋จผ์ ํ์ ํ์ง ์์ผ๋ฉด ์์กดํ ์ ์๋ค๋ฉฐ ๋ด๋ถ์ 'ํตํฉ๊ณผ ํ์ '์ ๊ฐ์กฐํ๋ค. |
prediction | ์ฃผ์ ๊ธ์ต์ง์ฃผํ์ฌ ํ์ฅ๋ค์ ์ฌํด ์ ๋ ์ฌ๋ฅผ ํตํด ์ด๋ ๋๋ณด๋ค ํ๋ํ ๊ฒฝ์ํ๊ฒฝ์ ์ฒํ์์ ๊ฐ์กฐํ๋ฉด์ ๋ด๋ถ์ 'ํตํฉ๊ณผ ํ์ '์ ๊ฐ์กฐํ๋ฉด์ ์ฌํด ์์ ํ๊ฒฝ์ด ์ด๋ ค์ธ ๊ฒ์์ ์๊ณ ํ๊ณ ๊ธ์ต๊ถ 1์ ์๋ฆฌ๋ฅผ ๋๊ณ ๋คํฌ๋ KB๊ธ์ต๊ณผ ์ ํ๊ธ์ต์ ๋์์ 'One KB'์'One ์ ํ'์ ๋ด๊ฑธ์๋ค. |
- id: 472779096
type | text |
---|---|
source | ์ ์๋ค ํด๊ฒ ๋ฐ ์์ ์ ์ํ ๊ณต๊ฐ์ ํ๋ํ ์ด์ ๊ฐ๋ฐ์ด ์๋ฃ๋๋ค. ์ง๋ํด ๋ง ํด์์์ฐ๊ณผํ๊ธฐ์ ์งํฅ์(KIMST, ์์ฅ ์กฐ์นํ)์ด ํด์์์ฐ๋ถ์ ํจ๊ป ๊ฐ๋ฐํ ์ฐจ์ธ๋ ์์ ยท๋ณต์งํ ์ด์ ํ์ค์ ํ ์์ ์ ์ ์ฐ์๋ณตํฉ(9.77ํค) ์ฐ์ํต๋ฐ(9.77ํค) ํจ๋ฅํ๋ง(4ํค) ๊ฐ 1์ฒ์ฉ 3์ฒ์ด๋ค. ์ด๋ฒ์ ๊ฐ๋ฐํ ์ ๋ฐ์ ํด์๋ถ๊ฐ ์๋ฒ์ฌ์ ์ ํตํด ๊ฒ์ฆํ ์๋ก์ด ์ฐ์์ด์ ๊ธธ์ด๊ธฐ์ค์ ์ ์ฉํด ํญ๊ณผ ์ ์ฒด ๊น์ด๋ฅผ ํค์ ๊ณ , ์กฐ์ ์์ ๊ณผ ๋ณต์ง ํ๋๋ฅผ ์ํ ๊ณต๊ฐ๋ฐฐ์น ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ์ํ๋ค. ์ด์ ๋ฐ๋ผ ๊ฐํ ์๋ ์๋ ์ ์์ค์ ๊ฐํ ์๋ก ๋ฐฐ์นํ๊ณ , ํ์ฅ์ค ์ค์์ค ์ฃผ๋ฐฉ๋ ํ๋ํ๋ค. ํ์ค์ ์ ๊ณต๊ฐ๋ฐฐ์น๋ฅผ ๋ฌ๋ฆฌํ๋ฉด์๋ ์กฐ์ ์์ ์ฑ๊ณผ ๋ณต์์ฑ, ๋ณต์ง๊ณต๊ฐ ๋ฐฐ์น๊ฐ ์ฉ์ดํ๋๋ก ํ๋ ๋ฐ ์ด์ ์ ๋ง์ท๋ค. ์ด์ ์ธ ์์ ์ํฉ์ ์ ํฉํ๊ฒ ํธ๋ฆฌ์ฑ์ ๋์ด๋ ๋ฐ๋ ์ง์คํ๋ค. ๊ทธ๋์ ์ฐ์์ด์ ์ ์ํํ์ง ์๋ ๋ณต์์ฑ ํ๊ฐ๋ ๋ง์ณค๋ค. ์ ์ฒด์ฌ์ง๋ ๊ธฐ์กด์ ์ ๋ฆฌ์ฌ์ ๊ฐํ ํ๋ผ์คํฑ(FRP) ์ฌ๋ฃ์์ ์นํ๊ฒฝ์ ์ธ ์๋ฃจ๋ฏธ๋ ๋ณตํฉ์์ฌ๋ก ๋ณ๊ฒฝํ๋ค. ์๋ฃจ๋ฏธ๋๋ณตํฉ์์ฌ๋ก ์ ์ฒด ์ค๋์ ์ค์ฌ ์ ๋ฅ๋น๋ ์ค์๋ค. ์ต์ฌ์ฑ KIMST ์์ฐ์ฐ๊ตฌ๊ด๋ฆฌ์ค์ฅ์ ""์ฐจ์ธ๋ ์์ ยท๋ณต์งํ ์ด์ ๊ฐ๋ฐ์ ๋ ธํํ๋ ์ด์ ์ ๊ตฌ์กฐ๊ฐ์ ์ ์ํด ํ์ํ ์ฌ์ ""์ด๋ผ๋ฉฐ ""ํ์ค์ ํ 3์ฒ์ ์ด์ ์ธ์ ์ค์ ์กฐ์ ์ ํฌ์ ํด ์ด์ ๊ฒฝ๋น ์ ๊ฐ ๋ฑ์ ๊ฒฝ์ ์ฑ์ ํ๊ฐํ๊ณ ๋ฏธํกํ ๋ถ๋ถ์ด๋ ๊ฐ์ ํ ๊ณณ์ด ๋ํ๋๋ฉด ๋ณด์ํด ํ์ค์ ํ์ ๋ฐ์ํ ์์ ""์ด๋ผ๊ณ ๋งํ๋ค. |
label | ์ง๋ํด ๋ง ํด์์์ฐ๊ณผํ๊ธฐ์ ์งํฅ์(KIMST)์ด ํด์์์ฐ๋ถ์ ํจ๊ป ๊ฐ๋ฐํ ์ฐจ์ธ๋ ์์ ยท๋ณต์งํ ์ด์ ํ์ค์ ํ ์์ ์ 3์ฒ์ ์ด์ด ์ด๋ฒ์ ๊ฐ๋ฐํ ์ ๋ฐ์ํญ๊ณผ ์ ์ฒด ๊น์ด๋ฅผ ํค์ ๊ณ , ์กฐ์ ์์ ๊ณผ ๋ณต์ง ํ๋๋ฅผ ์ํ ๊ณต๊ฐ๋ฐฐ์น ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ์ํ๊ณ , ์ ์ฒด์ฌ์ง๋ ๊ธฐ์กด์ ์ ๋ฆฌ์ฌ์ ๊ฐํ ํ๋ผ์คํฑ(FRP) ์ฌ๋ฃ์์ ์นํ๊ฒฝ์ ์ธ ์๋ฃจ๋ฏธ๋ ๋ณตํฉ์์ฌ๋ก ๋ณ๊ฒฝํ๋ค. |
prediction | ์ง๋ํด ๋ง ํด์์์ฐ๊ณผํ๊ธฐ์ ์งํฅ์(KIMST, ์์ฅ ์กฐ์นํ)์ด ํด์์์ฐ๋ถ์ ํจ๊ป ๊ฐ๋ฐํ ์ฐจ์ธ๋ ์์ ยท๋ณต์งํ ์ด์ ํ์ค์ ํ ์์ ์ ์ ์ฐ์๋ณตํฉ(9.77ํค) ์ฐ์ํต๋ฐ ํจ๋ฅํ๋ง(4ํค) ๊ฐ 1์ฒ์ฉ 3์ฒ์ผ๋ก ์ ์๋ค ํด๊ฒ ๋ฐ ์์ ์ ์ํ ๊ณต๊ฐ์ ํ๋ํ ์ด์ ๊ฐ๋ฐ์ด ์๋ฃ๋๋ค. |
๋ฐ์ด์ฝ ๊ฒฝ์ง๋ํ์์๋ ์๊ฐ ๋ถ์กฑ์ผ๋ก ์คํ์ ์ฌ์ฉ๋๋ ์ธ์๋ค์ ๋ค์๊ณผ ๊ฐ์ด ๊ณ ์ ํ ์ฑ ์ถ๋ก ์ฉ ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฝ๊ฐ์ฉ ์กฐ์ ํด๊ฐ๋ฉฐ ์ฑ๋ฅ ๋ณํ ์ถ์ด๋ฅผ ๊ด์ฐฐํ์ต๋๋ค.
-
Default
- Pretrained language model (PLM): gogamza/kobart-base-v1
- Pretrained tokenizer: gogamza/kobart-base-v1
-
Training
- Batch size: 256 (=16x2x8)
- Per replica batch size: 16 (Tesla V100 32GB VRAM)
- # GPUs: 2
- Gradient accumulate steps: 8
- Learning rate: 5e-5
- Warmup rate: 20%
- Linear warm-up applied (default)
- Optimizer: AdamW (default optimizer in huggingface)
- Weight decay: 1e-2
- Dataloader num workers: 4
- Mixed Precision Policy: True (fp16 applied)
- Shuffle
- On training start: True (sort by length & descending)
- On epoch end: False (only the once applied)
- Batch size: 256 (=16x2x8)
-
Inference
- Batch size: 64 (only one GPU used)
- Beam search size: 5
- Trigram blocking: True (same as the argument "no_repeat_ngram_size=3")
์ด์ ๋ฐ๋ฅธ Private Leader Board Score๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
Name | Clean | Bst./Ep. (*) | Run T. (H) | Tr-loss | Vl-loss | LP | Min/Max | ROUGE-1 | ROUGE-2 | ROUGE-N | Note |
---|---|---|---|---|---|---|---|---|---|---|---|
20211206 -164445 |
X | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 1.2 | 64/256 | 0.3671 | 0.1801 | 0.2778 | |
20211206 -164445 |
X | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 1.0 | 64/256 | 0.3672 | 0.1798 | 0.2785 | |
20211206 -164445 |
X | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 0.8 | 64/256 | 0.3678 |
0.1803 | 0.2800 |
|
20211206 -185244 |
O | 5/10 (5) | 10.7 | 1.1843 | 1.3380 | 0.8 | 64/256 | 0.3640 | 0.1830 |
0.2711 | |
20211206 -164445 |
X | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 0.8 | 64โฅ/โค256 | 0.3575 | 0.1760 | 0.2589 | variable summary |
20211207 -192805 |
X | 5/10 (5) | 7.9 | 1.1085 | 1.2265 |
0.8 | 128/512 | 0.2846 | 0.1442 | 0.2048 | variable padding |
20211207 -192805 |
X | 5/10 (5) | 7.9 | 1.1085 | 1.2265 |
0.8 | 64/256 | 0.3662 | 0.1811 | 0.2731 | variable padding, final submission |
20211207 -164445 |
X | 7/10 (10) | 10.7 | 0.9803 |
1.2599 | 0.8 | 64/256 | 0.3446 | 0.1689 | 0.2522 | |
20211208 -144747 |
X | 12/26 (12) | 20.6 | 1.129 | 1.233 | 0.8 | 64/256 | 0.3613 | 0.1771 | 0.2688 | Stop at 26/50 |
20211209 -125836 |
โณ | 7/10 (7) | 7.8 |
1.0448 | 1.2311 | 0.8 | 64/256 | 0.3634 | 0.1781 | 0.2701 | |
20211209 -125836 |
โณ | 7/10 (7) | 7.8 |
1.0448 | 1.2311 | 0.8 | 64โฅ/โค256 | 0.3617 | 0.1768 | 0.2660 | variable summary |
20211206 -164445 |
โณ | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 0.8 | 64/256 | 0.3439 | 0.1660 | 0.2480 | unigram blocking |
20211206 -164445 |
โณ | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 0.5 | 64/256 | 0.3474 | 0.1721 | 0.2543 | |
20211206 -164445 |
X | 7/10 (7) | 10.7 | 1.0466 | 1.2471 | 0.6 | 64/256 | 0.3469 | 0.1718 | 0.2538 |
- Clean: ํ ์คํธ ํด๋ฆฌ๋ ์ฌ๋ถ (X: ์ ์ฒ๋ฆฌ ํ์ง ์์, โณ: ๋ฏผ๊ฐ์ ๋ณด๋ง ์ ๊ฑฐ, O: ๋ฏผ๊ฐ์ ๋ณด ๋ฐ ์ธ๋ก ์ฌ๋ณ ๋ง์ถค ์ ์ ์ถ๊ฐ)
- Bst./Ep. (*): Validation loss๊ฐ ๊ฐ์ฅ ์ข์๋ Epoch / ์ ์ฒด ์ํญ (์ค์ ์ถ๋ก ์ ์ฌ์ฉํ ์ํญ)
- LP: Length Penalty
- Min/Max: ์์ฝ๋ฌธ์ ์ต์, ์ต๋ ๊ธธ์ด (ํ ํฌ๋์ด์ง ๋ ์์ฝ๋ฌธ์ ๊ธธ์ด ๊ธฐ์ค)
- Variable Summary: ์ ๋ ฅ ๋ฐ์ดํฐ์ ๊ธธ์ด์ ๋ฐ๋ผ ์์ฝ๋ฌธ์ ๊ธธ์ด๋ฅผ ๊ฐ๋ณ์ ์ผ๋ก ๊ฒฐ์
- Variable Padding: ์ ์ถ๋ ฅ ๋ฐ์ดํฐ์ ํจ๋ฉ์ ๊ณ ์ ๋ ๊ฐ(e.g. 1024, 256 ๋ฑ)์ด ์๋, ๋ฐฐ์น ๋จ์์์์ ์ต๋ ๊ธธ์ด๋ก ์ ์ฉ
๋ํ ๊ธฐ๊ฐ๋์ ์ํ๋ ๋ชจ๋ ์คํ์ ๋ก๊ทธ๋ TensorBoard.dev์ Commitํ์์ผ๋ฉฐ, Fine-tuning๋ ๋ชจ๋ธ์ ๊ฐ์ค์น ํ์ผ๋ค์ ๋ณ๋๋ก ๊ณต์ ํ์ง ์์ต๋๋ค.
TensorBoard.dev
์ ๊ฒ์ํ๋ ๋ฐฉ๋ฒ์ ์๋์ ๊ฐ์ผ๋ฉฐ, ๋ก์ปฌ์์ ์งํํ ๊ฒฝ์ฐ ๋์ ํ๋ฅ ๋ก ์๋ ๊ฐ๋ฅ์ฑ์ด ์์ผ๋ฏ๋ก ์ฝ๋ฉ์ผ๋ก ๋ก๊ทธํ์ผ์ ์ฎ๊ธด ๋ค ํด๋น ์ฐฝ์์ ์๋ ๋ช
๋ น์ด๋ฅผ ์คํ์ํค์๋ฉด ๋ฉ๋๋ค.
(venv) $ !tensorboard dev upload --logdir ./logs \
--name "{SOME_NAME_OF_YOUR_LOGS}" \
--description "{SOME_DESCRIPTION_OF_YOUR_LOGS}" \
--one_shot
์ธ๋ถ์ ์ธ ์ํ๋ด์ฉ์ด ์ ํ 2์ฐจํ๊ฐ ๋ฐํ์๋ฃ๋ ๋ค์์์ ํ์ธํ์ค ์ ์์ต๋๋ค.
๋ณธ ์ฐ๊ตฌ๋ ์ ๋ณดํต์ ์ฐ์ ์งํฅ์์์ ์งํํ "2021๋ ์ธ๊ณต์ง๋ฅ ๊ณ ์ฑ๋ฅ ์ปดํจํ ์์ ์ง์ ์ฌ์ "์ ์ ์ ๋์ด ์ง์๋ฐ์ ์ปดํจํ ์์์ ์ด์ฉํ์ฌ ์ํ๋์์์ ๋ฐํ๋๋ค.
Abstractive Text Summarization
๋ถ์ผ์ ๊ดํด ์ข ๋ ๊ณต๋ถํ๊ณ ์ ํ์๋ ๋ถ๋ค์, ์๋ ์ฌ์ดํธ๋ฅผ ์ฐธ์กฐํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค.