Implementing Mask R-CNN with PyTorch

Posted on 2023-04-05 In 5. Machine Learning

Introduction

Mask R-CNN?

Mask R-CNN은 Faster R-CNN에 Segmentation 네트워크를 추가한 딥러닝 알고리즘으로, 객체 검출 (Object detection)과 분할을 모두 수행할 수 있습니다.
기존 Faster R-CNN은 RPN (Region Proposal Network)을 사용하여 객체의 경계 상자 (Bounding box)를 추출하고, 추출된 경계 상자를 입력으로 사용하여 객체 인식을 수행합니다. 이러한 방식은 객체의 위치와 클래스 정보를 검출할 수 있지만, 객체 내부의 픽셀-레벨 Segmentation 정보는 제공하지 않습니다.
Mask R-CNN은 Faster R-CNN의 RPN 뿐만 아니라, RoIAlign (Rectangle of Interest Alignment)을 사용하여 추출된 경계 상자 내부의 픽셀-레벨 Segmentation 정보를 추출할 수 있는 분할 네트워크를 추가합니다. 이를 통해, 객체 검출과 동시에 객체 내부의 픽셀-레벨 Segmentation 정보를 추출할 수 있습니다.
또한, Mask R-CNN은 이를 위해 Faster R-CNN과 함께 사용되는 합성곱 신경망 (Convolutional Neural Network)을 미세 조정 (Fine-tuning)하여 분할 네트워크의 성능을 최적화합니다.
Mask R-CNN은 객체 검출과 분할 작업에서 매우 강력한 성능을 보여주며, COCO (Common Objects in Context) 데이터셋에서 현재 가장 높은 정확도를 보이고 있습니다. 따라서, 객체 검출과 분할이 모두 필요한 다양한 응용 분야에서 활용되고 있습니다.

├── makeGT.py
├── model
│   ├── __init__.py
│   ├── load_data.py
│   ├── model.py
│   ├── README.md
│   ├── test.py
│   └── train.py
├── README.md
├── requirements.txt
├── test.py
├── train.py
└── utils
    ├── coco_eval.py
    ├── coco_utils.py
    ├── engine.py
    ├── __init__.py
    ├── README.md
    ├── transforms.py
    └── utils.py

Mask R-CNN의 training, test, visualization, evaluation을 진행할 수 있게 PyTorch를 사용하여 위와 같은 구조로 개발하는 과정을 기록한다.

사용될 데이터는 ISIC 2016 Challenge - Task 3B: Segmented Lesion Classification이며 예시는 아래와 같다.

├── ISBI2016_ISIC_Part3B_Test_Data
│   ├── ISIC_0000003.jpg
│   ├── ISIC_0000003_Segmentation.png
│   └── ...
├── ISBI2016_ISIC_Part3B_Training_Data
│   ├── ISIC_0000000.jpg
│   ├── ISIC_0000000_Segmentation.png
│   └── ...
├── ISBI2016_ISIC_Part3B_Test_GroundTruth.csv
└── ISBI2016_ISIC_Part3B_Training_GroundTruth.csv

How to Convert a PyTorch Model to TensorRT

Posted on 2023-03-14 In 5. Machine Learning

Introduction

TensorRT

Features
- 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서 Inference 속도를 향상시켜 Deep Learning 서비스 TCO (Total Cost of Ownership)를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진
- NVIDIA GPU 연산에 적합한 최적화 기법들을 이용해 모델을 최적화하는 Optimizer와 다양한 GPU에서 모델 연산을 수행하는 Runtime Engine을 포함
- 대부분의 Deep Learning Frameworks (TensorFlow, PyTorch, Etc.)에서 학습된 모델 지원
- C++ 및 Python의 API 레벨 지원을 통해 GPU programming language인 CUDA 지식이 별도로 없더라도 사용 가능
TensorRT Optimizations
- Quantization & Precision Calibration
- Graph Optimization
- Kernel Auto-tuning
- Dynamic Tensor Memory & Multi-stream Execution

MLOps for MLE: Stream

Posted on 2023-03-09 In 4. MLOps

Stream Serving

Data Subscriber

data_subscriber.py

import os
from dotenv import load_dotenv

from json import loads

import psycopg2
import requests
from kafka import KafkaConsumer


def create_table(db_connect):
    create_table_query = """
    CREATE TABLE IF NOT EXISTS breast_cancer_prediction (
        id SERIAL PRIMARY KEY,
        timestamp timestamp,
        breast_cancer_class int
    );"""
    print(create_table_query)
    with db_connect.cursor() as cur:
        cur.execute(create_table_query)
        db_connect.commit()


def insert_data(db_connect, data):
    insert_row_query = f"""
    INSERT INTO breast_cancer_prediction
        (timestamp, breast_cancer_class)
        VALUES (
            '{data["timestamp"]}',
            {data["target"]}
        );"""
    print(insert_row_query)
    with db_connect.cursor() as cur:
        cur.execute(insert_row_query)
        db_connect.commit()


def subscribe_data(db_connect, consumer):
    for msg in consumer:
        print(
            f"Topic : {msg.topic}\n"
            f"Partition : {msg.partition}\n"
            f"Offset : {msg.offset}\n"
            f"Key : {msg.key}\n"
            f"Value : {msg.value}\n",
        )

        msg.value["payload"].pop("id")
        msg.value["payload"].pop("target")
        ts = msg.value["payload"].pop("timestamp")

        response = requests.post(
            url="http://api-with-model:8000/predict",
            json=msg.value["payload"],
            headers={"Content-Type": "application/json"},
        ).json()
        response["timestamp"] = ts
        insert_data(db_connect, response)


if __name__ == "__main__":
    load_dotenv()
    db_connect = psycopg2.connect(
        user=os.environ.get("POSTGRES_USER"),
        password=os.environ.get("POSTGRES_PASSWORD"),
        host=os.environ.get("POSTGRES_HOST"),
        port=5432,
        database=os.environ.get("POSTGRES_DB"),
    )
    create_table(db_connect)

    consumer = KafkaConsumer(
        "postgres-source-breast_cancer_data",
        bootstrap_servers="broker:29092",
        auto_offset_reset="earliest",
        group_id="breast_cancer_data-consumer-group",
        value_deserializer=lambda x: loads(x),
    )
    subscribe_data(db_connect, consumer)

How to Change PyTorch Model Structure and Train Only Some Layers

Posted on 2023-03-09 In 5. Machine Learning

Introduction

논문의 저자가 제공하거나 논문을 참고하여 개발된 모델은 보통 config 파일 (e.g. config.yaml, config.py)이 존재하고, 해당 파일을 통해 이렇게 모델 구조를 변경할 수 있다.
하지만 기존의 소스에 본인이 원하는 모델 구조가 없다면 어떻게 개발하는지, 그리고 기존에 없던 레이어를 어떻게 훈련하면 좋을지 알아보자.
이 글에서는 이 논문을 기반으로 개발된 모델인 whai362/pan_pp.pytorch를 기준으로 개발하겠다.
간단한 목표 설정을 해보기 위해 대략적인 모델의 설명을 진행하겠다.

PAN++

PAN++는 STR (Scene Text Recognition)을 위해 개발되었지만, 본 글에서는 STD (Scene Text Detection) 부분까지만 사용하며 해당 부분은 아래와 같이 진행된다.

Feature Extraction
- Layer: Backbone (ResNet)
- Output: Feature map
Feature Fusion
- Layer: FPEM (Feature Pyramid Enhancement Module)
- Output: Enhanced feature map
Detection
- Layer: Detection Head
- Output: Text region, text kernel, instance vector
Post-processing (Pixel Aggregation, PA)
- Output: Axis of bbox (bounding box)

Goal

FPEM의 stack 수 편집
- 원문 코드: 2 stacked FPEMs 사용
- 목표: 4 stacked FPEMs
Fine-tuning
- 목표: 추가된 2 stacked FPEMs 계층만을 훈련

전문연구요원: 훈련소 준비

Posted on 2023-03-03 In 0. Daily

Introduction

전문연구요원은 3주의 기초군사교육 (훈련소)을 받아야합니다,, ^^

그렇게 됐습니다,,,

shit