[Data - Python] CSV 파일 총정리

딥러닝모델링과 데이터를 처리하기 위해  csv파일에 대해 파이썬으로 cvs파일의 데이터를 읽고 처리하기위해 csv파일 읽는 방법에대해 정리하고자 한다. 

csv파일이란 ? 

CSV(Comma-Separated Value)는 데이터 필드를 Comma즉 쉼표","로 구분한 데이터 및 텍스트 파일이다.

확장자는 .csv 이다.

 

기본 내장함수 이용하기

- csv.reader() 이용하기 

 

import csv

file_path = "path"

data = open(file_path)

reader = csv.reader(data)
lines = list(reader)

print(lines)

 

- csv.DictReader() 이용하기

import csv
from collections import defaultdict

column = defaultdict(list)

file_path = 'filepath'

with open(file_path) as raw:
	reader = csv.DictReader(raw)
    for lines in reader:
    	for k, v in lines.items():
        	column[k].append(v)

 

- 한줄씩 읽어 리스트로 구성하기 

import csv

data_list_1 = []
data_list_2 = []

file_path = "path/filename.csv"

with open(file_path,'r') as raw:
	reader = csv.reader(raw)
    for lines in reader:
    print(lines)
    data_list_1.append(lines)
    start = len(data_list_2)
    data_list_2[start:start] = lines

 

- from_csv 이용하기

 

import csv

file_path = "path"

dat.from_csv(file_path,sep=',',encoding = 'utf-8')

dat.head()

- Readlines() 이용하기

import csv

file_path = "path"

open(file_path).readlines() 
#파일을 한줄씩 전체를 읽어들여서 리스트로 변환

 

pandas  이용하기 

-해당 방법은 csv 파일의 전체 컬럼의 데이터를 모두 받아오고자 할때 사용하는 방법이다.

-Pandas의 DataFrame 기본 구조로 만들어주는 read_csv() 메소드를 활용하여 파일을 읽을수 있다.

 

-1 read_csv() 1.

import pandas as pd

file_path = "path/filename"

df = pd.read_csv(file_path)

print(pd)

 

-2. read_csv() 2

import pandas as pd


file_path = "path"


dat = pd.read_csv(file_path, thousand = ',',
					index_col =0 ,
                    name =['col1', 'col2', 'col3'],
                    encoding = 'utf-8')
dat.head()

dat.columns # columne name print
dat.rename(columns = {dat.columns[0] : 'name' },
			inplace,
            inplace = True ) # column name change

reference https://docs.python.org/ko/3/library/csv.html