Script (3) 썸네일형 리스트형 [python] web Scraping & crawling ) 사용 방법 web crawling 이란 ? 월드 와이드 맵 소위 www상의 웹페이지 데이터를 프로그래밍적으로 추출하는 방법을 말한다. 데이터를 추출하는 방식으로는 web Crawling과 web Scraping방식이 존재한다. web Crawling은 실시간 연동을 통하여 자동적으로 화면에 있는 data를 업데이트하여 데이터를 유지하는 기법이다. 반면 Web Scraping은 scraping시점의 데이터만 가져오는 방식이지만 자동적 실시간 데이터를 유지하는 방식은 아니라고 할수있다. Crawling 툴 및 라이브러리 데이터 수집에있어 본질적으로 어떤 툴이나 라이브러리던 웹상의 데이터를 수집한다는 것에 있어 본질은 변하지 않는다. 하지만 사용자의 데이터 니즈에 따라 툴 및 라이브러리를 알맞게 사용하여 수집하면 된다... [Data - Python] CSV 파일 총정리 딥러닝모델링과 데이터를 처리하기 위해 csv파일에 대해 파이썬으로 cvs파일의 데이터를 읽고 처리하기위해 csv파일 읽는 방법에대해 정리하고자 한다. csv파일이란 ? CSV(Comma-Separated Value)는 데이터 필드를 Comma즉 쉼표","로 구분한 데이터 및 텍스트 파일이다. 확장자는 .csv 이다. 기본 내장함수 이용하기 - csv.reader() 이용하기 import csv file_path = "path" data = open(file_path) reader = csv.reader(data) lines = list(reader) print(lines) - csv.DictReader() 이용하기 import csv from collections import defaultdict col.. python 정리-복기 - 인터프리터 : 코드를 한 줄 한줄 실행하여 결과를 얻는 방식. 자료 : 프로그램이 처리할 수 있는 모든것 자료형 : 문자열 , 숫자 , boolean (2진 자료 ). 자료형 확인 함수 type() - 파이썬 숫자 자료형 분류 1. 정수 (int ) , 실수 (Float ) , 복소수 (complex ) 연산자 ( +- * / ) 정수 나누기 연산자 ( // ) [나눗셈 후 소숫점 이하는 버림 ] , 나머지 연산자 ( % ) 제곱연산자( ** ) 2. int( ) - cast 연산자 int( 숫자 ).int( 계산식 ). Int('문자열 ' ) 몫과 나머지 구할때 스는 함수 divmod( , ) - 출력은 튜플( ) 형태로 출력나옴 . 3. float() - 실수 cast 연산자 float // 지수표현.. 이전 1 다음
