Как вывести уникальные значения столбца pandas
Перейти к содержимому

Как вывести уникальные значения столбца pandas

  • автор:

Pandas: как найти уникальные значения в столбце

Самый простой способ получить список уникальных значений в столбце pandas DataFrame — использовать функцию unique() .

В этом руководстве представлено несколько примеров использования этой функции со следующими пандами DataFrame:

import pandas as pd #create DataFrame df = pd.DataFrame() #view DataFrame df team conference points 0 A East 11 1 A East 8 2 A East 10 3 B West 6 4 B West 6 5 C East 5 

Найти уникальные значения в одном столбце

Следующий код показывает, как найти уникальные значения в одном столбце DataFrame:

df.team.unique () array(['A', 'B', 'C'], dtype=object) 

Мы видим, что уникальные значения в столбце команды включают «A», «B» и «C».

Найти уникальные значения во всех столбцах

Следующий код показывает, как найти уникальные значения во всех столбцах DataFrame:

for col in df: print(df[col]. unique ()) ['A' 'B' 'C'] ['East' 'West'] [11 8 10 6 5] 

Поиск и сортировка уникальных значений в столбце

Следующий код показывает, как найти и отсортировать уникальные значения в одном столбце DataFrame:

#find unique points values points = df.points.unique () #sort values smallest to largest points. sort () #display sorted values points array([ 5, 6, 8, 10, 11]) 

Найти и подсчитать уникальные значения в столбце

В следующем коде показано, как найти и подсчитать появление уникальных значений в одном столбце DataFrame:

df.team.value_counts () A 3 B 2 C 1 Name: team, dtype: int64 

Как найти уникальные значения в нескольких столбцах в Pandas

Часто вам может быть интересно найти все уникальные значения в нескольких столбцах в кадре данных pandas. К счастью, это легко сделать с помощью функции pandas unique() в сочетании с функцией ravel() :

  • unique() : возвращает уникальные значения в порядке появления.
  • ravel(): возвращает сглаженный ряд данных.

Например, предположим, что у нас есть следующий кадр данных pandas:

import pandas as pd #create DataFrame df = pd.DataFrame() #view DataFrame print(df) col1 col2 col3 0 a a 11 1 b c 8 2 c e 10 3 d f 6 4 e g 6 

Возврат массива уникальных значений

Следующий код показывает, как найти уникальные значения в столбцах col1 и col2 :

pd.unique(df[['col1', 'col2']]. values.ravel ()) array(['a', 'b', 'c', 'e', 'd', 'f', 'g'], dtype=object) 

Из вывода мы видим, что в этих двух столбцах есть 7 уникальных значений: a, b, c, d, e, f, g .

Возвратите DataFrame уникальных значений

Если вы хотите вернуть эти значения в виде DataFrame вместо массива, вы можете использовать следующий код:

uniques = pd.unique(df[['col1', 'col2']]. values.ravel ()) pd.DataFrame(uniques) 0 0 a 1 b 2 c 3 e 4 d 5 f 6 g 

Возвращает количество уникальных значений

Если вы просто хотите узнать количество уникальных значений в нескольких столбцах, вы можете использовать следующий код:

uniques = pd.unique(df[['col1', 'col2']]. values.ravel ()) len (uniques) 7 

Это говорит нам о том, что в этих двух столбцах есть 7 уникальных значений.

10 приемов Python Pandas, которые сделают вашу работу более эффективной

Pandas — это широко используемый пакет Python для структурированных данных. Существует много хороших учебных пособий на данную тематику, но здесь мы бы хотели раскрыть несколько интересных приемов, которые, вероятно, еще пока неизвестны читателю, но могут оказаться крайне полезными.

read_csv

Все знают эту команду. Но если данные, которые вы пытаетесь прочитать, слишком большие, попробуйте добавить команду nrows = 5 , чтобы прочитать сначала небольшую часть данных перед загрузкой всей таблицы. В этом случае вам удастся избежать ситуации выбора неверного разделителя (не всегда в данных есть разделение в виде запятой).

(Или вы можете использовать команду ‘head’ в linux для проверки первых 5 строк в любом текстовом файле: head -c 5 data.txt )

Затем вы можете извлечь список столбцов, используя df.columns.tolist() , а затем добавить команду usecols = [‘c1’, ‘c2’,…], чтобы извлечь только нужные вам столбцы. Кроме того, если вы знаете типы данных определенных столбцов, вы можете добавить dtype = для более быстрой загрузки. Еще одно преимущество этой команды в том, что если у вас есть столбец, который содержит как строки, так и числа, рекомендуется объявить его тип строковым, чтобы не возникало ошибок при попытке объединить таблицы, используя этот столбец в качестве ключа.

select_dtypes

Если предварительная обработка данных должна выполняться в Python, то эта команда сэкономит ваше время. После чтения из таблицы типами данных по умолчанию для каждого столбца могут быть bool, int64, float64, object, category, timedelta64 или datetime64. Вы можете сначала проверить распределение с помощью

df.dtypes.value_counts()

чтобы узнать все возможные типы данных вашего фрейма, затем используйте

df.select_dtypes(include=[‘float64’, ‘int64’])

чтобы выбрать субфрейм только с числовыми характеристиками.

сopy

Это важная команда. Если вы сделаете:

import pandas as pd
df1 = pd.DataFrame(< ‘a’:[0,0,0], ‘b’: [1,1,1]>)
df2 = df1
df2[‘a’] = df2[‘a’] + 1
df1.head()

Вы обнаружите, что df1 изменен. Это потому, что df2 = df1 не делает копию df1 и присваивает ее df2, а устанавливает указатель, указывающий на df1. Таким образом, любые изменения в df2 приведут к изменениям в df1. Чтобы это исправить, вы можете сделать либо:

df2 = df1.copy ()
from copy import deepcopy
df2 = deepcopy(df1)

map

Это классная команда для простого преобразования данных. Сначала вы определяете словарь, в котором «ключами» являются старые значения, а «значениями» являются новые значения.

level_map = 
df[‘c_level’] = df[‘c’].map(level_map)

Например: True, False до 1, 0 (для моделирования); определение уровней; определяемые пользователем лексические кодировки.

apply or not apply?

Если нужно создать новый столбец с несколькими другими столбцами в качестве входных данных, функция apply была бы весьма полезна.

def rule(x, y): 
if x == ‘high’ and y > 10:
return 1
else:
return 0

df = pd.DataFrame(< 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]>)
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1)
df.head()

В приведенных выше кодах мы определяем функцию с двумя входными переменными и используем функцию apply, чтобы применить ее к столбцам ‘c1’ и ‘c2’.

но проблема «apply» заключается в том, что иногда она занимает очень много времени.

Скажем, если вы хотите рассчитать максимум из двух столбцов «c1» и «c2», конечно, вы можете применить данную команду

df[‘maximum’] = df.apply(lambda x: max(x[‘c1’], x[‘c2’]), axis = 1)

но это будет медленнее, нежели:

df[‘maximum’] = df[[‘c1’,’c2']].max(axis =1)

Вывод: не используйте команду apply, если вы можете выполнить ту же работу используя другие функции (они часто быстрее). Например, если вы хотите округлить столбец ‘c’ до целых чисел, выполните округление (df [‘c’], 0) вместо использования функции apply.

value counts

Это команда для проверки распределения значений. Например, если вы хотите проверить возможные значения и частоту для каждого отдельного значения в столбце «c», вы можете применить

df[‘c’].value_counts()

Есть несколько полезных приемов / функций:
A. normalize = True : если вы хотите проверить частоту вместо подсчетов.
B. dropna = False : если вы хотите включить пропущенные значения в статистику.
C. sort = False : показать статистику, отсортированную по значениям, а не по количеству.

D. df[‘c].value_counts().reset_index().: если вы хотите преобразовать таблицу статистики в датафрейм Pandas и управлять ими.

количество пропущенных значений

При построении моделей может потребоваться исключить строку со слишком большим количеством пропущенных значений / строки со всеми пропущенными значениями. Вы можете использовать .isnull () и .sum () для подсчета количества пропущенных значений в указанных столбцах.

import pandas as pd
import numpy as np

df = pd.DataFrame(< ‘id’: [1,2,3], ‘c1’:[0,0,np.nan], ‘c2’: [np.nan,1,1]>)
df = df[[‘id’, ‘c1’, ‘c2’]]
df[‘num_nulls’] = df[[‘c1’, ‘c2’]].isnull().sum(axis=1)
df.head()

выбрать строки с конкретными идентификаторами

В SQL мы можем сделать это, используя SELECT * FROM… WHERE ID в («A001», «C022»,…), чтобы получить записи с конкретными идентификаторами. Если вы хотите сделать то же самое с pandas, вы можете использовать:

df_filter = df ['ID']. isin (['A001', 'C022', . ]) 
df [df_filter]

Percentile groups

Допустим, у вас есть столбец с числовыми значениями, и вы хотите классифицировать значения в этом столбце по группам, скажем, топ 5% в группу 1, 5–20% в группу 2, 20–50% в группу 3, нижние 50% в группу 4. Конечно, вы можете сделать это с помощью pandas.cut, но мы бы хотели представить другую функцию:

import numpy as np
cut_points = [np.percentile(df[‘c’], i) for i in [50, 80, 95]]
df[‘group’] = 1
for i in range(3):
df[‘group’] = df[‘group’] + (df[‘c’] < cut_points[i])
# or Которая быстро запускается (не применяется функция apply).

to_csv

Опять-таки, это команда, которую используют все. Отметим пару полезных приемов. Первый:
print(df[:5].to_csv())

Вы можете использовать эту команду, чтобы напечатать первые пять строк того, что будет записано непосредственно в файл.

Еще один прием касается смешанных вместе целых чисел и пропущенных значений. Если столбец содержит как пропущенные значения, так и целые числа, тип данных по-прежнему будет float, а не int. Когда вы экспортируете таблицу, вы можете добавить float_format = '%. 0f', чтобы округлить все числа типа float до целых чисел. Используйте этот прием, если вам нужны только целочисленные выходные данные для всех столбцов – так вы избавитесь от всех назойливых нулей ‘.0’ .

Как вывести библиотекой pandas уникальные значения для каждого столбца в таблице?

Author24 — интернет-сервис помощи студентам

У меня есть большой Dataframe более 1000 строк и 300 строк , я хочу чтобы вывело мне информацию в таблице , как мне это сделать ,я столько уже информации перерыл , что не знаю что уже использовать
Я использовал

df.nunique() и pd.Series({c:df[c].unique() for c in df})

Но мне вывело все в списках и не увидеть с какими данными можно работать.
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
Ответы с готовыми решениями:

Вывести на индекс первого и последнего минимального значения для каждого столбца
Для матрицы со стороной 10, заполненной числами от 0 до 9 вывести на экран индексы первого и.

Вычесть из каждого столбца матрицы максимальный элемент для каждого столбца, и результат вывести в матрицу
Что нужно добавить , чтобы вычесть из каждого столбца матрицы максимальный элемент для каждого.

Excel найти уникальные значения из первого столбца и фильтровать - не брать пустые значения из 3 столбца
Ребят, помогите осуществить в коде VB в Excel. Сделал в самом доке, а как в коде на VB новичок.

Вывести номер каждого столбца в таблице
Дана таблица 2*10. Вывести номер каждого столбца, квадрат элемента которого меньше второго элемента.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *