Python机器学习：适合新手的8个项目
再多的理论也不能代替动手实践。
教科书和课程会让你误以为精通，因为材料就在你面前。但当你尝试去应用它时，可能会发现它比看起来更难。而「项目」可帮助你快速提高应用的 ML 技能，同时让你有机会探索有趣的主题。
此外，你可以将项目添加到你的投资组合中，从而更轻松地找到工作，找到很酷的职业机会，甚至协商更高的薪水。
在这篇文章中，我们将为初学者介绍 8 个有趣的机器学习项目。你可以在一个周末完成其中的任何一个，或者如果你很喜欢它们，可以将它扩展为更长的项目。
1、机器学习角斗士
我们亲切地称其为「机器学习角斗士」，但它并不新鲜。这是围绕机器学习建立 实用 直觉的最快方法之一。
目标是采用开箱即用的模型并将其应用于不同的数据集。这个项目很棒有 3 个主要原因：
首先，你将建立模型与问题拟合的直觉。哪些模型对缺失数据具有鲁棒性？哪些模型可以很好地处理分类特征？是的，你可以翻阅教科书来寻找答案，但是通过实际操作您会学得更好。
其次，这个项目将教你快速制作原型的宝贵技能。在现实世界中，如果不简单地尝试它们，通常很难知道哪种模型表现最好。
最后，本练习可以帮助你掌握模型构建的工作流程。例如，你将开始练习……
导入数据
清理数据
将其拆分为训练/测试或交叉验证集
预处理
转型
特征工程
因为你将使用开箱即用的模型，你将有机会专注于磨练这些关键步骤。
查看 sklearn (Python) 或 caret (R) 文档页面以获取说明。你应该练习回归、 分类和聚类算法。
教程
• Python: sklearn – sklearn包 的官方教程
• 使用 Scikit-Learn 预测葡萄酒质量——训练机器学习模型的分步教程
• R: caret – 由 caret 包的作者提供的网络研讨会
数据源
• UCI 机器学习存储库 ——350 多个可搜索的数据集，涵盖几乎所有主题。您一定会找到您感兴趣的数据集。
• Kaggle 数据集——Kaggle 社区上传的 100 多个数据集。这里有一些非常有趣的数据集，包括 PokemonGo 产卵地点和圣地亚哥的墨西哥卷饼。
• data.gov ——美国政府发布的开放数据集。如果您对社会科学感兴趣，可以去看看。
2、玩钱球
在《点球成金》一书中 ，奥克兰 A 队通过分析球员球探彻底改变了棒球运动。他们建立了一支有竞争力的球队，而只花费了洋基队等大型市场球队支付薪水的 1/3。
首先，如果你还没有读过这本书，你应该去看看。这是我们的最爱之一！
幸运的是，体育界有大量数据可供使用。球队、比赛、比分和球员的数据都可以在线跟踪和免费获取。
对于初学者来说，有很多有趣的机器学习项目。例如，您可以尝试……
• 体育博彩……根据每场新比赛前的可用数据预测盒子得分。
• 人才球探…… 使用大学统计数据来预测哪些球员将拥有最好的职业生涯。
• 综合管理...... 根据他们的优势创建球员集群，以建立一个全面的团队。
体育也是练习数据可视化和探索性分析的绝佳领域。你可以使用这些技能来帮助您决定要在分析中包含哪些类型的数据。
数据源
• 体育统计数据库 ——体育统计和历史数据，涵盖了许多职业运动和一些大学运动。干净的界面使网页抓取更容易。
• Sports Reference – 另一个体育统计数据库。界面更杂乱，但可以将单个表格导出为 CSV 文件。
• cricsheet.org – 国际和 IPL 板球比赛的逐球数据。提供 IPL 和 T20 国际比赛的 CSV 文件。
3、预测股票价格
对于任何对金融感兴趣的数据科学家来说，股票市场就像是糖果乐园。
首先，您有多种类型的数据可供选择。您可以找到价格、基本面、全球宏观经济指标、波动率指数等……不胜枚举。
其次，数据可能非常精细。您可以轻松获取每家公司按天（甚至按分钟）的时间序列数据，从而让您创造性地思考交易策略。
最后，金融市场通常具有较短的反馈周期。因此，您可以快速验证您对新数据的预测。
你可以尝试的一些适合初学者的机器学习项目示例包括……
• 量化价值投资…… 根据公司季度报告的基本面指标预测 6 个月的价格走势。
• 预测…… 在隐含波动率和实际波动率之间的差值上构建时间序列模型，甚至是循环神经网络。
• 统计套利…… 根据价格走势和其他因素找到相似的股票，并寻找价格出现分歧的时期。
明显的免责声明：建立交易模型来练习机器学习很简单。让他们盈利是极其困难的。这里没有任何财务建议，我们不建议交易真钱。
教程
• Python: sklearn for Investing – 将机器学习应用于投资的 YouTube 视频系列。
• R: Quantitative Trading with R – 使用 R 进行量化金融的详细课堂笔记。
数据源
• Quandl – 提供免费（和优质）金融和经济数据的数据市场。例如，您可以批量下载3000 多家美国公司的日终股票价格 或美联储的经济数据。
• Quantopian – 量化金融社区，为开发交易算法提供免费平台。包括数据集。
• US Fundamentals Archive – 5000 多家美国公司的 5 年基本面数据。
4、教神经网络阅读笔迹
神经网络和深度学习是现代人工智能的两个成功案例。它们在图像识别、自动文本生成甚至自动驾驶汽车方面取得了重大进展。
要涉足这个令人兴奋的领域，您应该从可管理的数据集开始。
MNIST手写数字分类挑战赛是经典的切入点。图像数据通常比「平面」关系数据更难处理。MNIST 数据对初学者很友好，并且小到可以放在一台计算机上。
手写识别会挑战你，但它不需要高计算能力。
首先，我们建议使用下面教程中的第一章。它将教你如何从头开始构建神经网络，以高精度解决 MNIST 挑战。
教程
• 神经网络和深度学习（在线书籍） ——第 1 章介绍了如何在 Python 中从头开始编写神经网络，以对来自 MNIST 的数字进行分类。作者还对神经网络背后的直觉给出了很好的解释。
数据源
• MNIST – MNIST 是美国国家标准与技术研究院收集的两个数据集的修改子集。它包含 70,000 个带标签的手写数字图像。
5、调查安然
安然丑闻和倒闭是历史上最大的 企业崩溃之一。
2000 年，安然是美国最大的能源公司之一。然后，在因欺诈而被揭露后，它在一年内螺旋式下降到破产。
幸运的是，我们拥有安然电子邮件数据库。它包含 150 名前安然员工（主要是高级管理人员）之间的 50 万封电子邮件。它也是唯一一个真实电子邮件的大型公共数据库，这使得它更有价值。
事实上，数据科学家多年来一直在使用这个数据集进行教育和研究。
您可以尝试的初学者机器学习项目示例包括……
• 异常检测…... 按小时绘制和接收电子邮件的分布图，并尝试检测导致公共丑闻的异常行为。
• 社交网络分析…… 在员工之间建立网络图模型以找到关键影响者。
• 自然语言处理……结合电子邮件元数据分析正文消息，以根据电子邮件的目的对电子邮件进行分类。
数据源
• 安然电子邮件数据集 ——这是由 CMU 托管的安然电子邮件存档。
• 安然数据描述 (PDF) – 对安然电子邮件数据的探索性分析，可以帮助您获得基础。
6、从头开始编写 ML 算法
从头开始编写机器学习算法是一种出色的学习工具，主要有两个原因。
首先，没有更好的方法来建立对他们机制的真正理解。您将被迫考虑每一步，这将导致真正的掌握。
其次，您将学习如何将数学指令转换为工作代码。在从学术研究中调整算法时，您将需要这项技能。
我们建议选择不太复杂的算法。即使是最简单的算法，您也需要做出许多微妙的决定。在您熟悉构建简单算法后，尝试扩展它们以获得更多功能。例如，尝试通过添加正则化参数将普通逻辑回归算法扩展为套索/岭回归。
最后，这是每个初学者都应该知道的提示：不要气馁，因为您的算法不如现有软件包中的算法快或花哨。这些软件包是多年发展的成果！
教程
• Python：从零开始的逻辑回归
• Python：从零开始的 k-最近邻
• R：从零开始的逻辑回归
7、挖掘社交媒体情绪
由于用户生成的内容数量庞大，社交媒体几乎已成为「大数据」的代名词。
挖掘这些丰富的数据可以证明以前所未有的方式来掌握观点、趋势和公众情绪。Facebook、Twitter、YouTube、微信、WhatsApp、Reddit……这个名单还在继续。
此外，每一代人在社交媒体上花费的时间都比他们的前辈多。这意味着社交媒体数据将与营销、品牌和整个业务更加相关。
虽然有许多流行的社交媒体平台，但Twitter 是练习机器学习的经典切入点。
使用 Twitter 数据，您可以获得数据（推文内容）和元数据（位置、主题标签、用户、转发推文等）的有趣混合，为分析开辟了几乎无穷无尽的路径。
教程
• Python：挖掘 Twitter 数据——如何对 Twitter 数据进行情绪分析
• R：使用机器学习进行情感分析——简短而甜蜜的情感分析教程
数据源
• Twitter API – twitter API 是流数据的经典来源。您可以跟踪推文、主题标签等。
• StockTwits API – StockTwits 就像交易者和投资者的推特。 您可以通过使用时间戳和股票代码将其连接到时间序列数据集来以许多有趣的方式扩展此数据集 。
8、改善医疗保健
由于机器学习，另一个正在经历快速变化的行业是全球健康和医疗保健。
在大多数国家，成为一名医生需要多年的教育。这是一个要求高、工作时间长、风险高、进入门槛更高的领域。
因此，最近在机器学习的帮助下减轻医生的工作量并提高医疗保健系统的整体效率做出了重大努力。
用例包括：
• 预防性护理…… 预测个人和社区层面的疾病爆发。
• 诊断护理...... 自动对图像数据进行分类，例如扫描、X 射线等。
• 保险……根据公开的风险因素调整保险费。
随着医院继续对患者记录进行现代化改造，并且随着我们收集更细化的健康数据，数据科学家将有大量唾手可得的机会来发挥作用。
教程
• R：为疾病预测构建有意义的机器学习模型
• 医疗保健中的机器学习——微软研究院的精彩演讲
数据源
• 大型健康数据集——大型健康相关数据集的集合
• data.gov/health – 美国政府提供的与健康和医疗保健相关的数据集。
• 健康营养和人口统计——世界银行提供的全球健康、营养和人口统计数据。