《知识分子与社会》（《Intellectuals and Society》）一书出版于2010年，当时正是奥巴马当政时期。此书系统讲述了知识分子的定义，知识分子如何影响社会，为什么会如此影响社会，知识分子影响社会的后果是什么，知识分子影响社会的原因，限制和责任是什么。
索维尔在本书中谈论的知识分子不包括我们一般意义上的专业知识分子， 比如医生，工程师，科研人员，等等以生产物资，提供服务或者发明探索为主要产品的人。索维尔把本书讨论的知识分子限定于“以制造理念为终端产品的人”，比如说各种社会学家，思想家，哲学家。这个定义并非“知识分子”一词的传统定义，此处是为了叙述方便。作者多次指出，本书中的知识分子还包括，应该说是特别是包括那些热爱跨界传播理念的知识分子，比如说各种语言学家，历史学家，考古学家等等跨界为社会提供理念的时候，他们也是这个知识分子的一部分，也包括哪些所持观点中反应出知识分子的构想，处于知识分子核心圈外围的人，比如说教师，记者等。作者强调的另一个限定是，本书只讨论民主社会的知识分子。因为在作者看来，专制社会的知识分子不过是统治者的传声筒，不值得进一步的分析和研究。
这个知识分子的定义产生的一个核心意义在于，这样的知识分子团体，不需要对自己的产品，也就是制造的理念负责。比如说医生如果犯了错误，出现医疗事故会导致巨额罚款，甚至被吊销执照。工程师如果建筑倒塌可能会罚款甚至刑事起诉。而知识分子从来不需要为自己输出的理念负责，只要其理念符合整个知识分子群体的共同理念。比如说社会主义，这个理念被整个知识分子群体奉为共同价值，那么即使社会主义制度导致人类历史上最惨重的生命代价也不会有一个知识分子对此负责。知识分子正是通过影响政府政策，法律来限制或者推动自己的理念。
这个理念，在本书中被作者称为“圣化构想”，这是一种被知识分子群体自我神圣化的关于世界应该如何运行，应该如何存在的总体化模型。凡是不符合这一构想的信息都自动在知识分子群体中被过滤掉了。作者举了很多这样的例子。比如说平等。 以今天的知识分子对平等的理解就是人口比例代表。比如说收入平等，白人收入是黑人收入的多少倍。因此是推论出这必然是由于对黑人的歧视造成的收入不平等。但是知识分子们从来不提全世界从来没有在任何地方实现过这样的收入平等。这个差别不但存在于种族之间，甚至存在于家庭之内。统计数字表明，家庭头生子的收入要高于第二子，而第二子的平均收入要高于第三子，并且以此类推依然成立。这个现象据认为的主要原因是头生子获得了父母更多的时间，关注，和各种帮助。越往后的孩子关注越少，成年后的收入也就递减。这是自然规律，不能因此归于对头生子之外其他孩子的歧视。这样的例子还有很多。作者想说的是，影响收入的因素非常多，有些是遗传的，有些是家庭的，有些是个人的。决定一个人收入的，在很大程度上是个人的历史路径决定的，而不能把收入差距简单地归于歧视。实际上，“歧视”无所不在。作者另一个例子是亚裔在美国同样遭受了严重的种族歧视。但是即使如此也没有阻止亚裔获得更高的经济成就，科学成就。在美国之外，中国人一样在很多国家遭受歧视，比如印尼，但是即使如此，中国人仍然在那些国家取得令人瞩目的经济成功。比如1965年印尼发生的排华暴乱，之后印尼出台了大量法律和政策限制华人的各种社会活动。但是仍然没有阻止华人成为印尼经济最成功的族裔。直到1998年第二次排华，大量华人逃离印尼。然而仅仅十几年过去，华人再次成为印尼的经济支柱。作者反复强调的是，歧视确实存在，歧视也确实需要纠正，但是把族裔间的收入差距简单归因于种族歧视，不但没有事实的证据，而且后果恰恰相反，在平权运动数十年之后，黑人的收入反而下降了，黑人不但没能摆脱歧视，反而陷入了更加深入的经济困境。然而没有一个知识分子会为此承担任何责任。恰恰相反，知识分子们用更加激烈的政策和措施，甚至法律来维护这个平等的“圣化构想”，禁止任何不同的意见。也就是作者本人就是黑人。如果一个白人教授写出这本书，立刻被斥责为种族主义者，被学校开除。
知识分子的这个构想，只在知识分子内部获得肯定，而无需在现实生活中获得任何证明。即使在现实世界中失败，知识分子们也用“辞令技巧”躲避责任。由于知识分子们在事实上不需要为失败的灾难性的圣化构想承担任何责任，因而他们愿意不惜一切代价来推动圣化构想。因为在事实上，一切代价都是其他人付出的，而他们却能够获得道德的优越感。
我们已经知道权力的傲慢，实际上是人性的必然。同样道理，知识的傲慢也是人性的必然。并不是说知识越多越反动，但是没有知识的人会不得不承认自己没有知识，也就无力推行自己的社会构想。而知识分子们由于以为自己掌握了真理，掌握了社会，经济，的全部真理，因而要按照自己的理想重造社会。然而他们对社会的理解恰恰是一知半解的。社会成为他们的理想实验场，让无数人付出惨痛的代价。从这个意义上说，傲慢的不是权力也不是知识，而是掌握了权力的人，掌握了某些知识的人。是一些人的傲慢让其他人遭受苦难。
当然，索维尔没能为此提出解决方案。我们能够通过制度设计把权力关入牢笼，但是如何把知识分子们的构想戴上锁链，索维尔也不知道。
